Subversion Repositories eFlore/Applications.cel

Compare Revisions

Ignore whitespace Rev 2417 → Rev 2418

/trunk/scripts/modules/migration_optimisation/MigrationOptimisation.php
2,9 → 2,12
// declare(encoding='UTF-8');
/**
* Mise à jour de la base de données afin de l'optimiser :
* - suppression de la table cel_obs_images
* - remplacement du champ "eflore_publiable" de la table "cel_images" par un champ "transmission" (correspondant au champ tansmission des obs)
* - ajout du champ "date_liaison" dans la table "cel_images"
* - ajout du champ "ce_observation" dans la table "cel_images"
* - migration des données de la table cel_obs_images dans cel_images
* - création d'un index sur cel_images.ce_observation
* - suppression de la table cel_obs_images
*
* Utilisation :
* - mise à jour de la bdd : <code>/opt/lamp/bin/php cli.php migration_optimisation -a migrer</code>
19,8 → 22,6
* @license CECILL v2 <http://www.cecill.info/licences/Licence_CeCILL_V2-en.txt>
* @copyright 1999-2014 Tela Botanica <accueil@tela-botanica.org>
*/
include_once dirname(__FILE__).'/bibliotheque/Dao.php';
 
class MigrationOptimisation extends Script {
 
public function executer() {
28,146 → 29,24
$this->mode_verbeux = $this->getParametre('v');
 
switch($cmd) {
case 'celObsImages':
$this->migrerCelObsImages();
break;
 
case 'images':
$this->mode = $cmd;
$this->migrerMotsClesImages();
break;
 
case 'maj':
$this->migrerBdd();
break;
default:
echo 'Méthode inconnue, les méthodes possibles sont obs et images'."\n";
echo "Action «$cmd» inconnue.\n";
}
}
 
private function migrerCelObsImages() {
$this->dao = new Dao('obs');
$this->convertirNestedSetVersPathEnum();
private function migrerBdd() {
$contenuSql = FichierUtil::recupererContenu(__DIR__.'/maj_optimisation.sql');
$this->executerScripSql($contenuSql);
}
 
private function migrerMotsClesImages() {
$this->dao = new Dao('images');
$this->convertirNestedSetVersPathEnum();
}
 
private function convertirNestedSetVersPathEnum() {
 
$debut = microtime();
 
$this->dao->viderTables();
 
$mots_cles_hierarchiques = $this->dao->obtenirMotsClesOriginaux($this->mode);
$mots_cles_hierarchiques = $this->formaterChemin($mots_cles_hierarchiques);
 
$liaisons = $this->dao->obtenirLiaisonsMotsClesOriginaux($this->mode);
 
if($this->mode_verbeux) {
echo "-------------------------------------------------------------------\n";
echo " Début de la migration des mots clés ".$this->mode." \n";
echo " ".count($mots_cles_hierarchiques)." mots clés et ".count($liaisons)." liaisons à migrer \n";
echo "-------------------------------------------------------------------\n";
private function executerScripSql($sql) {
$requetes = SqlUtil::extraireRequetes($sql);
foreach ($requetes as $requete) {
echo "Exécution de la requete : $requete\n";
$this->executer($requete);
}
 
$nb_mots_cles = 0;
$nb_liaisons = 0;
 
$mots_cles_slice = array_chunk($mots_cles_hierarchiques, 800, true);
echo " Insertion des mots clés par paquet de 800 \n";
foreach($mots_cles_slice as &$mots_cles_tranche) {
$this->dao->insererMotsCles($mots_cles_tranche);
$nb_mots_cles += 800;
if($this->mode_verbeux) {
$this->afficherAvancement(' mots clés insérés ', $nb_mots_cles);
}
}
echo "\n Insertion des mots clés ".$this->mode." terminée \n";
 
$infos_nouveaux_mots_cles = $this->dao->obtenirInfosNouveauxMotsCles();
$correspondances = $this->formaterCorrespondanceCheminId($infos_nouveaux_mots_cles);
 
$liaisons_slice = array_chunk($liaisons, 800, true);
echo " Insertion des mots liaisons par paquet de 800 \n";
foreach($liaisons_slice as &$liaison_tranche) {
$this->dao->insererLiaisonsMotsCles($mots_cles_hierarchiques, $liaison_tranche, $correspondances);
$nb_liaisons += 800;
if($this->mode_verbeux) {
$this->afficherAvancement(' liaisons insérées ', $nb_liaisons);
}
}
echo "\n Insertion des liaisons ".$this->mode." terminée \n";
 
$fin = microtime(true);
if($this->mode_verbeux) {
echo "\n";
echo "-------------------------------------------------------------------\n";
echo " Fin de la migration des mots clés ".$this->mode.", \n";
echo " ".($fin - $debut)." secondes écoulées \n";
echo " ".count($mots_cles_hierarchiques)." mots clés insérés \n";
echo " ".count($liaisons)." liaisons insérées \n";
echo "-------------------------------------------------------------------\n";
echo "\n";
}
}
 
private function formaterCorrespondanceCheminId($infos_nouveaux_mots_cles) {
$mots_cles_correspondances = array();
foreach($infos_nouveaux_mots_cles as &$mot) {
$cle = $mot['chemin'].'-'.$mot['id_utilisateur'];
$mots_cles_correspondances[$cle] = $mot;
}
return $mots_cles_correspondances;
}
 
private function formaterChemin($mots_cles) {
$mots_cles_hierarchiques = array();
$chemin_traites = array();
$pbs = array('doublons' => array(), 'vides' => array());
 
foreach($mots_cles as &$mot) {
 
if(trim($mot['mot_cle']) != "") {
$chemin = '/';
$cle_parent = $mot['parent'].'-'.$mot['id_utilisateur'];
if(isset($mots_cles_hierarchiques[$cle_parent])) {
$chemin = $mots_cles_hierarchiques[$cle_parent]['chemin'];
}
$chemin .= self::simplifier($mot['mot_cle']).'/';
$chemin = str_replace("//", "/", $chemin);
 
if(!isset($chemin_traites[self::harmoniserPourDoublon($chemin).'-'.$mot['id_utilisateur']])) {
$cle = $mot['id_mot_cle'].'-'.$mot['id_utilisateur'];
 
$mots_cles_hierarchiques[$cle] = array(
'id_utilisateur' => $mot['id_utilisateur'],
'chemin' => $chemin,
'mot_cle' => $mot['mot_cle']
);
$chemin_traites[self::harmoniserPourDoublon($chemin).'-'.$mot['id_utilisateur']] = 1;
} else {
$pbs['doublons'][self::harmoniserPourDoublon($chemin).'-'.$mot['id_utilisateur']] = $mot;
}
} else {
$pbs['vides'][] = $mot;
}
}
 
//echo '<pre>'.print_r($mots_cles_hierarchiques,true).'</pre>';exit;
return $mots_cles_hierarchiques;
}
 
static public function harmoniserPourDoublon($texte) {
$texte = htmlentities($texte, ENT_NOQUOTES, 'utf-8');
$texte = preg_replace('/&([A-za-z])(?:acute|cedil|circ|grave|orn|ring|slash|th|tilde|uml);/', '\1', $texte);
$texte = preg_replace('/&([A-za-z]{2})(?:lig);/', '\1', $texte); // pour les ligatures e.g. '&oelig;'
$texte = preg_replace('/&[^;]+;/', '', $texte); // supprime les autres caractères
 
return strtolower($texte);
}
 
static public function simplifier($text) {
// le slash est le seul caractère interdit dans les mots clés
return trim(str_replace(array('\\','/'), '', $text));
}
}
/trunk/scripts/modules/migration_optimisation/maj_optimisation.sql
New file
0,0 → 1,26
; Remplace la colonne «publiable_eflore» par «transmission»
ALTER TABLE `cel_images` CHANGE `publiable_eflore` `transmission` TINYINT(1) NOT NULL DEFAULT '1';
 
; Ajoute le champ «date_liaison» dans «cel_images»
ALTER TABLE `cel_images` ADD `date_liaison` DATETIME NOT NULL AFTER `date_creation`;
 
; Ajoute le champ «ce_observation» dans «cel_images»
ALTER TABLE `cel_images` ADD `ce_observation` BIGINT NULL AFTER `id_image`;
 
; Met à jour la table cel_image avec les données de cel_obs_images
UPDATE cel_images, cel_obs_images
SET cel_images.ce_observation = cel_obs_images.id_observation, cel_images.date_liaison = cel_obs_images.date_liaison
WHERE cel_images.id_image = cel_obs_images.id_image
AND cel_obs_images.id_image != '0';
 
; Ajout index sur ce_observation
CREATE INDEX ce_observation ON cel_images (ce_observation);
 
; Mise à jour du champ «transmission» de la table cel_images à partir des données de cel_obs
UPDATE cel_images, cel_obs
SET cel_images.transmission = cel_obs.transmission
WHERE cel_images.ce_observation = cel_obs.id_observation
AND (cel_images.ce_observation IS NOT NULL OR cel_images.ce_observation != 0);
 
; Suppression de la table cel_obs_image inutile
DROP TABLE cel_obs_images;