WebSVN – eFlore/Applications.cel – Diff – /branches/v2.25-scarificateur/scripts/modules/migration_mots_cles/MigrationMotsCles.php


<?php
// Encodage : UTF-8
// +-------------------------------------------------------------------------------------------------------------------+
/**
 * Traitement des mots clés cel pour les migrer vers des mots clés stockés avec path enumeration
 *
 * Description : classe de migration vers des mots clés stockés avec path enumeration
 * Utilisation : php script.php migrationmotsclees -a obs
 *  * Utilisation : php script.php migrationmotsclees -a images
 *
 * @category		PHP 5.3
 * @package		scripts
 //Auteur original :
 * @author		Aurélien PERONNET <aurelien@tela-botanica.org>
 * @copyright	Copyright (c) 2009, Tela Botanica (accueil@tela-botanica.org)
 * @license		http://www.gnu.org/licenses/gpl.html Licence GNU-GPL-v3
 * @license		http://www.cecill.info/licences/Licence_CeCILL_V2-fr.txt Licence CECILL-v2
 * @version		$Id$
 */
// +-------------------------------------------------------------------------------------------------------------------+
class Migrationmotscles extends Script {
	
	private $mode;
	
	// +-------------------------------------------------------------------------------------------------------------------+
	public function executer() {		
		include_once dirname(__FILE__).'/bibliotheque/Dao.php';
		
		$cmd = $this->getParametre('a');
		$this->mode_verbeux = $this->getParametre('v');
 
		switch($cmd) {
			case 'obs':
				$this->mode = $cmd;
				$this->migrerMotsClesObservations();
			break;
			
			case 'images':
				$this->mode = $cmd;
				$this->migrerMotsClesImages();
			break;
 
			default:
				echo 'Méthode inconnue, les méthodes possibles sont obs et images'."\n"; 
		}		
	}
	
	private function migrerMotsClesObservations() {
		$this->dao = new Dao('obs');
		$this->convertirNestedSetVersPathEnum();
	}
	
	private function migrerMotsClesImages() {
		$this->dao = new Dao('images');
		$this->convertirNestedSetVersPathEnum();
	}
	
	private function convertirNestedSetVersPathEnum() {
		
		$debut = microtime();
		
		$this->dao->viderTables();
			
		$mots_cles_hierarchiques = $this->dao->obtenirMotsClesOriginaux($this->mode);
		$mots_cles_hierarchiques = $this->formaterChemin($mots_cles_hierarchiques);
 
		$liaisons = $this->dao->obtenirLiaisonsMotsClesOriginaux($this->mode);
		
		if($this->mode_verbeux) {
			echo "-------------------------------------------------------------------\n";
			echo " Début de la migration des mots clés ".$this->mode." \n";
			echo " ".count($mots_cles_hierarchiques)." mots clés et ".count($liaisons)." liaisons à migrer \n";
			echo "-------------------------------------------------------------------\n";
		}
 
		$nb_mots_cles = 0;
		$nb_liaisons = 0;
		
		$mots_cles_slice = array_chunk($mots_cles_hierarchiques, 800, true);
		echo " Insertion des mots clés par paquet de 800 \n";
		foreach($mots_cles_slice as &$mots_cles_tranche) {
			$this->dao->insererMotsCles(&$mots_cles_tranche);
			$nb_mots_cles += 800;
			if($this->mode_verbeux) {
				$this->afficherAvancement(' mots clés insérés ', $nb_mots_cles);
			}
		}
		echo "\n Insertion des mots clés ".$this->mode." terminée \n";
		
		$infos_nouveaux_mots_cles = $this->dao->obtenirInfosNouveauxMotsCles();
		$correspondances = $this->formaterCorrespondanceCheminId($infos_nouveaux_mots_cles);
	
		$liaisons_slice = array_chunk($liaisons, 800, true);
		echo " Insertion des mots liaisons par paquet de 800 \n";
		foreach($liaisons_slice as &$liaison_tranche) {
			$this->dao->insererLiaisonsMotsCles(&$mots_cles_hierarchiques, &$liaison_tranche, &$correspondances);
			$nb_liaisons += 800;
			if($this->mode_verbeux) {
				$this->afficherAvancement(' liaisons insérées ', $nb_liaisons);
			}
		}
		echo "\n Insertion des liaisons ".$this->mode." terminée \n";
			
		$fin = microtime(true);
		if($this->mode_verbeux) {
			echo "\n";
			echo "-------------------------------------------------------------------\n";
			echo "  Fin de la migration des mots clés ".$this->mode.", \n";
			echo "  ".($fin - $debut)." secondes écoulées \n";
			echo "  ".count($mots_cles_hierarchiques)." mots clés insérés \n";
			echo "  ".count($liaisons)." liaisons insérées \n";
			echo "-------------------------------------------------------------------\n";
			echo "\n";
		}
	}
	
	private function formaterCorrespondanceCheminId($infos_nouveaux_mots_cles) {
		$mots_cles_correspondances = array();
		foreach($infos_nouveaux_mots_cles as &$mot) {
			$cle = $mot['chemin'].'-'.$mot['id_utilisateur'];
			$mots_cles_correspondances[$cle] = $mot;
		}
		return $mots_cles_correspondances;
	}
	
	private function formaterChemin($mots_cles) {
		$mots_cles_hierarchiques = array();
		$chemin_traites = array();
		$pbs = array('doublons' => array(), 'vides' => array());
		
		foreach($mots_cles as &$mot) {
		
			if(trim($mot['mot_cle']) != "") {
				$chemin = '/';
				$cle_parent = $mot['parent'].'-'.$mot['id_utilisateur'];
				if(isset($mots_cles_hierarchiques[$cle_parent])) {
					$chemin = $mots_cles_hierarchiques[$cle_parent]['chemin'];
				}
				$chemin .= self::simplifier($mot['mot_cle']).'/';
				$chemin = str_replace("//", "/", $chemin);
				
				if(!isset($chemin_traites[self::harmoniserPourDoublon($chemin).'-'.$mot['id_utilisateur']])) {		
					$cle = $mot['id_mot_cle'].'-'.$mot['id_utilisateur'];
						
					$mots_cles_hierarchiques[$cle] = array(
												'id_utilisateur' => $mot['id_utilisateur'],
												'chemin' => $chemin,
												'mot_cle' => $mot['mot_cle']
					);
					$chemin_traites[self::harmoniserPourDoublon($chemin).'-'.$mot['id_utilisateur']] = 1;
				} else {
					$pbs['doublons'][self::harmoniserPourDoublon($chemin).'-'.$mot['id_utilisateur']] = $mot;
				}
			} else {
				$pbs['vides'][] = $mot;
			}
		}
		
		//echo '<pre>'.print_r($mots_cles_hierarchiques,true).'</pre>';exit;
		return $mots_cles_hierarchiques;
	}
	
	static public function harmoniserPourDoublon($texte) {
		$texte = htmlentities($texte, ENT_NOQUOTES, 'utf-8');
		$texte = preg_replace('/&([A-za-z])(?:acute|cedil|circ|grave|orn|ring|slash|th|tilde|uml);/', '\1', $texte);
		$texte = preg_replace('/&([A-za-z]{2})(?:lig);/', '\1', $texte); // pour les ligatures e.g. '&oelig;'
		$texte = preg_replace('/&[^;]+;/', '', $texte); // supprime les autres caractères
		
		return strtolower($texte);
	}
	
	static public function simplifier($text) {
		// le slash est le seul caractère interdit dans les mots clés
		return trim(str_replace(array('\\','/'), '', $text));
	}
}
?>

Subversion Repositories eFlore/Applications.cel

(root)/branches/v2.25-scarificateur/scripts/modules/migration_mots_cles/MigrationMotsCles.php @ 3933 – Rev 2031 → 2057

Rev 2031		Rev 2057
1	`<?php`	1	`<?php`
2	`// Encodage : UTF-8`	2	`// Encodage : UTF-8`
3	`// +-------------------------------------------------------------------------------------------------------------------+`	3	`// +-------------------------------------------------------------------------------------------------------------------+`
4	`/**`	4	`/**`
5	`* Traitement des mots clés cel pour les migrer vers des mots clés stockés avec path enumeration`	5	`* Traitement des mots clés cel pour les migrer vers des mots clés stockés avec path enumeration`
6	`*`	6	`*`
7	`* Description : classe de migration vers des mots clés stockés avec path enumeration`	7	`* Description : classe de migration vers des mots clés stockés avec path enumeration`
8	`* Utilisation : php script.php migrationmotsclees -a obs`	8	`* Utilisation : php script.php migrationmotsclees -a obs`
9	`* * Utilisation : php script.php migrationmotsclees -a images`	9	`* * Utilisation : php script.php migrationmotsclees -a images`
10	`*`	10	`*`
11	`* @category PHP 5.3`	11	`* @category PHP 5.3`
12	`* @package scripts`	12	`* @package scripts`
13	`//Auteur original :`	13	`//Auteur original :`
14	`* @author Aurélien PERONNET <aurelien@tela-botanica.org>`	14	`* @author Aurélien PERONNET <aurelien@tela-botanica.org>`
15	`* @copyright Copyright (c) 2009, Tela Botanica (accueil@tela-botanica.org)`	15	`* @copyright Copyright (c) 2009, Tela Botanica (accueil@tela-botanica.org)`
16	`* @license http://www.gnu.org/licenses/gpl.html Licence GNU-GPL-v3`	16	`* @license http://www.gnu.org/licenses/gpl.html Licence GNU-GPL-v3`
17	`* @license http://www.cecill.info/licences/Licence_CeCILL_V2-fr.txt Licence CECILL-v2`	17	`* @license http://www.cecill.info/licences/Licence_CeCILL_V2-fr.txt Licence CECILL-v2`
18	`* @version $Id$`	18	`* @version $Id$`
19	`*/`	19	`*/`
20	`// +-------------------------------------------------------------------------------------------------------------------+`	20	`// +-------------------------------------------------------------------------------------------------------------------+`
21	`class Migrationmotscles extends Script {`	21	`class Migrationmotscles extends Script {`
22		22
23	`private $mode;`	23	`private $mode;`
24		24
25	`// +-------------------------------------------------------------------------------------------------------------------+`	25	`// +-------------------------------------------------------------------------------------------------------------------+`
26	`public function executer() {`	26	`public function executer() {`
27	`include_once dirname(__FILE__).'/bibliotheque/Dao.php';`	27	`include_once dirname(__FILE__).'/bibliotheque/Dao.php';`
28		28
29	`$cmd = $this->getParametre('a');`	29	`$cmd = $this->getParametre('a');`
30	`$this->mode_verbeux = $this->getParametre('v');`	30	`$this->mode_verbeux = $this->getParametre('v');`
31		31
32	`switch($cmd) {`	32	`switch($cmd) {`
33	`case 'obs':`	33	`case 'obs':`
34	`$this->mode = $cmd;`	34	`$this->mode = $cmd;`
35	`$this->migrerMotsClesObservations();`	35	`$this->migrerMotsClesObservations();`
36	`break;`	36	`break;`
37		37
38	`case 'images':`	38	`case 'images':`
39	`$this->mode = $cmd;`	39	`$this->mode = $cmd;`
40	`$this->migrerMotsClesImages();`	40	`$this->migrerMotsClesImages();`
41	`break;`	41	`break;`
42		42
43	`default:`	43	`default:`
44	`echo 'Méthode inconnue, les méthodes possibles sont obs et images'."\n";`	44	`echo 'Méthode inconnue, les méthodes possibles sont obs et images'."\n";`
45	`}`	45	`}`
46	`}`	46	`}`
47		47
48	`private function migrerMotsClesObservations() {`	48	`private function migrerMotsClesObservations() {`
49	`$this->dao = new Dao('obs');`	49	`$this->dao = new Dao('obs');`
50	`$this->convertirNestedSetVersPathEnum();`	50	`$this->convertirNestedSetVersPathEnum();`
51	`}`	51	`}`
52		52
53	`private function migrerMotsClesImages() {`	53	`private function migrerMotsClesImages() {`
54	`$this->dao = new Dao('images');`	54	`$this->dao = new Dao('images');`
55	`$this->convertirNestedSetVersPathEnum();`	55	`$this->convertirNestedSetVersPathEnum();`
56	`}`	56	`}`
57		57
58	`private function convertirNestedSetVersPathEnum() {`	58	`private function convertirNestedSetVersPathEnum() {`
59		59
60	`$debut = microtime();`	60	`$debut = microtime();`
61		61
62	`$this->dao->viderTables();`	62	`$this->dao->viderTables();`
63		63
64	`$mots_cles_hierarchiques = $this->dao->obtenirMotsClesOriginaux($this->mode);`	64	`$mots_cles_hierarchiques = $this->dao->obtenirMotsClesOriginaux($this->mode);`
65	`$mots_cles_hierarchiques = $this->formaterChemin($mots_cles_hierarchiques);`	65	`$mots_cles_hierarchiques = $this->formaterChemin($mots_cles_hierarchiques);`
66		66
67	`$liaisons = $this->dao->obtenirLiaisonsMotsClesOriginaux($this->mode);`	67	`$liaisons = $this->dao->obtenirLiaisonsMotsClesOriginaux($this->mode);`
68		68
69	`if($this->mode_verbeux) {`	69	`if($this->mode_verbeux) {`
70	`echo "-------------------------------------------------------------------\n";`	70	`echo "-------------------------------------------------------------------\n";`
71	`echo " Début de la migration des mots clés ".$this->mode." \n";`	71	`echo " Début de la migration des mots clés ".$this->mode." \n";`
72	`echo " ".count($mots_cles_hierarchiques)." mots clés et ".count($liaisons)." liaisons à migrer \n";`	72	`echo " ".count($mots_cles_hierarchiques)." mots clés et ".count($liaisons)." liaisons à migrer \n";`
73	`echo "-------------------------------------------------------------------\n";`	73	`echo "-------------------------------------------------------------------\n";`
74	`}`	74	`}`
75		75
76	`$nb_mots_cles = 0;`	76	`$nb_mots_cles = 0;`
77	`$nb_liaisons = 0;`	77	`$nb_liaisons = 0;`
78		78
79	`$mots_cles_slice = array_chunk($mots_cles_hierarchiques, 800, true);`	79	`$mots_cles_slice = array_chunk($mots_cles_hierarchiques, 800, true);`
80	`echo " Insertion des mots clés par paquet de 800 \n";`	80	`echo " Insertion des mots clés par paquet de 800 \n";`
81	`foreach($mots_cles_slice as &$mots_cles_tranche) {`	81	`foreach($mots_cles_slice as &$mots_cles_tranche) {`
82	`$this->dao->insererMotsCles(&$mots_cles_tranche);`	82	`$this->dao->insererMotsCles(&$mots_cles_tranche);`
83	`$nb_mots_cles += 800;`	83	`$nb_mots_cles += 800;`
84	`if($this->mode_verbeux) {`	84	`if($this->mode_verbeux) {`
85	`$this->afficherAvancement(' mots clés insérés ', $nb_mots_cles);`	85	`$this->afficherAvancement(' mots clés insérés ', $nb_mots_cles);`
86	`}`	86	`}`
87	`}`	87	`}`
88	`echo " Insertion des mots clés ".$this->mode." terminée \n";`	88	`echo "\n Insertion des mots clés ".$this->mode." terminée \n";`
89		89
90	`$infos_nouveaux_mots_cles = $this->dao->obtenirInfosNouveauxMotsCles();`	90	`$infos_nouveaux_mots_cles = $this->dao->obtenirInfosNouveauxMotsCles();`
91	`$correspondances = $this->formaterCorrespondanceCheminId($infos_nouveaux_mots_cles);`	91	`$correspondances = $this->formaterCorrespondanceCheminId($infos_nouveaux_mots_cles);`
92		92
93	`$liaisons_slice = array_chunk($liaisons, 800, true);`	93	`$liaisons_slice = array_chunk($liaisons, 800, true);`
94	`echo " Insertion des mots liaisons par paquet de 800 \n";`	94	`echo " Insertion des mots liaisons par paquet de 800 \n";`
95	`foreach($liaisons_slice as &$liaison_tranche) {`	95	`foreach($liaisons_slice as &$liaison_tranche) {`
96	`$this->dao->insererLiaisonsMotsCles(&$mots_cles_hierarchiques, &$liaison_tranche, &$correspondances);`	96	`$this->dao->insererLiaisonsMotsCles(&$mots_cles_hierarchiques, &$liaison_tranche, &$correspondances);`
97	`$nb_liaisons += 800;`	97	`$nb_liaisons += 800;`
98	`if($this->mode_verbeux) {`	98	`if($this->mode_verbeux) {`
99	`$this->afficherAvancement(' liaisons insérées ', $nb_liaisons);`	99	`$this->afficherAvancement(' liaisons insérées ', $nb_liaisons);`
100	`}`	100	`}`
101	`}`	101	`}`
102	`echo "\n Insertion des liaisons ".$this->mode." terminée \n";`	102	`echo "\n Insertion des liaisons ".$this->mode." terminée \n";`
103		103
104	`$fin = microtime(true);`	104	`$fin = microtime(true);`
105	`if($this->mode_verbeux) {`	105	`if($this->mode_verbeux) {`
106	`echo "\n";`	106	`echo "\n";`
107	`echo "-------------------------------------------------------------------\n";`	107	`echo "-------------------------------------------------------------------\n";`
108	`echo " Fin de la migration des mots clés ".$this->mode.", \n";`	108	`echo " Fin de la migration des mots clés ".$this->mode.", \n";`
109	`echo " ".($fin - $debut)." secondes écoulées \n";`	109	`echo " ".($fin - $debut)." secondes écoulées \n";`
110	`echo " ".count($mots_cles_hierarchiques)." mots clés insérés \n";`	110	`echo " ".count($mots_cles_hierarchiques)." mots clés insérés \n";`
111	`echo " ".count($liaisons)." liaisons insérées \n";`	111	`echo " ".count($liaisons)." liaisons insérées \n";`
112	`echo "-------------------------------------------------------------------\n";`	112	`echo "-------------------------------------------------------------------\n";`
113	`echo "\n";`	113	`echo "\n";`
114	`}`	114	`}`
115	`}`	115	`}`
116		116
117	`private function formaterCorrespondanceCheminId($infos_nouveaux_mots_cles) {`	117	`private function formaterCorrespondanceCheminId($infos_nouveaux_mots_cles) {`
118	`$mots_cles_correspondances = array();`	118	`$mots_cles_correspondances = array();`
119	`foreach($infos_nouveaux_mots_cles as &$mot) {`	119	`foreach($infos_nouveaux_mots_cles as &$mot) {`
120	`$cle = $mot['chemin'].'-'.$mot['id_utilisateur'];`	120	`$cle = $mot['chemin'].'-'.$mot['id_utilisateur'];`
121	`$mots_cles_correspondances[$cle] = $mot;`	121	`$mots_cles_correspondances[$cle] = $mot;`
122	`}`	122	`}`
123	`return $mots_cles_correspondances;`	123	`return $mots_cles_correspondances;`
124	`}`	124	`}`
125		125
126	`private function formaterChemin($mots_cles) {`	126	`private function formaterChemin($mots_cles) {`
127	`$mots_cles_hierarchiques = array();`	127	`$mots_cles_hierarchiques = array();`
128	`$chemin_traites = array();`	128	`$chemin_traites = array();`
129	`$pbs = array('doublons' => array(), 'vides' => array());`	129	`$pbs = array('doublons' => array(), 'vides' => array());`
130		130
131	`foreach($mots_cles as &$mot) {`	131	`foreach($mots_cles as &$mot) {`
132		132
133	`if(trim($mot['mot_cle']) != "") {`	133	`if(trim($mot['mot_cle']) != "") {`
134	`$chemin = '/';`	134	`$chemin = '/';`
135	`$cle_parent = $mot['parent'].'-'.$mot['id_utilisateur'];`	135	`$cle_parent = $mot['parent'].'-'.$mot['id_utilisateur'];`
136	`if(isset($mots_cles_hierarchiques[$cle_parent])) {`	136	`if(isset($mots_cles_hierarchiques[$cle_parent])) {`
137	`$chemin = $mots_cles_hierarchiques[$cle_parent]['chemin'];`	137	`$chemin = $mots_cles_hierarchiques[$cle_parent]['chemin'];`
138	`}`	138	`}`
139	`$chemin .= self::simplifier($mot['mot_cle']).'/';`	139	`$chemin .= self::simplifier($mot['mot_cle']).'/';`
140	`$chemin = str_replace("//", "/", $chemin);`	140	`$chemin = str_replace("//", "/", $chemin);`
141		141
142	`if(!isset($chemin_traites[self::harmoniserPourDoublon($chemin).'-'.$mot['id_utilisateur']])) {`	142	`if(!isset($chemin_traites[self::harmoniserPourDoublon($chemin).'-'.$mot['id_utilisateur']])) {`
143	`$cle = $mot['id_mot_cle'].'-'.$mot['id_utilisateur'];`	143	`$cle = $mot['id_mot_cle'].'-'.$mot['id_utilisateur'];`
144		144
145	`$mots_cles_hierarchiques[$cle] = array(`	145	`$mots_cles_hierarchiques[$cle] = array(`
146	`'id_utilisateur' => $mot['id_utilisateur'],`	146	`'id_utilisateur' => $mot['id_utilisateur'],`
147	`'chemin' => $chemin,`	147	`'chemin' => $chemin,`
148	`'tag' => $mot['mot_cle']`	148	`'mot_cle' => $mot['mot_cle']`
149	`);`	149	`);`
150	`$chemin_traites[self::harmoniserPourDoublon($chemin).'-'.$mot['id_utilisateur']] = 1;`	150	`$chemin_traites[self::harmoniserPourDoublon($chemin).'-'.$mot['id_utilisateur']] = 1;`
151	`} else {`	151	`} else {`
152	`$pbs['doublons'][self::harmoniserPourDoublon($chemin).'-'.$mot['id_utilisateur']] = $mot;`	152	`$pbs['doublons'][self::harmoniserPourDoublon($chemin).'-'.$mot['id_utilisateur']] = $mot;`
153	`}`	153	`}`
154	`} else {`	154	`} else {`
155	`$pbs['vides'][] = $mot;`	155	`$pbs['vides'][] = $mot;`
156	`}`	156	`}`
157	`}`	157	`}`
-		158
-		159	`//echo '<pre>'.print_r($mots_cles_hierarchiques,true).'</pre>';exit;`
158	`return $mots_cles_hierarchiques;`	160	`return $mots_cles_hierarchiques;`
159	`}`	161	`}`
160		162
161	`static public function harmoniserPourDoublon($texte) {`	163	`static public function harmoniserPourDoublon($texte) {`
162	`$texte = htmlentities($texte, ENT_NOQUOTES, 'utf-8');`	164	`$texte = htmlentities($texte, ENT_NOQUOTES, 'utf-8');`
163	`$texte = preg_replace('/&([A-za-z])(?:acute\|cedil\|circ\|grave\|orn\|ring\|slash\|th\|tilde\|uml);/', '\1', $texte);`	165	`$texte = preg_replace('/&([A-za-z])(?:acute\|cedil\|circ\|grave\|orn\|ring\|slash\|th\|tilde\|uml);/', '\1', $texte);`
164	`$texte = preg_replace('/&([A-za-z]{2})(?:lig);/', '\1', $texte); // pour les ligatures e.g. '&oelig;'`	166	`$texte = preg_replace('/&([A-za-z]{2})(?:lig);/', '\1', $texte); // pour les ligatures e.g. '&oelig;'`
165	`$texte = preg_replace('/&[^;]+;/', '', $texte); // supprime les autres caractères`	167	`$texte = preg_replace('/&[^;]+;/', '', $texte); // supprime les autres caractères`
166		168
167	`return strtolower($texte);`	169	`return strtolower($texte);`
168	`}`	170	`}`
169		171
170	`static public function simplifier($text) {`	172	`static public function simplifier($text) {`
171	`// le slash est le seul caractère interdit dans les mots clés`	173	`// le slash est le seul caractère interdit dans les mots clés`
172	`return trim(str_replace(array('\\','/'), '', $text));`	174	`return trim(str_replace(array('\\','/'), '', $text));`
173	`}`	175	`}`
174	`}`	176	`}`
175	`?>`	177	`?>`