WebSVN – eFlore/Applications.cel – Diff – /trunk/scripts/modules/migration_mots_cles/MigrationMotsCles.php


<?php
// declare(encoding='UTF-8');
/**
 * Traitement des mots clés cel pour les migrer vers des mots clés stockés avec path enumeration
 *
 * Utilisation :
 *  - migrer les mots-clés obs : <code>/opt/lamp/bin/php cli.php migration_mots_cles -a obs</code>
 *  - migrer les mots-clés images : <code>/opt/lamp/bin/php cli.php migration_mots_cles -a images</code>
 *
 * @category   CEL
 * @package    Scripts
 * @subpackage Migration : Mots-Clés
 * @author     Mathias CHOUET <mathias@tela-botanica.org>
 * @author     Jean-Pascal MILCENT <jpm@tela-botanica.org>
 * @author     Aurelien PERONNET <aurelien@tela-botanica.org>
 * @license    GPL v3 <http://www.gnu.org/licenses/gpl.txt>
 * @license    CECILL v2 <http://www.cecill.info/licences/Licence_CeCILL_V2-en.txt>
 * @copyright  1999-2014 Tela Botanica <accueil@tela-botanica.org>
 */
include_once dirname(__FILE__).'/bibliotheque/Dao.php';
 
class MigrationMotsCles extends Script {
 
	private $mode;
 
	public function executer() {
		$cmd = $this->getParametre('a');
		$this->mode_verbeux = $this->getParametre('v');
 
		switch($cmd) {
			case 'obs':
				$this->mode = $cmd;
				$this->migrerMotsClesObservations();
				break;
 
			case 'images':
				$this->mode = $cmd;
				$this->migrerMotsClesImages();
				break;
 
			default:
				echo 'Méthode inconnue, les méthodes possibles sont obs et images'."\n";
		}
	}
 
	private function migrerMotsClesObservations() {
		$this->dao = new Dao('obs');
		$this->convertirNestedSetVersPathEnum();
	}
 
	private function migrerMotsClesImages() {
		$this->dao = new Dao('images');
		$this->convertirNestedSetVersPathEnum();
	}
 
	private function convertirNestedSetVersPathEnum() {
 
		$debut = microtime();
 
		$this->dao->viderTables();
 
		$mots_cles_hierarchiques = $this->dao->obtenirMotsClesOriginaux($this->mode);
		$mots_cles_hierarchiques = $this->formaterChemin($mots_cles_hierarchiques);
 
		$liaisons = $this->dao->obtenirLiaisonsMotsClesOriginaux($this->mode);
 
		if ($this->mode_verbeux) {
			echo "-------------------------------------------------------------------\n";
			echo " Début de la migration des mots clés ".$this->mode." \n";
			echo " ".count($mots_cles_hierarchiques)." mots clés et ".count($liaisons)." liaisons à migrer \n";
			echo "-------------------------------------------------------------------\n";
		}
 
		$nb_mots_cles = 0;
		$nb_liaisons = 0;
 
		$mots_cles_slice = array_chunk($mots_cles_hierarchiques, 800, true);
		echo " Insertion des mots clés par paquet de 800 \n";
		foreach ($mots_cles_slice as &$mots_cles_tranche) {
			$this->dao->insererMotsCles($mots_cles_tranche);
			$nb_mots_cles += 800;
			if($this->mode_verbeux) {
				$this->afficherAvancement(' mots clés insérés ', $nb_mots_cles);
			}
		}
		echo "\n Insertion des mots clés ".$this->mode." terminée \n";
 
		$infos_nouveaux_mots_cles = $this->dao->obtenirInfosNouveauxMotsCles();
		$correspondances = $this->formaterCorrespondanceCheminId($infos_nouveaux_mots_cles);
 
		$liaisons_slice = array_chunk($liaisons, 800, true);
		echo " Insertion des mots liaisons par paquet de 800 \n";
		foreach ($liaisons_slice as &$liaison_tranche) {
			$this->dao->insererLiaisonsMotsCles($mots_cles_hierarchiques, $liaison_tranche, $correspondances);
			$nb_liaisons += 800;
			if($this->mode_verbeux) {
				$this->afficherAvancement(' liaisons insérées ', $nb_liaisons);
			}
		}
		echo "\n Insertion des liaisons ".$this->mode." terminée \n";
 
		$fin = microtime(true);
		if ($this->mode_verbeux) {
			echo "\n";
			echo "-------------------------------------------------------------------\n";
			echo "  Fin de la migration des mots clés ".$this->mode.", \n";
			echo "  ".($fin - $debut)." secondes écoulées \n";
			echo "  ".count($mots_cles_hierarchiques)." mots clés insérés \n";
			echo "  ".count($liaisons)." liaisons insérées \n";
			echo "-------------------------------------------------------------------\n";
			echo "\n";
		}
	}
 
	private function formaterCorrespondanceCheminId($infos_nouveaux_mots_cles) {
		$mots_cles_correspondances = array();
		foreach ($infos_nouveaux_mots_cles as &$mot) {
			$cle = $mot['chemin'].'-'.$mot['id_utilisateur'];
			$mots_cles_correspondances[$cle] = $mot;
		}
		return $mots_cles_correspondances;
	}
 
	private function formaterChemin($mots_cles) {
		$mots_cles_hierarchiques = array();
		$chemin_traites = array();
		$pbs = array('doublons' => array(), 'vides' => array());
 
		foreach ($mots_cles as &$mot) {
 
			if (trim($mot['mot_cle']) != "") {
				$chemin = '/';
				$cle_parent = $mot['parent'].'-'.$mot['id_utilisateur'];
				if (isset($mots_cles_hierarchiques[$cle_parent])) {
					$chemin = $mots_cles_hierarchiques[$cle_parent]['chemin'];
				}
				$chemin .= self::simplifier($mot['mot_cle']).'/';
				$chemin = str_replace("//", "/", $chemin);
 
				if (!isset($chemin_traites[self::harmoniserPourDoublon($chemin).'-'.$mot['id_utilisateur']])) {
					$cle = $mot['id_mot_cle'].'-'.$mot['id_utilisateur'];
 
					$mots_cles_hierarchiques[$cle] = array(
						'id_utilisateur' => $mot['id_utilisateur'],
						'chemin' => $chemin,
						'mot_cle' => $mot['mot_cle']
					);
					$chemin_traites[self::harmoniserPourDoublon($chemin).'-'.$mot['id_utilisateur']] = 1;
				} else {
					$pbs['doublons'][self::harmoniserPourDoublon($chemin).'-'.$mot['id_utilisateur']] = $mot;
				}
			} else {
				$pbs['vides'][] = $mot;
			}
		}
 
		//echo '<pre>'.print_r($mots_cles_hierarchiques,true).'</pre>';exit;
		return $mots_cles_hierarchiques;
	}
 
	static public function harmoniserPourDoublon($texte) {
		$texte = htmlentities($texte, ENT_NOQUOTES, 'utf-8');
		$texte = preg_replace('/&([A-za-z])(?:acute|cedil|circ|grave|orn|ring|slash|th|tilde|uml);/', '\1', $texte);
		$texte = preg_replace('/&([A-za-z]{2})(?:lig);/', '\1', $texte); // pour les ligatures e.g. '&oelig;'
		$texte = preg_replace('/&[^;]+;/', '', $texte); // supprime les autres caractères
 
		return strtolower($texte);
	}
 
	static public function simplifier($text) {
		// le slash est le seul caractère interdit dans les mots clés
		return trim(str_replace(array('\\','/'), '', $text));
	}
}

Subversion Repositories eFlore/Applications.cel

(root)/trunk/scripts/modules/migration_mots_cles/MigrationMotsCles.php – Rev 2414 → 2436

Rev 2414		Rev 2436
1	`<?php`	1	`<?php`
2	`// declare(encoding='UTF-8');`	2	`// declare(encoding='UTF-8');`
3	`/**`	3	`/**`
4	`* Traitement des mots clés cel pour les migrer vers des mots clés stockés avec path enumeration`	4	`* Traitement des mots clés cel pour les migrer vers des mots clés stockés avec path enumeration`
5	`*`	5	`*`
6	`* Utilisation :`	6	`* Utilisation :`
7	`* - migrer les mots-clés obs : <code>/opt/lamp/bin/php cli.php migration_mots_cles -a obs</code>`	7	`* - migrer les mots-clés obs : <code>/opt/lamp/bin/php cli.php migration_mots_cles -a obs</code>`
8	`* - migrer les mots-clés images : <code>/opt/lamp/bin/php cli.php migration_mots_cles -a images</code>`	8	`* - migrer les mots-clés images : <code>/opt/lamp/bin/php cli.php migration_mots_cles -a images</code>`
9	`*`	9	`*`
10	`* @category CEL`	10	`* @category CEL`
11	`* @package Scripts`	11	`* @package Scripts`
12	`* @subpackage Migration : Mots-Clés`	12	`* @subpackage Migration : Mots-Clés`
13	`* @author Mathias CHOUET <mathias@tela-botanica.org>`	13	`* @author Mathias CHOUET <mathias@tela-botanica.org>`
14	`* @author Jean-Pascal MILCENT <jpm@tela-botanica.org>`	14	`* @author Jean-Pascal MILCENT <jpm@tela-botanica.org>`
15	`* @author Aurelien PERONNET <aurelien@tela-botanica.org>`	15	`* @author Aurelien PERONNET <aurelien@tela-botanica.org>`
16	`* @license GPL v3 <http://www.gnu.org/licenses/gpl.txt>`	16	`* @license GPL v3 <http://www.gnu.org/licenses/gpl.txt>`
17	`* @license CECILL v2 <http://www.cecill.info/licences/Licence_CeCILL_V2-en.txt>`	17	`* @license CECILL v2 <http://www.cecill.info/licences/Licence_CeCILL_V2-en.txt>`
18	`* @copyright 1999-2014 Tela Botanica <accueil@tela-botanica.org>`	18	`* @copyright 1999-2014 Tela Botanica <accueil@tela-botanica.org>`
19	`*/`	19	`*/`
20	`include_once dirname(__FILE__).'/bibliotheque/Dao.php';`	20	`include_once dirname(__FILE__).'/bibliotheque/Dao.php';`
21		21
22	`class MigrationMotsCles extends Script {`	22	`class MigrationMotsCles extends Script {`
23		23
24	`private $mode;`	24	`private $mode;`
25		25
26	`public function executer() {`	26	`public function executer() {`
27	`$cmd = $this->getParametre('a');`	27	`$cmd = $this->getParametre('a');`
28	`$this->mode_verbeux = $this->getParametre('v');`	28	`$this->mode_verbeux = $this->getParametre('v');`
29		29
30	`switch($cmd) {`	30	`switch($cmd) {`
31	`case 'obs':`	31	`case 'obs':`
32	`$this->mode = $cmd;`	32	`$this->mode = $cmd;`
33	`$this->migrerMotsClesObservations();`	33	`$this->migrerMotsClesObservations();`
34	`break;`	34	`break;`
35		-
36	`case 'images':`	35	`case 'images':`
37	`$this->mode = $cmd;`	36	`$this->mode = $cmd;`
38	`$this->migrerMotsClesImages();`	37	`$this->migrerMotsClesImages();`
39	`break;`	38	`break;`
40		-
41	`default:`	39	`default:`
42	`echo 'Méthode inconnue, les méthodes possibles sont obs et images'."\n";`	40	`echo 'Méthode inconnue, les méthodes possibles sont obs et images'."\n";`
43	`}`	41	`}`
44	`}`	42	`}`
45		43
46	`private function migrerMotsClesObservations() {`	44	`private function migrerMotsClesObservations() {`
47	`$this->dao = new Dao('obs');`	45	`$this->dao = new Dao('obs');`
48	`$this->convertirNestedSetVersPathEnum();`	46	`$this->convertirNestedSetVersPathEnum();`
49	`}`	47	`}`
50		48
51	`private function migrerMotsClesImages() {`	49	`private function migrerMotsClesImages() {`
52	`$this->dao = new Dao('images');`	50	`$this->dao = new Dao('images');`
53	`$this->convertirNestedSetVersPathEnum();`	51	`$this->convertirNestedSetVersPathEnum();`
54	`}`	52	`}`
55		53
56	`private function convertirNestedSetVersPathEnum() {`	54	`private function convertirNestedSetVersPathEnum() {`
57		-
58	`$debut = microtime();`	55	`$debut = microtime();`
59		56
60	`$this->dao->viderTables();`	57	`$this->dao->viderTables();`
61		58
62	`$mots_cles_hierarchiques = $this->dao->obtenirMotsClesOriginaux($this->mode);`	59	`$mots_cles_hierarchiques = $this->dao->obtenirMotsClesOriginaux($this->mode);`
63	`$mots_cles_hierarchiques = $this->formaterChemin($mots_cles_hierarchiques);`	60	`$mots_cles_hierarchiques = $this->formaterChemin($mots_cles_hierarchiques);`
64		61
65	`$liaisons = $this->dao->obtenirLiaisonsMotsClesOriginaux($this->mode);`	62	`$liaisons = $this->dao->obtenirLiaisonsMotsClesOriginaux($this->mode);`
66		63
67	`if($this->mode_verbeux) {`	64	`if ($this->mode_verbeux) {`
68	`echo "-------------------------------------------------------------------\n";`	65	`echo "-------------------------------------------------------------------\n";`
69	`echo " Début de la migration des mots clés ".$this->mode." \n";`	66	`echo " Début de la migration des mots clés ".$this->mode." \n";`
70	`echo " ".count($mots_cles_hierarchiques)." mots clés et ".count($liaisons)." liaisons à migrer \n";`	67	`echo " ".count($mots_cles_hierarchiques)." mots clés et ".count($liaisons)." liaisons à migrer \n";`
71	`echo "-------------------------------------------------------------------\n";`	68	`echo "-------------------------------------------------------------------\n";`
72	`}`	69	`}`
73		70
74	`$nb_mots_cles = 0;`	71	`$nb_mots_cles = 0;`
75	`$nb_liaisons = 0;`	72	`$nb_liaisons = 0;`
76		73
77	`$mots_cles_slice = array_chunk($mots_cles_hierarchiques, 800, true);`	74	`$mots_cles_slice = array_chunk($mots_cles_hierarchiques, 800, true);`
78	`echo " Insertion des mots clés par paquet de 800 \n";`	75	`echo " Insertion des mots clés par paquet de 800 \n";`
79	`foreach($mots_cles_slice as &$mots_cles_tranche) {`	76	`foreach ($mots_cles_slice as &$mots_cles_tranche) {`
80	`$this->dao->insererMotsCles($mots_cles_tranche);`	77	`$this->dao->insererMotsCles($mots_cles_tranche);`
81	`$nb_mots_cles += 800;`	78	`$nb_mots_cles += 800;`
82	`if($this->mode_verbeux) {`	79	`if($this->mode_verbeux) {`
83	`$this->afficherAvancement(' mots clés insérés ', $nb_mots_cles);`	80	`$this->afficherAvancement(' mots clés insérés ', $nb_mots_cles);`
84	`}`	81	`}`
85	`}`	82	`}`
86	`echo "\n Insertion des mots clés ".$this->mode." terminée \n";`	83	`echo "\n Insertion des mots clés ".$this->mode." terminée \n";`
87		84
88	`$infos_nouveaux_mots_cles = $this->dao->obtenirInfosNouveauxMotsCles();`	85	`$infos_nouveaux_mots_cles = $this->dao->obtenirInfosNouveauxMotsCles();`
89	`$correspondances = $this->formaterCorrespondanceCheminId($infos_nouveaux_mots_cles);`	86	`$correspondances = $this->formaterCorrespondanceCheminId($infos_nouveaux_mots_cles);`
90		87
91	`$liaisons_slice = array_chunk($liaisons, 800, true);`	88	`$liaisons_slice = array_chunk($liaisons, 800, true);`
92	`echo " Insertion des mots liaisons par paquet de 800 \n";`	89	`echo " Insertion des mots liaisons par paquet de 800 \n";`
93	`foreach($liaisons_slice as &$liaison_tranche) {`	90	`foreach ($liaisons_slice as &$liaison_tranche) {`
94	`$this->dao->insererLiaisonsMotsCles($mots_cles_hierarchiques, $liaison_tranche, $correspondances);`	91	`$this->dao->insererLiaisonsMotsCles($mots_cles_hierarchiques, $liaison_tranche, $correspondances);`
95	`$nb_liaisons += 800;`	92	`$nb_liaisons += 800;`
96	`if($this->mode_verbeux) {`	93	`if($this->mode_verbeux) {`
97	`$this->afficherAvancement(' liaisons insérées ', $nb_liaisons);`	94	`$this->afficherAvancement(' liaisons insérées ', $nb_liaisons);`
98	`}`	95	`}`
99	`}`	96	`}`
100	`echo "\n Insertion des liaisons ".$this->mode." terminée \n";`	97	`echo "\n Insertion des liaisons ".$this->mode." terminée \n";`
101		98
102	`$fin = microtime(true);`	99	`$fin = microtime(true);`
103	`if($this->mode_verbeux) {`	100	`if ($this->mode_verbeux) {`
104	`echo "\n";`	101	`echo "\n";`
105	`echo "-------------------------------------------------------------------\n";`	102	`echo "-------------------------------------------------------------------\n";`
106	`echo " Fin de la migration des mots clés ".$this->mode.", \n";`	103	`echo " Fin de la migration des mots clés ".$this->mode.", \n";`
107	`echo " ".($fin - $debut)." secondes écoulées \n";`	104	`echo " ".($fin - $debut)." secondes écoulées \n";`
108	`echo " ".count($mots_cles_hierarchiques)." mots clés insérés \n";`	105	`echo " ".count($mots_cles_hierarchiques)." mots clés insérés \n";`
109	`echo " ".count($liaisons)." liaisons insérées \n";`	106	`echo " ".count($liaisons)." liaisons insérées \n";`
110	`echo "-------------------------------------------------------------------\n";`	107	`echo "-------------------------------------------------------------------\n";`
111	`echo "\n";`	108	`echo "\n";`
112	`}`	109	`}`
113	`}`	110	`}`
114		111
115	`private function formaterCorrespondanceCheminId($infos_nouveaux_mots_cles) {`	112	`private function formaterCorrespondanceCheminId($infos_nouveaux_mots_cles) {`
116	`$mots_cles_correspondances = array();`	113	`$mots_cles_correspondances = array();`
117	`foreach($infos_nouveaux_mots_cles as &$mot) {`	114	`foreach ($infos_nouveaux_mots_cles as &$mot) {`
118	`$cle = $mot['chemin'].'-'.$mot['id_utilisateur'];`	115	`$cle = $mot['chemin'].'-'.$mot['id_utilisateur'];`
119	`$mots_cles_correspondances[$cle] = $mot;`	116	`$mots_cles_correspondances[$cle] = $mot;`
120	`}`	117	`}`
121	`return $mots_cles_correspondances;`	118	`return $mots_cles_correspondances;`
122	`}`	119	`}`
123		120
124	`private function formaterChemin($mots_cles) {`	121	`private function formaterChemin($mots_cles) {`
125	`$mots_cles_hierarchiques = array();`	122	`$mots_cles_hierarchiques = array();`
126	`$chemin_traites = array();`	123	`$chemin_traites = array();`
127	`$pbs = array('doublons' => array(), 'vides' => array());`	124	`$pbs = array('doublons' => array(), 'vides' => array());`
128		125
129	`foreach($mots_cles as &$mot) {`	126	`foreach ($mots_cles as &$mot) {`
130		127
131	`if(trim($mot['mot_cle']) != "") {`	128	`if (trim($mot['mot_cle']) != "") {`
132	`$chemin = '/';`	129	`$chemin = '/';`
133	`$cle_parent = $mot['parent'].'-'.$mot['id_utilisateur'];`	130	`$cle_parent = $mot['parent'].'-'.$mot['id_utilisateur'];`
134	`if(isset($mots_cles_hierarchiques[$cle_parent])) {`	131	`if (isset($mots_cles_hierarchiques[$cle_parent])) {`
135	`$chemin = $mots_cles_hierarchiques[$cle_parent]['chemin'];`	132	`$chemin = $mots_cles_hierarchiques[$cle_parent]['chemin'];`
136	`}`	133	`}`
137	`$chemin .= self::simplifier($mot['mot_cle']).'/';`	134	`$chemin .= self::simplifier($mot['mot_cle']).'/';`
138	`$chemin = str_replace("//", "/", $chemin);`	135	`$chemin = str_replace("//", "/", $chemin);`
139		136
140	`if(!isset($chemin_traites[self::harmoniserPourDoublon($chemin).'-'.$mot['id_utilisateur']])) {`	137	`if (!isset($chemin_traites[self::harmoniserPourDoublon($chemin).'-'.$mot['id_utilisateur']])) {`
141	`$cle = $mot['id_mot_cle'].'-'.$mot['id_utilisateur'];`	138	`$cle = $mot['id_mot_cle'].'-'.$mot['id_utilisateur'];`
142		139
143	`$mots_cles_hierarchiques[$cle] = array(`	140	`$mots_cles_hierarchiques[$cle] = array(`
144	`'id_utilisateur' => $mot['id_utilisateur'],`	141	`'id_utilisateur' => $mot['id_utilisateur'],`
145	`'chemin' => $chemin,`	142	`'chemin' => $chemin,`
146	`'mot_cle' => $mot['mot_cle']`	143	`'mot_cle' => $mot['mot_cle']`
147	`);`	144	`);`
148	`$chemin_traites[self::harmoniserPourDoublon($chemin).'-'.$mot['id_utilisateur']] = 1;`	145	`$chemin_traites[self::harmoniserPourDoublon($chemin).'-'.$mot['id_utilisateur']] = 1;`
149	`} else {`	146	`} else {`
150	`$pbs['doublons'][self::harmoniserPourDoublon($chemin).'-'.$mot['id_utilisateur']] = $mot;`	147	`$pbs['doublons'][self::harmoniserPourDoublon($chemin).'-'.$mot['id_utilisateur']] = $mot;`
151	`}`	148	`}`
152	`} else {`	149	`} else {`
153	`$pbs['vides'][] = $mot;`	150	`$pbs['vides'][] = $mot;`
154	`}`	151	`}`
155	`}`	152	`}`
156		153
157	`//echo '<pre>'.print_r($mots_cles_hierarchiques,true).'</pre>';exit;`	154	`//echo '<pre>'.print_r($mots_cles_hierarchiques,true).'</pre>';exit;`
158	`return $mots_cles_hierarchiques;`	155	`return $mots_cles_hierarchiques;`
159	`}`	156	`}`
160		157
161	`static public function harmoniserPourDoublon($texte) {`	158	`static public function harmoniserPourDoublon($texte) {`
162	`$texte = htmlentities($texte, ENT_NOQUOTES, 'utf-8');`	159	`$texte = htmlentities($texte, ENT_NOQUOTES, 'utf-8');`
163	`$texte = preg_replace('/&([A-za-z])(?:acute\|cedil\|circ\|grave\|orn\|ring\|slash\|th\|tilde\|uml);/', '\1', $texte);`	160	`$texte = preg_replace('/&([A-za-z])(?:acute\|cedil\|circ\|grave\|orn\|ring\|slash\|th\|tilde\|uml);/', '\1', $texte);`
164	`$texte = preg_replace('/&([A-za-z]{2})(?:lig);/', '\1', $texte); // pour les ligatures e.g. '&oelig;'`	161	`$texte = preg_replace('/&([A-za-z]{2})(?:lig);/', '\1', $texte); // pour les ligatures e.g. '&oelig;'`
165	`$texte = preg_replace('/&[^;]+;/', '', $texte); // supprime les autres caractères`	162	`$texte = preg_replace('/&[^;]+;/', '', $texte); // supprime les autres caractères`
166		163
167	`return strtolower($texte);`	164	`return strtolower($texte);`
168	`}`	165	`}`
169		166
170	`static public function simplifier($text) {`	167	`static public function simplifier($text) {`
171	`// le slash est le seul caractère interdit dans les mots clés`	168	`// le slash est le seul caractère interdit dans les mots clés`
172	`return trim(str_replace(array('\\','/'), '', $text));`	169	`return trim(str_replace(array('\\','/'), '', $text));`
173	`}`	170	`}`
174	`}`	171	`}`