Subversion Repositories eFlore/Applications.cel

Rev

Rev 1161 | Go to most recent revision | Details | Compare with Previous | Last modification | View Log | RSS feed

Rev Author Line No. Line
1149 gduche 1 
<?php
2 
 
3 
class MigrationMotsCles extends Cel {
4 
 
1161 aurelien 5 
	public static $bdd_cel_migration;
6 
	public static $bdd_utilisateurs;
7 
	const SEPARATEUR_MOT_CLE_TEXTE = ',';
1149 gduche 8 
 
1161 aurelien 9 
	const truncate = true; //Doit on vider les tables de destination ?
10 
 
11 
	const dry_run = false;
12 
 
1149 gduche 13 
	private $tableau_utilisateurs = array();
14 
 
15 
	/** Tableau associatif permettant de stocker l'avancement dans une boucle.
16 
	* La clé est un md5 du message à afficher au démarrage de la boucle.
17 
	* @var array
18 
	*/
19 
	private static $avancement = array();
20 
 
21 
	/**
22 
	 * Méthode appelée avec une requête de type GET.
23 
	 */
24 
	public function getElement($params) {
25 
 
1161 aurelien 26 
		if(!isset($this->config['database_cel']['database_migration']) || $this->config['database_cel']['database_migration'] == '') {
27 
			echo 'Attention la variable de configuration database_migration dans la section database_cel, contenant la base de données d\'arrivée, doit être remplie '."\n";
28 
			exit;
29 
		}
30 
 
31 
		if(!isset($this->config['database_ident']['database']) || $this->config['database_ident']['database'] == '') {
32 
			echo 'Attention la variable de configuration database dans la section database_ident, contenant la base de données utilisateurs, doit être remplie '."\n";
33 
			exit;
34 
		}
35 
 
36 
		self::$bdd_cel_migration = $this->config['database_cel']['database_migration'];
37 
		self::$bdd_utilisateurs = $this->config['database_ident']['database'];
38 
 
39 
		echo "--MIGRATION DES MOTS CLES --------------------------------------\n";
40 
		//1. TEMPORAIRE : vider les tables de destinations
41 
		if (self::truncate) {
42 
			echo "-------------------------------------------------------------------\n\n";
43 
			echo "  ETAPE 0. Vider les tables ... \n\n";
44 
			echo "-------------------------------------------------------------------\n\n";
45 
			$nouvellesTables = array('`cel_mots_cles_obs`','`cel_mots_cles_images`', '`cel_images_mots_cles`', '`cel_obs_mots_cles`');
46 
			foreach ($nouvellesTables as $nomTable) {
47 
				echo 'Vider la table '.$nomTable.'...';
48 
				$requeteTruncate = 'TRUNCATE TABLE '.self::$bdd_cel_migration.'.'.$nomTable;
49 
				$resultatTruncate = $this->executerRequete($requeteTruncate);
50 
				echo "ok \n";
51 
			}
52 
			echo "\n---------------------------------------------------------------- OK\n\n";
53 
		}
54 
 
1149 gduche 55 
		echo "-------------------------------------------------------------------\n\n";
56 
		echo "  ETAPE 1. Paramétrage ... \n\n";
57 
		echo "-------------------------------------------------------------------\n\n";
58 
		$this->getUtilisateurs();
1161 aurelien 59 
		echo "\n"."\n"."\n";
1149 gduche 60 
		echo "-------------------------------------------------------------------\n\n";
61 
		echo "  ETAPE 2. Migration des mots clés ... \n\n";
1161 aurelien 62 
		echo "-------------------------------------------------------------------\n\n";
1149 gduche 63 
		$this->migrerTableMotsClesObs();
1161 aurelien 64 
		echo "\n---------------------------------------------------------------- OK\n\n";
1149 gduche 65 
		$this->migrerTableMotsClesImages();
1161 aurelien 66 
		echo "\n"."\n"."\n";
67 
		echo "-------------------------------------------------------------------\n\n";
68 
		echo "  ETAPE 3. Migration des liaisons mots clés ... \n\n";
69 
		echo "-------------------------------------------------------------------\n\n";
1149 gduche 70 
		$this->migrerLiaisonsMotsClesObs();
71 
		$this->migrerLiaisonsMotsClesImages();
72 
		echo "\n"."\n"."\n";
1161 aurelien 73 
 
74 
		echo "-------------------------------------------------------------------\n\n";
75 
		echo "  ETAPE 4. Génération des index des mots clés ... \n\n";
76 
		echo "-------------------------------------------------------------------\n\n";
77 
		$this->genererIndexTexteMotsClesObs();
78 
		$this->genererIndexTexteMotsClesImages();
79 
		echo "\n"."\n"."\n";
1149 gduche 80 
	}
81 
 
82 
	public function executerRequeteSimple($requete) {
83 
		// Fonction de commodité pour afficher les requetes au lieu de les executer
84 
		if(self::dry_run) {
85 
			echo str_replace('),','),'."\n", $requete);
86 
			return true;
87 
		} else {
88 
			return parent::executerRequeteSimple($requete);
89 
		}
90 
 
91 
	}
92 
 
93 
 
94 
	private function getUtilisateurs() {
95 
		echo "\n-------------------------------------------------------------------\n";
96 
		echo "--SELECTION DES UTILISATEURS---------------------------------------\n\n";
97 
 
1161 aurelien 98 
		$requete_selection_utilisateurs = 'SELECT U_ID as id, U_MAIL as mail, U_NAME as nom, U_SURNAME as prenom, U_PASSWD as pass FROM '.self::$bdd_utilisateurs.'.annuaire_tela';
1149 gduche 99 
		$tableau_utilisateurs = $this->executerRequete($requete_selection_utilisateurs);
100 
 
101 
		foreach( $tableau_utilisateurs as &$utilisateur) {
102 
			$this->tableau_utilisateurs[$utilisateur['mail']] = $utilisateur;
103 
		}
104 
 
105 
		echo sizeof($this->tableau_utilisateurs)." utilisateurs sélectionnés";
106 
		echo "\n-----------------------------------------------------------------OK\n";
107 
	}
108 
 
109 
	private function migrerLiaisonsMotsClesObs() {
110 
		$requete_selection_mots_cles = 'SELECT mots_cles, id FROM cel_inventory '.
111 
										'WHERE mots_cles != "" AND mots_cles IS NOT NULL '.
112 
										'ORDER BY identifiant';
113 
 
114 
		$mots_cles_obs = $this->executerRequete($requete_selection_mots_cles);
115 
 
116 
		$mots_cles_tableau = array();
117 
 
1161 aurelien 118 
		$requete_insertion_mots_cles = 'INSERT INTO '.self::$bdd_cel_migration.'.cel_obs_mots_cles '.
119 
										'(id_observation, id_mot_cle_obs) '.
1149 gduche 120 
										'VALUES ';
121 
 
122 
		$sous_requete_insertion_valeurs = $sous_requete_insertion_mots_cles = $this->construireSousRequeteInsertionLiaisons($mots_cles_obs, 'mots_cles','id',';');
123 
		$requete_insertion_mots_cles = $requete_insertion_mots_cles.$sous_requete_insertion_valeurs;
124 
 
125 
		$insertion = $this->executerRequeteSimple($requete_insertion_mots_cles);
126 
 
127 
		if(!$insertion) {
128 
			echo 'la migration des mots cles obs a échoué ! '."\n";
129 
		} else {
1161 aurelien 130 
			echo "\n---------------------------------------------------------------- OK\n\n";
1149 gduche 131 
		}
132 
 
133 
		echo "\n";
134 
	}
135 
 
136 
	private function migrerLiaisonsMotsClesImages() {
137 
 
138 
		$requete_selection_mots_cles = 'SELECT ci_meta_mots_cles, ci_id_image FROM cel_images '.
139 
										'WHERE ci_meta_mots_cles != "" AND ci_meta_mots_cles IS NOT NULL '.
140 
										'ORDER BY ci_ce_utilisateur';
141 
 
142 
		$mots_cles_images = $this->executerRequete($requete_selection_mots_cles);
143 
 
144 
		$mots_cles_tableau = array();
145 
 
1161 aurelien 146 
		$requete_insertion_mots_cles = 'INSERT INTO '.self::$bdd_cel_migration.'.cel_images_mots_cles '.
147 
										'(id_image, id_mot_cle_image) '.
1149 gduche 148 
										'VALUES ';
149 
		$sous_requete_insertion_mots_cles = $this->construireSousRequeteInsertionLiaisons($mots_cles_images, 'ci_meta_mots_cles','ci_id_image',',');
150 
 
151 
		$requete_insertion_mots_cles = $requete_insertion_mots_cles.$sous_requete_insertion_mots_cles;
152 
 
153 
		$insertion = $this->executerRequeteSimple($requete_insertion_mots_cles);
154 
 
155 
		if(!$insertion) {
156 
			echo 'la migration des mots cles images a échoué ! '."\n";
157 
		} else {
1161 aurelien 158 
			echo "\n---------------------------------------------------------------- OK\n\n";
1149 gduche 159 
		}
160 
	}
161 
 
162 
	private function migrerTableMotsClesObs() {
163 
		$this->migrerTableMotsCles('obs');
164 
	}
165 
 
166 
	private function migrerTableMotsClesImages() {
167 
		$this->migrerTableMotsCles('images');
168 
	}
169 
 
170 
 
171 
	/**
172 
	 * Utiliser cette méthode dans une boucle pour afficher un message suivi du nombre de tour de boucle effectué.
173 
	 * Vous devrez vous même gérer le retour à la ligne à la sortie de la boucle.
174 
	 *
175 
	 * @param string le message d'information.
176 
	 * @param int le nombre de départ à afficher.
177 
	 * @return void le message est affiché dans la console.
178 
	 */
179 
	protected function afficherAvancement($message, $depart = 0) {
180 
		if (! isset(self::$avancement[$message])) {
181 
			self::$avancement[$message] = $depart;
182 
			echo "$message : ";
183 
 
184 
			$actuel =& self::$avancement[$message];
185 
			echo $actuel++;
186 
		} else {
187 
			$actuel =& self::$avancement[$message];
188 
 
189 
			// Cas du passage de 99 (= 2 caractères) à 100 (= 3 caractères)
190 
			$passage = 0;
191 
			if (strlen((string) ($actuel - 1)) < strlen((string) ($actuel))) {
192 
				$passage = 1;
193 
			}
194 
 
195 
			echo str_repeat(chr(8), (strlen((string) $actuel) - $passage));
196 
			echo $actuel++;
197 
		}
198 
	}
199 
 
200 
	private function migrerTableMotsCles($image_ou_obs) {
201 
		echo "--MIGRATION DES MOTS CLES $image_ou_obs ---------------------------------\n";
202 
		$pas = 1;
203 
 
204 
		//limite des mots clés
205 
		$requeteNbMotsCles = 'SELECT count(*) as nb FROM cel_mots_cles_'.$image_ou_obs;
206 
		$resultatNbMotsCles = $this->executerRequete($requeteNbMotsCles);
207 
		$nbMotsCles = (int) $resultatNbMotsCles[0]['nb'];
208 
 
209 
		$nbTotal = 0;
210 
		for($i = 0; $i < $nbMotsCles; $i += $pas) {
211 
			$requete_selection_arbres_mots_cles = 'SELECT * FROM cel_mots_cles_'.$image_ou_obs.' ORDER BY cmc_niveau '.
212 
													'LIMIT '.$i.','.$pas;
213 
			$arbres_mots_cles = $this->executerRequete($requete_selection_arbres_mots_cles);
214 
 
1161 aurelien 215 
			$champ_parent = ($image_ou_obs == "obs") ? 'ce_mot_cle_obs_parent' : 'ce_mot_cle_image_parent';
216 
			$champ_id = ($image_ou_obs == "obs") ? 'id_mot_cle_obs' : 'id_mot_cle_image';
217 
			$requete_insertion_nouvel_arbre = 'INSERT INTO '.self::$bdd_cel_migration.'.cel_mots_cles_'.$image_ou_obs.' '.
218 
												'('.$champ_id.', ce_utilisateur, mot_cle, md5, bg, bd, niveau, '.$champ_parent.') '.
1149 gduche 219 
												'VALUES ';
220 
			$sous_requete_insertion_nouvel_arbre = '';
221 
 
222 
			if(count($arbres_mots_cles) > 0) {
223 
				foreach($arbres_mots_cles as $arbre_mot_cle) {
224 
					$sous_requete_insertion_nouvel_arbre .= $this->construireSousRequeteInsertionArbresMotsCles('cmc_', $arbre_mot_cle);
225 
				}
226 
 
227 
				$sous_requete_insertion_nouvel_arbre = rtrim($sous_requete_insertion_nouvel_arbre,',');
228 
 
229 
				$requete_insertion_nouvel_arbre = $requete_insertion_nouvel_arbre.$sous_requete_insertion_nouvel_arbre;
230 
				$migration = $this->executerRequeteSimple($requete_insertion_nouvel_arbre);
231 
				if(!$migration) {
232 
					echo  'la migration des mots cles '.$image_ou_obs.' a échoué ! '."\n";
233 
				} else {
234 
					$nbTotal ++;
235 
					$this->afficherAvancement('Migration des mots clés (par '.$pas.') :', $nbTotal);
236 
				}
237 
			} else {
1161 aurelien 238 
				echo "\n---------------------------------------------------------------- OK\n\n";
1149 gduche 239 
				return;
240 
			}
241 
 
242 
		}
243 
	}
244 
 
245 
	private function construireSousRequeteInsertionArbresMotsCles($prefixe, $ligne) {
246 
 
247 
		$id_proprietaire_mot_cle = $ligne[$prefixe.'id_proprietaire'];
1181 aurelien 248 
		$id_proprietaire_mot_cle = $this->renvoyerIdPourMigration($id_proprietaire_mot_cle);
1149 gduche 249 
 
250 
		$sous_requete_insertion_valeurs = '('.$this->proteger($ligne[$prefixe.'id_mot_cle_utilisateur']).','.
251 
													$this->proteger($id_proprietaire_mot_cle).','.
252 
													$this->proteger($ligne[$prefixe.'mot_cle']).','.
253 
													$this->proteger($ligne[$prefixe.'id_mot_cle_general']).','.
254 
													$this->proteger($ligne[$prefixe.'bg']).','.
255 
													$this->proteger($ligne[$prefixe.'bd']).','.
256 
													$this->proteger($ligne[$prefixe.'niveau']).','.
257 
													$this->proteger($ligne[$prefixe.'id_parent']).
258 
													'),';
259 
		return $sous_requete_insertion_valeurs;
260 
	}
261 
 
262 
	private function construireSousRequeteInsertionLiaisons($tableau_mots_cles, $champ_mot_cle, $champ_id, $separateur) {
263 
		$sous_requete_insertion_valeurs = '';
264 
 
265 
		foreach($tableau_mots_cles as $mot_cle_element) {
266 
			$mots_cles_tableau = $this->parserMotsCles($mot_cle_element[$champ_mot_cle],$separateur);
267 
			foreach($mots_cles_tableau as $mot_cle_en_cours) {
268 
				$sous_requete_insertion_valeurs .= '('.$mot_cle_element[$champ_id].','.$this->proteger($mot_cle_en_cours).'),';
269 
			}
270 
		}
271 
 
272 
		$sous_requete_insertion_valeurs = rtrim($sous_requete_insertion_valeurs,',');
273 
		return $sous_requete_insertion_valeurs;
274 
	}
275 
 
276 
	private function parserMotsCles($mot_cles, $separateur = ',') {
277 
 
278 
		$tableau_mots_cles = explode($separateur,$mot_cles);
279 
		$tableau_mots_cles_formates = array();
280 
 
281 
		foreach($tableau_mots_cles as $mot_cle) {
282 
 
283 
			$mot_cle = str_replace($separateur.$separateur,'',$mot_cle);
284 
			$mot_cle = str_replace('null','',$mot_cle);
285 
 
1161 aurelien 286 
			if($this->estUnIdentifiantMotCle($mot_cle)) {
1149 gduche 287 
				// certains mots clés mal formatés contiennent des virgules
288 
				if(strpos($mot_cle,',') !== false) {
289 
					$tab_mot_cle_mal_formate = explode(',',$mot_cle);
290 
 
291 
					foreach ( $tab_mot_cle_mal_formate as $mot_cle_mal_formate) {
292 
						if($this->estUnIdentifiantMotCle($mot_cle_mal_formate)) {
293 
							$tableau_mots_cles_formates[$mot_cle_mal_formate] = $mot_cle_mal_formate;
294 
						}
295 
					}
296 
				} else {
297 
					// on met le mot clé dans sa propre case afin d'éviter
298 
					// facilement les doublons provoqués par de mauvais formatages
299 
					$tableau_mots_cles_formates[$mot_cle] = $mot_cle;
300 
				}
301 
			}
302 
		}
303 
 
304 
		return $tableau_mots_cles_formates;
305 
	}
306 
 
307 
	private function estUnIdentifiantMotCle($chaine) {
308 
		return trim($chaine) != '' && preg_match('/[0-9A-Z]+\.[0-9A-Z]+/i', $chaine) ;
309 
	}
1161 aurelien 310 
 
311 
	private function genererIndexTexteMotsClesObs() {
312 
		$requete_selection_obs = 'SELECT DISTINCT id_observation, ce_utilisateur FROM '.self::$bdd_cel_migration.'.cel_obs '.
313 
			                              'WHERE id_observation IN (SELECT DISTINCT id_observation FROM '.self::$bdd_cel_migration.'.cel_mots_cles_obs) ';
314 
		$obs_a_mots_cles = $this->requeter($requete_selection_obs);
315 
		$nbTotal = 0;
316 
 
317 
		foreach($obs_a_mots_cles as $obs) {
318 
			$mots_cles_texte = $this->obtenirMotsClesTexte($obs['id_observation'], $obs['ce_utilisateur'], 'obs');
319 
			if (is_array($mots_cles_texte) && count($mots_cles_texte) > 0) {
320 
				$mots_cles_texte_chaine = implode(',', $mots_cles_texte);
321 
				$mise_a_jour_index = $this->executerRequeteMiseAJourMotCleTexte($mots_cles_texte_chaine,$obs['id_observation'], $obs['ce_utilisateur'], 'obs');
322 
				$nbTotal ++;
323 
				$this->afficherAvancement('Génération des index mots clés obs (par 1) :', $nbTotal);
324 
			}
325 
		}
326 
		echo "\n-----------------------------------------------------------------OK\n";
327 
	}
328 
 
329 
	private function genererIndexTexteMotsClesImages() {
330 
		$requete_selection_images = 'SELECT DISTINCT id_image, ce_utilisateur FROM '.self::$bdd_cel_migration.'.cel_images '.
331 
		                              'WHERE id_image IN (SELECT DISTINCT id_image FROM '.self::$bdd_cel_migration.'.cel_mots_cles_images) ';
332 
		$images_a_mots_cles = $this->requeter($requete_selection_images);
333 
		$nbTotal = 0;
334 
 
335 
		foreach($images_a_mots_cles as $image) {
336 
			$mots_cles_texte = $this->obtenirMotsClesTexte($image['id_image'], $image['ce_utilisateur'], 'images');
337 
			$mots_cles_texte_chaine = '';
338 
			if (is_array($mots_cles_texte) && count($mots_cles_texte) > 0) {
339 
				$mots_cles_texte_chaine = implode(',', $mots_cles_texte);
340 
				$mise_a_jour_index = $this->executerRequeteMiseAJourMotCleTexte($mots_cles_texte_chaine,$image['id_image'], $image['ce_utilisateur'], 'images');
341 
				$nbTotal ++;
342 
				$this->afficherAvancement('Génération des index  mots clés images (par 1) :', $nbTotal);
343 
			}
344 
		}
345 
		echo "\n-----------------------------------------------------------------OK\n";
346 
	}
347 
 
348 
	private function executerRequeteMiseAJourMotCleTexte($mots_cles_texte_chaine, $id_image_ou_obs, $identifiant_utilisateur, $mode_image_ou_obs) {
349 
		$requete = 	'UPDATE '.self::$bdd_cel_migration.'.'.(($mode_image_ou_obs == 'obs') ? 'cel_obs' : 'cel_images').' '.
350 
						'SET mots_cles_texte = '.$this->proteger($mots_cles_texte_chaine).' '.
351 
						'WHERE '.(($mode_image_ou_obs == 'obs') ? 'id_observation' : 'id_image').' = '.$this->proteger($id_image_ou_obs).
352 
						' AND ce_utilisateur = '.$this->proteger($identifiant_utilisateur);
353 
 
354 
		return $this->executer($requete);
355 
	}
356 
 
357 
	private function obtenirMotsClesTexte($id_image_ou_obs, $identifiant_utilisateur, $mode_image_ou_obs) {
358 
 
359 
		$champ_id = ($mode_image_ou_obs == 'obs') ? 'id_mot_cle_obs' : 'id_mot_cle_image';
360 
 
361 
		$requete = 	'SELECT mot_cle '.
362 
						'FROM '.self::$bdd_cel_migration.'.cel_mots_cles_'.$mode_image_ou_obs.' '.
363 
						'WHERE '.$champ_id.' IN '.
364 
							'('.
365 
								'SELECT '.$champ_id.' '.
366 
								'FROM '.self::$bdd_cel_migration.'.cel_'.$mode_image_ou_obs.'_mots_cles '.
367 
								'WHERE '.(($mode_image_ou_obs == 'obs') ? 'id_observation' : 'id_image').' = '.$this->proteger($id_image_ou_obs).
368 
							')'.
369 
						' AND ce_utilisateur = '.$this->proteger($identifiant_utilisateur);
370 
 
371 
		$resultats = $this->requeter($requete);
372 
		$mots_cles = array();
373 
		foreach($resultats as $resultat) {
374 
			$mots_cles[] = $resultat['mot_cle'];
375 
		}
376 
 
377 
		return $mots_cles;
378 
	}
1181 aurelien 379 
 
380 
	private function renvoyerIdPourMigration($utilisateur) {
381 
		// si tout les test suivant échouent, on garde l'utilisateur tel quel
382 
		// (cas de la chaine de session des utilisateur anonymes)
383 
		$retour = $utilisateur;
384 
		// si le mail correspond a un utilisateur de la bdd
385 
		if (isset($this->tableau_utilisateurs[$utilisateur])) {
386 
			// on renvoie son id
387 
			$retour =  $this->tableau_utilisateurs[$utilisateur]['id'];
388 
		} else {
389 
			// sinon si c'est un mail inconnu, on garde le md5
390 
			if($this->mailValide($utilisateur)) {
391 
				$retour = md5($utilisateur);
392 
			}
393 
		}
394 
 
395 
		return $retour;
396 
	}
397 
 
398 
	public function mailValide($mail) {
399 
		// vérification bidon mais ça suffit pour ici
400 
		return !(strpos('@',$mail) === false);
401 
	}
1149 gduche 402 
}