Subversion Repositories eFlore/Applications.cel

Rev

Rev 1199 | Rev 1224 | Go to most recent revision | Details | Compare with Previous | Last modification | View Log | RSS feed

Rev Author Line No. Line
1149 gduche 1 
<?php
1198 jpm 2 
// declare(encoding='UTF-8');
3 
/**
4 
 * Script de migration des Mots Clés de la version 1 de la base de données du CEL à la v2.
5 
 *
6 
 * @category	php 5.2
7 
 * @package		Cel/Scripts
8 
 * @author		Aurélien PERONNET <aurelien@tela-botanica.org>
9 
 * @author		Jean-Pascal MILCENT <jpm@tela-botanica.org>
10 
 * @copyright	Copyright (c) 2012, Tela Botanica (accueil@tela-botanica.org)
11 
 * @license	http://www.cecill.info/licences/Licence_CeCILL_V2-fr.txt Licence CECILL
12 
 * @license	http://www.gnu.org/licenses/gpl.html Licence GNU-GPL
13 
 * @version	$Id$
14 
 */
15 
class MigrationMotsCles extends Cel {
1149 gduche 16 
 
1198 jpm 17 
	const SEPARATEUR_MOT_CLE_TEXTE = ',';
18 
	const truncate = true; //Doit on vider les tables de destination ?
19 
	const dry_run = false;
20 
 
21 
	private $nouvellesTables = array('cel_mots_cles_obs', 'cel_mots_cles_images', 'cel_images_mots_cles', 'cel_obs_mots_cles');
1161 aurelien 22 
	public static $bdd_cel_migration;
23 
	public static $bdd_utilisateurs;
1149 gduche 24 
	private $tableau_utilisateurs = array();
25 
 
26 
	/** Tableau associatif permettant de stocker l'avancement dans une boucle.
27 
	* La clé est un md5 du message à afficher au démarrage de la boucle.
28 
	* @var array
29 
	*/
30 
	private static $avancement = array();
1198 jpm 31 
 
1149 gduche 32 
	/**
33 
	 * Méthode appelée avec une requête de type GET.
34 
	 */
35 
	public function getElement($params) {
1198 jpm 36 
		if (!isset($this->config['database_cel']['database_migration']) || $this->config['database_cel']['database_migration'] == '') {
1161 aurelien 37 
			echo 'Attention la variable de configuration database_migration dans la section database_cel, contenant la base de données d\'arrivée, doit être remplie '."\n";
38 
			exit;
39 
		}
1198 jpm 40 
 
41 
		if (!isset($this->config['database_ident']['database']) || $this->config['database_ident']['database'] == '') {
1161 aurelien 42 
			echo 'Attention la variable de configuration database dans la section database_ident, contenant la base de données utilisateurs, doit être remplie '."\n";
43 
			exit;
44 
		}
1198 jpm 45 
 
1161 aurelien 46 
		self::$bdd_cel_migration = $this->config['database_cel']['database_migration'];
47 
		self::$bdd_utilisateurs = $this->config['database_ident']['database'];
1198 jpm 48 
 
1161 aurelien 49 
		echo "--MIGRATION DES MOTS CLES --------------------------------------\n";
50 
		if (self::truncate) {
1199 jpm 51 
			echo "-------------------------------------------------------------------\n";
1161 aurelien 52 
			echo "  ETAPE 0. Vider les tables ... \n\n";
1199 jpm 53 
			echo "-------------------------------------------------------------------\n";
1198 jpm 54 
			$this->viderTables();
1199 jpm 55 
			echo "---------------------------------------------------------------- OK\n";
1161 aurelien 56 
		}
1198 jpm 57 
 
1199 jpm 58 
		echo "-------------------------------------------------------------------\n";
59 
		echo "  ETAPE 1. Paramétrage ... \n";
60 
		echo "-------------------------------------------------------------------\n";
1149 gduche 61 
		$this->getUtilisateurs();
1161 aurelien 62 
		echo "\n"."\n"."\n";
1199 jpm 63 
		echo "-------------------------------------------------------------------\n";
64 
		echo "  ETAPE 2. Migration des mots clés ... \n";
65 
		echo "-------------------------------------------------------------------\n";
1149 gduche 66 
		$this->migrerTableMotsClesObs();
1199 jpm 67 
		echo "\n---------------------------------------------------------------- OK\n";
1149 gduche 68 
		$this->migrerTableMotsClesImages();
1161 aurelien 69 
		echo "\n"."\n"."\n";
1199 jpm 70 
		echo "-------------------------------------------------------------------\n";
71 
		echo "  ETAPE 3. Migration des liaisons mots clés ... \n";
72 
		echo "-------------------------------------------------------------------\n";
1149 gduche 73 
		$this->migrerLiaisonsMotsClesObs();
74 
		$this->migrerLiaisonsMotsClesImages();
75 
		echo "\n"."\n"."\n";
1198 jpm 76 
 
1199 jpm 77 
		echo "-------------------------------------------------------------------\n";
78 
		echo "  ETAPE 4. Génération des index des mots clés ... \n";
79 
		echo "-------------------------------------------------------------------\n";
1161 aurelien 80 
		$this->genererIndexTexteMotsClesObs();
81 
		$this->genererIndexTexteMotsClesImages();
1200 jpm 82 
		$this->mettreANullMotsClesTxtVide();
1161 aurelien 83 
		echo "\n"."\n"."\n";
1149 gduche 84 
	}
1198 jpm 85 
 
86 
	private function viderTables() {
87 
		foreach ($this->nouvellesTables as $nomTable) {
88 
			echo 'Vider la table '.$nomTable.'...';
89 
			$requete = 'TRUNCATE TABLE '.self::$bdd_cel_migration.'.'.$nomTable;
90 
			$resultat = $this->executerRequete($requete);
91 
			echo "ok \n";
92 
		}
93 
	}
94 
 
1149 gduche 95 
	public function executerRequeteSimple($requete) {
96 
		// Fonction de commodité pour afficher les requetes au lieu de les executer
1198 jpm 97 
		if (self::dry_run) {
98 
			echo str_replace('),','),'."\n", $requete);
1149 gduche 99 
			return true;
100 
		} else {
101 
			return parent::executerRequeteSimple($requete);
102 
		}
103 
 
104 
	}
1198 jpm 105 
 
106 
 
1149 gduche 107 
	private function getUtilisateurs() {
108 
		echo "\n-------------------------------------------------------------------\n";
109 
		echo "--SELECTION DES UTILISATEURS---------------------------------------\n\n";
1198 jpm 110 
 
111 
		$requete = 'SELECT U_ID as id, U_MAIL as mail, U_NAME as nom, U_SURNAME as prenom, U_PASSWD as pass '.
112 
			'FROM '.self::$bdd_utilisateurs.'.annuaire_tela';
113 
		$tableau_utilisateurs = $this->executerRequete($requete);
114 
 
1149 gduche 115 
		foreach( $tableau_utilisateurs as &$utilisateur) {
116 
			$this->tableau_utilisateurs[$utilisateur['mail']] = $utilisateur;
117 
		}
1198 jpm 118 
 
1149 gduche 119 
		echo sizeof($this->tableau_utilisateurs)." utilisateurs sélectionnés";
120 
		echo "\n-----------------------------------------------------------------OK\n";
121 
	}
1198 jpm 122 
 
1149 gduche 123 
	private function migrerTableMotsClesObs() {
124 
		$this->migrerTableMotsCles('obs');
125 
	}
1198 jpm 126 
 
1149 gduche 127 
	private function migrerTableMotsClesImages() {
128 
		$this->migrerTableMotsCles('images');
129 
	}
1198 jpm 130 
 
1149 gduche 131 
	private function migrerTableMotsCles($image_ou_obs) {
132 
		echo "--MIGRATION DES MOTS CLES $image_ou_obs ---------------------------------\n";
133 
		$pas = 1;
1198 jpm 134 
 
1149 gduche 135 
		//limite des mots clés
136 
		$requeteNbMotsCles = 'SELECT count(*) as nb FROM cel_mots_cles_'.$image_ou_obs;
137 
		$resultatNbMotsCles = $this->executerRequete($requeteNbMotsCles);
138 
		$nbMotsCles = (int) $resultatNbMotsCles[0]['nb'];
1198 jpm 139 
		for ($i = 0; $i < $nbMotsCles; $i += $pas) {
140 
			$requete = 'SELECT * '.
141 
				'FROM cel_mots_cles_'.$image_ou_obs.' '.
142 
				'ORDER BY cmc_niveau '.
143 
				"LIMIT $i,$pas ";
144 
			$arbres_mots_cles = $this->executerRequete($requete);
145 
 
146 
			if (count($arbres_mots_cles) > 0) {
147 
				$champ_parent = ($image_ou_obs == "obs") ? 'ce_mot_cle_obs_parent' : 'ce_mot_cle_image_parent';
148 
				$champ_id = ($image_ou_obs == "obs") ? 'id_mot_cle_obs' : 'id_mot_cle_image';
149 
				$requete = 'INSERT INTO '.self::$bdd_cel_migration.".cel_mots_cles_$image_ou_obs ".
1199 jpm 150 
					"($champ_id, id_utilisateur, mot_cle, md5, bg, bd, niveau, $champ_parent) ".
151 
					'VALUES ';
1198 jpm 152 
 
153 
				$sous_requete = array();
154 
				foreach ($arbres_mots_cles as $arbre_mot_cle) {
155 
					$sous_requete[] = $this->construireSousRequeteInsertionArbresMotsCles('cmc_', $arbre_mot_cle);
1149 gduche 156 
				}
1198 jpm 157 
				$sous_requete = implode(',', $sous_requete);
158 
				$requete .= $sous_requete;
159 
 
160 
				$migration = $this->executerRequeteSimple($requete);
161 
				if (!$migration) {
162 
					echo  "La migration des mots cles $image_ou_obs a échoué ! "."\n";
1149 gduche 163 
				} else {
1198 jpm 164 
					$this->afficherAvancement("Migration des mots clés $image_ou_obs (par $pas)");
1149 gduche 165 
				}
166 
			}
167 
		}
168 
	}
1198 jpm 169 
 
170 
	/**
171 
	 * Utiliser cette méthode dans une boucle pour afficher un message suivi du nombre de tour de boucle effectué.
172 
	 * Vous devrez vous même gérer le retour à la ligne à la sortie de la boucle.
173 
	 *
174 
	 * @param string le message d'information.
175 
	 * @param int le nombre de départ à afficher.
176 
	 * @return void le message est affiché dans la console.
177 
	 */
178 
	protected function afficherAvancement($message, $depart = 0) {
179 
		if (! isset(self::$avancement[$message])) {
180 
			self::$avancement[$message] = $depart;
181 
			echo "$message : ";
182 
 
183 
			$actuel =& self::$avancement[$message];
184 
			echo $actuel++;
185 
		} else {
186 
			$actuel =& self::$avancement[$message];
187 
 
188 
			// Cas du passage de 99 (= 2 caractères) à 100 (= 3 caractères)
189 
			$passage = 0;
190 
			if (strlen((string) ($actuel - 1)) < strlen((string) ($actuel))) {
191 
				$passage = 1;
192 
			}
193 
 
194 
			echo str_repeat(chr(8), (strlen((string) $actuel) - $passage));
195 
			echo $actuel++;
196 
		}
197 
	}
198 
 
1149 gduche 199 
	private function construireSousRequeteInsertionArbresMotsCles($prefixe, $ligne) {
200 
		$id_proprietaire_mot_cle = $ligne[$prefixe.'id_proprietaire'];
1181 aurelien 201 
		$id_proprietaire_mot_cle = $this->renvoyerIdPourMigration($id_proprietaire_mot_cle);
1198 jpm 202 
 
203 
		$sous_requete = '('.$this->proteger($ligne[$prefixe.'id_mot_cle_utilisateur']).','.
204 
			$this->proteger($id_proprietaire_mot_cle).','.
205 
			$this->proteger($ligne[$prefixe.'mot_cle']).','.
206 
			$this->proteger($ligne[$prefixe.'id_mot_cle_general']).','.
207 
			$this->proteger($ligne[$prefixe.'bg']).','.
208 
			$this->proteger($ligne[$prefixe.'bd']).','.
209 
			$this->proteger($ligne[$prefixe.'niveau']).','.
210 
			$this->proteger($ligne[$prefixe.'id_parent']).
211 
			')';
212 
		return $sous_requete;
1149 gduche 213 
	}
1198 jpm 214 
 
215 
	private function renvoyerIdPourMigration($utilisateur) {
216 
		// si tout les test suivant échouent, on garde l'utilisateur tel quel
217 
		// (cas de la chaine de session des utilisateur anonymes)
218 
		$retour = $utilisateur;
219 
		// si le mail correspond a un utilisateur de la bdd
220 
		if (isset($this->tableau_utilisateurs[$utilisateur])) {
221 
			// on renvoie son id
222 
			$retour =  $this->tableau_utilisateurs[$utilisateur]['id'];
223 
		} else {
224 
			// sinon si c'est un mail inconnu, on garde le md5
225 
			if ($this->mailValide($utilisateur)) {
226 
				$retour = md5($utilisateur);
227 
			}
228 
		}
229 
		return $retour;
230 
	}
231 
 
232 
	public function mailValide($mail) {
233 
		// vérification bidon mais ça suffit pour ici
234 
		return !(strpos('@',$mail) === false);
235 
	}
236 
 
237 
	private function migrerLiaisonsMotsClesObs() {
238 
		$requete = 'SELECT mots_cles AS mots_cles, id AS id, identifiant AS id_utilisateur '.
239 
				'FROM cel_inventory '.
1199 jpm 240 
				'WHERE mots_cles != "" '.
241 
				'	AND mots_cles != "NULL" '.
242 
				'	AND mots_cles != "null" '.
1198 jpm 243 
				'	AND mots_cles IS NOT NULL '.
244 
				'ORDER BY identifiant ';
245 
		$mots_cles_obs = $this->executerRequete($requete);
246 
 
247 
		$requete = 'INSERT INTO '.self::$bdd_cel_migration.'.cel_obs_mots_cles '.
248 
				'(id_observation, id_mot_cle_obs, id_utilisateur) '.
249 
				'VALUES '.
250 
				$this->construireSousRequeteInsertionLiaisons($mots_cles_obs, ';');
251 
 
252 
		$insertion = $this->executerRequeteSimple($requete);
253 
		if (!$insertion) {
254 
			echo 'La migration des mots cles obs a échoué ! '."\n";
255 
		} else {
256 
			echo "Migration des mots cles obs : OK\n\n";
257 
		}
258 
	}
259 
 
260 
	private function migrerLiaisonsMotsClesImages() {
261 
		$requete = 'SELECT ci_meta_mots_cles AS mots_cles, ci_id_image AS id, ci_ce_utilisateur AS id_utilisateur '.
262 
				'FROM cel_images '.
1199 jpm 263 
				'WHERE ci_meta_mots_cles != "" '.
264 
				'	AND ci_meta_mots_cles != "NULL" '.
265 
				'	AND ci_meta_mots_cles != "null" '.
1198 jpm 266 
				'	AND ci_meta_mots_cles IS NOT NULL '.
267 
				'ORDER BY ci_ce_utilisateur';
268 
		$mots_cles_images = $this->executerRequete($requete);
269 
 
270 
		$requete = 'INSERT INTO '.self::$bdd_cel_migration.'.cel_images_mots_cles '.
271 
				'(id_image, id_mot_cle_image, id_utilisateur) '.
272 
				'VALUES '.
273 
				$this->construireSousRequeteInsertionLiaisons($mots_cles_images, ',');
274 
 
275 
		$insertion = $this->executerRequeteSimple($requete);
276 
 
277 
		if (!$insertion) {
278 
			echo 'La migration des mots cles images a échoué ! '."\n";
279 
		} else {
280 
			echo "Migration des mots cles images : OK\n\n";
281 
		}
282 
	}
283 
 
284 
	private function construireSousRequeteInsertionLiaisons($tableau_mots_cles, $separateur) {
285 
		$sous_requete = array();
286 
		foreach ($tableau_mots_cles as $element) {
287 
			$mots_cles_ids = $this->parserMotsCles($element['mots_cles'], $separateur);
288 
			foreach ($mots_cles_ids as $mot_cle_id) {
289 
				$id = $this->proteger($element['id']);
290 
				$id_mot_cle = $this->proteger($mot_cle_id);
291 
				$id_utilisateur = $this->proteger($this->renvoyerIdPourMigration($element['id_utilisateur']));
292 
				$sous_requete[] = "($id, $id_mot_cle, $id_utilisateur)";
1149 gduche 293 
			}
294 
		}
1198 jpm 295 
		$sous_requete_chaine = implode(',', $sous_requete);
296 
		return $sous_requete_chaine;
1149 gduche 297 
	}
1198 jpm 298 
 
1149 gduche 299 
	private function parserMotsCles($mot_cles, $separateur = ',') {
1199 jpm 300 
		$mot_cles = trim($mot_cles, $separateur);
1198 jpm 301 
		$tableau_mots_cles = explode($separateur, $mot_cles);
302 
 
1149 gduche 303 
		$tableau_mots_cles_formates = array();
1198 jpm 304 
		foreach ($tableau_mots_cles as $mot_cle) {
305 
			$mot_cle = str_replace($separateur.$separateur, '', $mot_cle);
306 
			$mot_cle = str_replace('null', '', $mot_cle);
1199 jpm 307 
			$mot_cle = trim($mot_cle);
1198 jpm 308 
 
309 
			if ($this->estUnIdentifiantMotCle($mot_cle)) {
1149 gduche 310 
				// certains mots clés mal formatés contiennent des virgules
1198 jpm 311 
				if (strpos($mot_cle, ',') !== false) {
312 
					$tab_mot_cle_mal_formate = explode(',', $mot_cle);
313 
 
1149 gduche 314 
					foreach ( $tab_mot_cle_mal_formate as $mot_cle_mal_formate) {
1198 jpm 315 
						if ($this->estUnIdentifiantMotCle($mot_cle_mal_formate)) {
1149 gduche 316 
							$tableau_mots_cles_formates[$mot_cle_mal_formate] = $mot_cle_mal_formate;
317 
						}
1198 jpm 318 
					}
1149 gduche 319 
				} else {
320 
					// on met le mot clé dans sa propre case afin d'éviter
1198 jpm 321 
					// facilement les doublons provoqués par de mauvais formatages
1149 gduche 322 
					$tableau_mots_cles_formates[$mot_cle] = $mot_cle;
323 
				}
1199 jpm 324 
			} else if ($mot_cle != '') {
325 
				echo "N'est pas un mot clé : $mot_cle\n";
1149 gduche 326 
			}
327 
		}
328 
		return $tableau_mots_cles_formates;
329 
	}
1198 jpm 330 
 
1149 gduche 331 
	private function estUnIdentifiantMotCle($chaine) {
1199 jpm 332 
		return preg_match('/^(?:[-][0-9]+[.][0-9]+|[-_a-z0-9]+(?:[.][-_a-z0-9]+)*)$/i', $chaine);
1149 gduche 333 
	}
1198 jpm 334 
 
1161 aurelien 335 
	private function genererIndexTexteMotsClesObs() {
1199 jpm 336 
		$requete = 'SELECT DISTINCT id_observation, id_utilisateur '.
337 
			'FROM '.self::$bdd_cel_migration.'.cel_obs_mots_cles ';
338 
		$obs_a_mots_cles = $this->requeter($requete);
1198 jpm 339 
 
340 
		foreach ($obs_a_mots_cles as $obs) {
1199 jpm 341 
			$mots_cles_texte = $this->obtenirMotsClesTexte($obs['id_observation'], $obs['id_utilisateur'], 'obs');
1161 aurelien 342 
			if (is_array($mots_cles_texte) && count($mots_cles_texte) > 0) {
343 
				$mots_cles_texte_chaine = implode(',', $mots_cles_texte);
1199 jpm 344 
				$mise_a_jour_index = $this->executerRequeteMiseAJourMotCleTexte($mots_cles_texte_chaine, $obs['id_observation'], $obs['id_utilisateur'], 'obs');
1198 jpm 345 
				$this->afficherAvancement('Génération des index mots clés obs (par 1)');
1161 aurelien 346 
			}
347 
		}
348 
		echo "\n-----------------------------------------------------------------OK\n";
349 
	}
1198 jpm 350 
 
1161 aurelien 351 
	private function genererIndexTexteMotsClesImages() {
1199 jpm 352 
		$requete = 'SELECT DISTINCT id_image, id_utilisateur '.
353 
			'FROM '.self::$bdd_cel_migration.'.cel_images_mots_cles ';
354 
		$images_a_mots_cles = $this->requeter($requete);
1198 jpm 355 
 
356 
		foreach ($images_a_mots_cles as $image) {
1199 jpm 357 
			$mots_cles_texte = $this->obtenirMotsClesTexte($image['id_image'], $image['id_utilisateur'], 'images');
1161 aurelien 358 
			$mots_cles_texte_chaine = '';
359 
			if (is_array($mots_cles_texte) && count($mots_cles_texte) > 0) {
360 
				$mots_cles_texte_chaine = implode(',', $mots_cles_texte);
1199 jpm 361 
				$mise_a_jour_index = $this->executerRequeteMiseAJourMotCleTexte($mots_cles_texte_chaine, $image['id_image'], $image['id_utilisateur'], 'images');
1198 jpm 362 
				$this->afficherAvancement('Génération des index mots clés images (par 1)');
1161 aurelien 363 
			}
364 
		}
365 
		echo "\n-----------------------------------------------------------------OK\n";
366 
	}
1198 jpm 367 
 
1199 jpm 368 
	private function obtenirMotsClesTexte($id_image_ou_obs, $id_utilisateur, $mode) {
369 
		$bdd = self::$bdd_cel_migration;
370 
		$champ_id_mot_cle = ($mode == 'obs') ? 'id_mot_cle_obs' : 'id_mot_cle_image';
371 
		$champ_id_obs_ou_img = ($mode == 'obs') ? 'id_observation' : 'id_image';
372 
		$id_image_ou_obs = $this->proteger($id_image_ou_obs);
373 
		$id_utilisateur = $this->proteger($id_utilisateur);
1198 jpm 374 
 
1199 jpm 375 
		$requete = 'SELECT mot_cle '.
376 
				"FROM $bdd.cel_mots_cles_$mode AS a ".
377 
				"	INNER JOIN $bdd.cel_{$mode}_mots_cles AS b ".
378 
				"	ON (a.$champ_id_mot_cle = b.$champ_id_mot_cle AND a.id_utilisateur = b.id_utilisateur) ".
379 
				"WHERE b.$champ_id_obs_ou_img = $id_image_ou_obs ".
380 
				"	AND a.id_utilisateur = $id_utilisateur ";
1198 jpm 381 
		$resultats = $this->requeter($requete);
382 
 
1161 aurelien 383 
		$mots_cles = array();
1198 jpm 384 
		foreach ($resultats as $resultat) {
1161 aurelien 385 
			$mots_cles[] = $resultat['mot_cle'];
386 
		}
1198 jpm 387 
 
1161 aurelien 388 
		return $mots_cles;
389 
	}
1199 jpm 390 
 
391 
	private function executerRequeteMiseAJourMotCleTexte($mots_cles_texte_chaine, $id_image_ou_obs, $id_utilisateur, $mode_image_ou_obs) {
392 
		$bdd = self::$bdd_cel_migration;
393 
		$table = ($mode_image_ou_obs == 'obs') ? 'cel_obs' : 'cel_images';
394 
		$chp_id_obs_ou_img = ($mode_image_ou_obs == 'obs') ? 'id_observation' : 'id_image';
395 
		$id_image_ou_obs = $this->proteger($id_image_ou_obs);
396 
		$mots_cles_texte = $this->proteger($mots_cles_texte_chaine);
397 
		$ce_utilisateur = $this->proteger($id_utilisateur);
398 
 
399 
		$requete = 	"UPDATE $bdd.$table ".
400 
			"SET mots_cles_texte = $mots_cles_texte ".
401 
			"WHERE $chp_id_obs_ou_img = $id_image_ou_obs ".
402 
			"	AND ce_utilisateur = $id_utilisateur ";
403 
 
404 
		return $this->executer($requete);
405 
	}
1200 jpm 406 
 
407 
	private function mettreANullMotsClesTxtVide() {
408 
		$bdd = self::$bdd_cel_migration;
409 
		$tables = array('cel_obs', 'cel_images');
410 
 
411 
		foreach ($tables as $table) {
412 
			$requete = 	"UPDATE $bdd.$table ".
413 
				'SET mots_cles_texte = NULL '.
414 
				"WHERE mots_cles_texte = '' ";
415 
			$this->executer($requete);
416 
		}
417 
	}
1149 gduche 418 
}