Subversion Repositories eFlore/Applications.cel

Rev

Go to most recent revision | Details | Last modification | View Log | RSS feed

Rev Author Line No. Line
1149 gduche 1
<?php
1198 jpm 2
// declare(encoding='UTF-8');
3
/**
4
 * Script de migration des Mots Clés de la version 1 de la base de données du CEL à la v2.
5
 *
6
 * @category	php 5.2
7
 * @package		Cel/Scripts
8
 * @author		Aurélien PERONNET <aurelien@tela-botanica.org>
9
 * @author		Jean-Pascal MILCENT <jpm@tela-botanica.org>
10
 * @copyright	Copyright (c) 2012, Tela Botanica (accueil@tela-botanica.org)
11
 * @license	http://www.cecill.info/licences/Licence_CeCILL_V2-fr.txt Licence CECILL
12
 * @license	http://www.gnu.org/licenses/gpl.html Licence GNU-GPL
13
 * @version	$Id$
14
 */
15
class MigrationMotsCles extends Cel {
1149 gduche 16
 
1198 jpm 17
	const SEPARATEUR_MOT_CLE_TEXTE = ',';
18
	const truncate = true; //Doit on vider les tables de destination ?
19
	const dry_run = false;
20
 
21
	private $nouvellesTables = array('cel_mots_cles_obs', 'cel_mots_cles_images', 'cel_images_mots_cles', 'cel_obs_mots_cles');
1161 aurelien 22
	public static $bdd_cel_migration;
23
	public static $bdd_utilisateurs;
1149 gduche 24
	private $tableau_utilisateurs = array();
25
 
26
	/** Tableau associatif permettant de stocker l'avancement dans une boucle.
27
	* La clé est un md5 du message à afficher au démarrage de la boucle.
28
	* @var array
29
	*/
30
	private static $avancement = array();
1198 jpm 31
 
1149 gduche 32
	/**
33
	 * Méthode appelée avec une requête de type GET.
34
	 */
35
	public function getElement($params) {
1198 jpm 36
		if (!isset($this->config['database_cel']['database_migration']) || $this->config['database_cel']['database_migration'] == '') {
1161 aurelien 37
			echo 'Attention la variable de configuration database_migration dans la section database_cel, contenant la base de données d\'arrivée, doit être remplie '."\n";
38
			exit;
39
		}
1198 jpm 40
 
41
		if (!isset($this->config['database_ident']['database']) || $this->config['database_ident']['database'] == '') {
1161 aurelien 42
			echo 'Attention la variable de configuration database dans la section database_ident, contenant la base de données utilisateurs, doit être remplie '."\n";
43
			exit;
44
		}
1198 jpm 45
 
1161 aurelien 46
		self::$bdd_cel_migration = $this->config['database_cel']['database_migration'];
47
		self::$bdd_utilisateurs = $this->config['database_ident']['database'];
1198 jpm 48
 
1161 aurelien 49
		echo "--MIGRATION DES MOTS CLES --------------------------------------\n";
50
		if (self::truncate) {
1199 jpm 51
			echo "-------------------------------------------------------------------\n";
1161 aurelien 52
			echo "  ETAPE 0. Vider les tables ... \n\n";
1199 jpm 53
			echo "-------------------------------------------------------------------\n";
1198 jpm 54
			$this->viderTables();
1199 jpm 55
			echo "---------------------------------------------------------------- OK\n";
1161 aurelien 56
		}
1198 jpm 57
 
1199 jpm 58
		echo "-------------------------------------------------------------------\n";
59
		echo "  ETAPE 1. Paramétrage ... \n";
60
		echo "-------------------------------------------------------------------\n";
1149 gduche 61
		$this->getUtilisateurs();
1161 aurelien 62
		echo "\n"."\n"."\n";
1199 jpm 63
		echo "-------------------------------------------------------------------\n";
64
		echo "  ETAPE 2. Migration des mots clés ... \n";
65
		echo "-------------------------------------------------------------------\n";
1149 gduche 66
		$this->migrerTableMotsClesObs();
1199 jpm 67
		echo "\n---------------------------------------------------------------- OK\n";
1149 gduche 68
		$this->migrerTableMotsClesImages();
1161 aurelien 69
		echo "\n"."\n"."\n";
1199 jpm 70
		echo "-------------------------------------------------------------------\n";
71
		echo "  ETAPE 3. Migration des liaisons mots clés ... \n";
72
		echo "-------------------------------------------------------------------\n";
1149 gduche 73
		$this->migrerLiaisonsMotsClesObs();
74
		$this->migrerLiaisonsMotsClesImages();
75
		echo "\n"."\n"."\n";
1198 jpm 76
 
1199 jpm 77
		echo "-------------------------------------------------------------------\n";
78
		echo "  ETAPE 4. Génération des index des mots clés ... \n";
79
		echo "-------------------------------------------------------------------\n";
1161 aurelien 80
		$this->genererIndexTexteMotsClesObs();
81
		$this->genererIndexTexteMotsClesImages();
82
		echo "\n"."\n"."\n";
1149 gduche 83
	}
1198 jpm 84
 
85
	private function viderTables() {
86
		foreach ($this->nouvellesTables as $nomTable) {
87
			echo 'Vider la table '.$nomTable.'...';
88
			$requete = 'TRUNCATE TABLE '.self::$bdd_cel_migration.'.'.$nomTable;
89
			$resultat = $this->executerRequete($requete);
90
			echo "ok \n";
91
		}
92
	}
93
 
1149 gduche 94
	public function executerRequeteSimple($requete) {
95
		// Fonction de commodité pour afficher les requetes au lieu de les executer
1198 jpm 96
		if (self::dry_run) {
97
			echo str_replace('),','),'."\n", $requete);
1149 gduche 98
			return true;
99
		} else {
100
			return parent::executerRequeteSimple($requete);
101
		}
102
 
103
	}
1198 jpm 104
 
105
 
1149 gduche 106
	private function getUtilisateurs() {
107
		echo "\n-------------------------------------------------------------------\n";
108
		echo "--SELECTION DES UTILISATEURS---------------------------------------\n\n";
1198 jpm 109
 
110
		$requete = 'SELECT U_ID as id, U_MAIL as mail, U_NAME as nom, U_SURNAME as prenom, U_PASSWD as pass '.
111
			'FROM '.self::$bdd_utilisateurs.'.annuaire_tela';
112
		$tableau_utilisateurs = $this->executerRequete($requete);
113
 
1149 gduche 114
		foreach( $tableau_utilisateurs as &$utilisateur) {
115
			$this->tableau_utilisateurs[$utilisateur['mail']] = $utilisateur;
116
		}
1198 jpm 117
 
1149 gduche 118
		echo sizeof($this->tableau_utilisateurs)." utilisateurs sélectionnés";
119
		echo "\n-----------------------------------------------------------------OK\n";
120
	}
1198 jpm 121
 
1149 gduche 122
	private function migrerTableMotsClesObs() {
123
		$this->migrerTableMotsCles('obs');
124
	}
1198 jpm 125
 
1149 gduche 126
	private function migrerTableMotsClesImages() {
127
		$this->migrerTableMotsCles('images');
128
	}
1198 jpm 129
 
1149 gduche 130
	private function migrerTableMotsCles($image_ou_obs) {
131
		echo "--MIGRATION DES MOTS CLES $image_ou_obs ---------------------------------\n";
132
		$pas = 1;
1198 jpm 133
 
1149 gduche 134
		//limite des mots clés
135
		$requeteNbMotsCles = 'SELECT count(*) as nb FROM cel_mots_cles_'.$image_ou_obs;
136
		$resultatNbMotsCles = $this->executerRequete($requeteNbMotsCles);
137
		$nbMotsCles = (int) $resultatNbMotsCles[0]['nb'];
1198 jpm 138
		for ($i = 0; $i < $nbMotsCles; $i += $pas) {
139
			$requete = 'SELECT * '.
140
				'FROM cel_mots_cles_'.$image_ou_obs.' '.
141
				'ORDER BY cmc_niveau '.
142
				"LIMIT $i,$pas ";
143
			$arbres_mots_cles = $this->executerRequete($requete);
144
 
145
			if (count($arbres_mots_cles) > 0) {
146
				$champ_parent = ($image_ou_obs == "obs") ? 'ce_mot_cle_obs_parent' : 'ce_mot_cle_image_parent';
147
				$champ_id = ($image_ou_obs == "obs") ? 'id_mot_cle_obs' : 'id_mot_cle_image';
148
				$requete = 'INSERT INTO '.self::$bdd_cel_migration.".cel_mots_cles_$image_ou_obs ".
1199 jpm 149
					"($champ_id, id_utilisateur, mot_cle, md5, bg, bd, niveau, $champ_parent) ".
150
					'VALUES ';
1198 jpm 151
 
152
				$sous_requete = array();
153
				foreach ($arbres_mots_cles as $arbre_mot_cle) {
154
					$sous_requete[] = $this->construireSousRequeteInsertionArbresMotsCles('cmc_', $arbre_mot_cle);
1149 gduche 155
				}
1198 jpm 156
				$sous_requete = implode(',', $sous_requete);
157
				$requete .= $sous_requete;
158
 
159
				$migration = $this->executerRequeteSimple($requete);
160
				if (!$migration) {
161
					echo  "La migration des mots cles $image_ou_obs a échoué ! "."\n";
1149 gduche 162
				} else {
1198 jpm 163
					$this->afficherAvancement("Migration des mots clés $image_ou_obs (par $pas)");
1149 gduche 164
				}
165
			}
166
		}
167
	}
1198 jpm 168
 
169
	/**
170
	 * Utiliser cette méthode dans une boucle pour afficher un message suivi du nombre de tour de boucle effectué.
171
	 * Vous devrez vous même gérer le retour à la ligne à la sortie de la boucle.
172
	 *
173
	 * @param string le message d'information.
174
	 * @param int le nombre de départ à afficher.
175
	 * @return void le message est affiché dans la console.
176
	 */
177
	protected function afficherAvancement($message, $depart = 0) {
178
		if (! isset(self::$avancement[$message])) {
179
			self::$avancement[$message] = $depart;
180
			echo "$message : ";
181
 
182
			$actuel =& self::$avancement[$message];
183
			echo $actuel++;
184
		} else {
185
			$actuel =& self::$avancement[$message];
186
 
187
			// Cas du passage de 99 (= 2 caractères) à 100 (= 3 caractères)
188
			$passage = 0;
189
			if (strlen((string) ($actuel - 1)) < strlen((string) ($actuel))) {
190
				$passage = 1;
191
			}
192
 
193
			echo str_repeat(chr(8), (strlen((string) $actuel) - $passage));
194
			echo $actuel++;
195
		}
196
	}
197
 
1149 gduche 198
	private function construireSousRequeteInsertionArbresMotsCles($prefixe, $ligne) {
199
		$id_proprietaire_mot_cle = $ligne[$prefixe.'id_proprietaire'];
1181 aurelien 200
		$id_proprietaire_mot_cle = $this->renvoyerIdPourMigration($id_proprietaire_mot_cle);
1198 jpm 201
 
202
		$sous_requete = '('.$this->proteger($ligne[$prefixe.'id_mot_cle_utilisateur']).','.
203
			$this->proteger($id_proprietaire_mot_cle).','.
204
			$this->proteger($ligne[$prefixe.'mot_cle']).','.
205
			$this->proteger($ligne[$prefixe.'id_mot_cle_general']).','.
206
			$this->proteger($ligne[$prefixe.'bg']).','.
207
			$this->proteger($ligne[$prefixe.'bd']).','.
208
			$this->proteger($ligne[$prefixe.'niveau']).','.
209
			$this->proteger($ligne[$prefixe.'id_parent']).
210
			')';
211
		return $sous_requete;
1149 gduche 212
	}
1198 jpm 213
 
214
	private function renvoyerIdPourMigration($utilisateur) {
215
		// si tout les test suivant échouent, on garde l'utilisateur tel quel
216
		// (cas de la chaine de session des utilisateur anonymes)
217
		$retour = $utilisateur;
218
		// si le mail correspond a un utilisateur de la bdd
219
		if (isset($this->tableau_utilisateurs[$utilisateur])) {
220
			// on renvoie son id
221
			$retour =  $this->tableau_utilisateurs[$utilisateur]['id'];
222
		} else {
223
			// sinon si c'est un mail inconnu, on garde le md5
224
			if ($this->mailValide($utilisateur)) {
225
				$retour = md5($utilisateur);
226
			}
227
		}
228
		return $retour;
229
	}
230
 
231
	public function mailValide($mail) {
232
		// vérification bidon mais ça suffit pour ici
233
		return !(strpos('@',$mail) === false);
234
	}
235
 
236
	private function migrerLiaisonsMotsClesObs() {
237
		$requete = 'SELECT mots_cles AS mots_cles, id AS id, identifiant AS id_utilisateur '.
238
				'FROM cel_inventory '.
1199 jpm 239
				'WHERE mots_cles != "" '.
240
				'	AND mots_cles != "NULL" '.
241
				'	AND mots_cles != "null" '.
1198 jpm 242
				'	AND mots_cles IS NOT NULL '.
243
				'ORDER BY identifiant ';
244
		$mots_cles_obs = $this->executerRequete($requete);
245
 
246
		$requete = 'INSERT INTO '.self::$bdd_cel_migration.'.cel_obs_mots_cles '.
247
				'(id_observation, id_mot_cle_obs, id_utilisateur) '.
248
				'VALUES '.
249
				$this->construireSousRequeteInsertionLiaisons($mots_cles_obs, ';');
250
 
251
		$insertion = $this->executerRequeteSimple($requete);
252
		if (!$insertion) {
253
			echo 'La migration des mots cles obs a échoué ! '."\n";
254
		} else {
255
			echo "Migration des mots cles obs : OK\n\n";
256
		}
257
	}
258
 
259
	private function migrerLiaisonsMotsClesImages() {
260
		$requete = 'SELECT ci_meta_mots_cles AS mots_cles, ci_id_image AS id, ci_ce_utilisateur AS id_utilisateur '.
261
				'FROM cel_images '.
1199 jpm 262
				'WHERE ci_meta_mots_cles != "" '.
263
				'	AND ci_meta_mots_cles != "NULL" '.
264
				'	AND ci_meta_mots_cles != "null" '.
1198 jpm 265
				'	AND ci_meta_mots_cles IS NOT NULL '.
266
				'ORDER BY ci_ce_utilisateur';
267
		$mots_cles_images = $this->executerRequete($requete);
268
 
269
		$requete = 'INSERT INTO '.self::$bdd_cel_migration.'.cel_images_mots_cles '.
270
				'(id_image, id_mot_cle_image, id_utilisateur) '.
271
				'VALUES '.
272
				$this->construireSousRequeteInsertionLiaisons($mots_cles_images, ',');
273
 
274
		$insertion = $this->executerRequeteSimple($requete);
275
 
276
		if (!$insertion) {
277
			echo 'La migration des mots cles images a échoué ! '."\n";
278
		} else {
279
			echo "Migration des mots cles images : OK\n\n";
280
		}
281
	}
282
 
283
	private function construireSousRequeteInsertionLiaisons($tableau_mots_cles, $separateur) {
284
		$sous_requete = array();
285
		foreach ($tableau_mots_cles as $element) {
286
			$mots_cles_ids = $this->parserMotsCles($element['mots_cles'], $separateur);
287
			foreach ($mots_cles_ids as $mot_cle_id) {
288
				$id = $this->proteger($element['id']);
289
				$id_mot_cle = $this->proteger($mot_cle_id);
290
				$id_utilisateur = $this->proteger($this->renvoyerIdPourMigration($element['id_utilisateur']));
291
				$sous_requete[] = "($id, $id_mot_cle, $id_utilisateur)";
1149 gduche 292
			}
293
		}
1198 jpm 294
		$sous_requete_chaine = implode(',', $sous_requete);
295
		return $sous_requete_chaine;
1149 gduche 296
	}
1198 jpm 297
 
1149 gduche 298
	private function parserMotsCles($mot_cles, $separateur = ',') {
1199 jpm 299
		$mot_cles = trim($mot_cles, $separateur);
1198 jpm 300
		$tableau_mots_cles = explode($separateur, $mot_cles);
301
 
1149 gduche 302
		$tableau_mots_cles_formates = array();
1198 jpm 303
		foreach ($tableau_mots_cles as $mot_cle) {
304
			$mot_cle = str_replace($separateur.$separateur, '', $mot_cle);
305
			$mot_cle = str_replace('null', '', $mot_cle);
1199 jpm 306
			$mot_cle = trim($mot_cle);
1198 jpm 307
 
308
			if ($this->estUnIdentifiantMotCle($mot_cle)) {
1149 gduche 309
				// certains mots clés mal formatés contiennent des virgules
1198 jpm 310
				if (strpos($mot_cle, ',') !== false) {
311
					$tab_mot_cle_mal_formate = explode(',', $mot_cle);
312
 
1149 gduche 313
					foreach ( $tab_mot_cle_mal_formate as $mot_cle_mal_formate) {
1198 jpm 314
						if ($this->estUnIdentifiantMotCle($mot_cle_mal_formate)) {
1149 gduche 315
							$tableau_mots_cles_formates[$mot_cle_mal_formate] = $mot_cle_mal_formate;
316
						}
1198 jpm 317
					}
1149 gduche 318
				} else {
319
					// on met le mot clé dans sa propre case afin d'éviter
1198 jpm 320
					// facilement les doublons provoqués par de mauvais formatages
1149 gduche 321
					$tableau_mots_cles_formates[$mot_cle] = $mot_cle;
322
				}
1199 jpm 323
			} else if ($mot_cle != '') {
324
				echo "N'est pas un mot clé : $mot_cle\n";
1149 gduche 325
			}
326
		}
327
		return $tableau_mots_cles_formates;
328
	}
1198 jpm 329
 
1149 gduche 330
	private function estUnIdentifiantMotCle($chaine) {
1199 jpm 331
		return preg_match('/^(?:[-][0-9]+[.][0-9]+|[-_a-z0-9]+(?:[.][-_a-z0-9]+)*)$/i', $chaine);
1149 gduche 332
	}
1198 jpm 333
 
1161 aurelien 334
	private function genererIndexTexteMotsClesObs() {
1199 jpm 335
		$requete = 'SELECT DISTINCT id_observation, id_utilisateur '.
336
			'FROM '.self::$bdd_cel_migration.'.cel_obs_mots_cles ';
337
		$obs_a_mots_cles = $this->requeter($requete);
1198 jpm 338
 
339
		foreach ($obs_a_mots_cles as $obs) {
1199 jpm 340
			$mots_cles_texte = $this->obtenirMotsClesTexte($obs['id_observation'], $obs['id_utilisateur'], 'obs');
1161 aurelien 341
			if (is_array($mots_cles_texte) && count($mots_cles_texte) > 0) {
342
				$mots_cles_texte_chaine = implode(',', $mots_cles_texte);
1199 jpm 343
				$mise_a_jour_index = $this->executerRequeteMiseAJourMotCleTexte($mots_cles_texte_chaine, $obs['id_observation'], $obs['id_utilisateur'], 'obs');
1198 jpm 344
				$this->afficherAvancement('Génération des index mots clés obs (par 1)');
1161 aurelien 345
			}
346
		}
347
		echo "\n-----------------------------------------------------------------OK\n";
348
	}
1198 jpm 349
 
1161 aurelien 350
	private function genererIndexTexteMotsClesImages() {
1199 jpm 351
		$requete = 'SELECT DISTINCT id_image, id_utilisateur '.
352
			'FROM '.self::$bdd_cel_migration.'.cel_images_mots_cles ';
353
		$images_a_mots_cles = $this->requeter($requete);
1198 jpm 354
 
355
		foreach ($images_a_mots_cles as $image) {
1199 jpm 356
			$mots_cles_texte = $this->obtenirMotsClesTexte($image['id_image'], $image['id_utilisateur'], 'images');
1161 aurelien 357
			$mots_cles_texte_chaine = '';
358
			if (is_array($mots_cles_texte) && count($mots_cles_texte) > 0) {
359
				$mots_cles_texte_chaine = implode(',', $mots_cles_texte);
1199 jpm 360
				$mise_a_jour_index = $this->executerRequeteMiseAJourMotCleTexte($mots_cles_texte_chaine, $image['id_image'], $image['id_utilisateur'], 'images');
1198 jpm 361
				$this->afficherAvancement('Génération des index mots clés images (par 1)');
1161 aurelien 362
			}
363
		}
364
		echo "\n-----------------------------------------------------------------OK\n";
365
	}
1198 jpm 366
 
1199 jpm 367
	private function obtenirMotsClesTexte($id_image_ou_obs, $id_utilisateur, $mode) {
368
		$bdd = self::$bdd_cel_migration;
369
		$champ_id_mot_cle = ($mode == 'obs') ? 'id_mot_cle_obs' : 'id_mot_cle_image';
370
		$champ_id_obs_ou_img = ($mode == 'obs') ? 'id_observation' : 'id_image';
371
		$id_image_ou_obs = $this->proteger($id_image_ou_obs);
372
		$id_utilisateur = $this->proteger($id_utilisateur);
1198 jpm 373
 
1199 jpm 374
		$requete = 'SELECT mot_cle '.
375
				"FROM $bdd.cel_mots_cles_$mode AS a ".
376
				"	INNER JOIN $bdd.cel_{$mode}_mots_cles AS b ".
377
				"	ON (a.$champ_id_mot_cle = b.$champ_id_mot_cle AND a.id_utilisateur = b.id_utilisateur) ".
378
				"WHERE b.$champ_id_obs_ou_img = $id_image_ou_obs ".
379
				"	AND a.id_utilisateur = $id_utilisateur ";
1198 jpm 380
		$resultats = $this->requeter($requete);
381
 
1161 aurelien 382
		$mots_cles = array();
1198 jpm 383
		foreach ($resultats as $resultat) {
1161 aurelien 384
			$mots_cles[] = $resultat['mot_cle'];
385
		}
1198 jpm 386
 
1161 aurelien 387
		return $mots_cles;
388
	}
1199 jpm 389
 
390
	private function executerRequeteMiseAJourMotCleTexte($mots_cles_texte_chaine, $id_image_ou_obs, $id_utilisateur, $mode_image_ou_obs) {
391
		$bdd = self::$bdd_cel_migration;
392
		$table = ($mode_image_ou_obs == 'obs') ? 'cel_obs' : 'cel_images';
393
		$chp_id_obs_ou_img = ($mode_image_ou_obs == 'obs') ? 'id_observation' : 'id_image';
394
		$id_image_ou_obs = $this->proteger($id_image_ou_obs);
395
		$mots_cles_texte = $this->proteger($mots_cles_texte_chaine);
396
		$ce_utilisateur = $this->proteger($id_utilisateur);
397
 
398
		$requete = 	"UPDATE $bdd.$table ".
399
			"SET mots_cles_texte = $mots_cles_texte ".
400
			"WHERE $chp_id_obs_ou_img = $id_image_ou_obs ".
401
			"	AND ce_utilisateur = $id_utilisateur ";
402
 
403
		return $this->executer($requete);
404
	}
1149 gduche 405
}