WebSVN – eFlore/Applications.cel – Diff – /trunk/jrest/services/MigrationMotsCles.php


<?php
 
class MigrationMotsCles extends Cel {
	
	public static $bdd_cel_migration;
	public static $bdd_utilisateurs;
	const SEPARATEUR_MOT_CLE_TEXTE = ',';
	
	const truncate = true; //Doit on vider les tables de destination ?
	
	const dry_run = false;
	
	private $tableau_utilisateurs = array();
 
	/** Tableau associatif permettant de stocker l'avancement dans une boucle.
	* La clé est un md5 du message à afficher au démarrage de la boucle.
	* @var array
	*/
	private static $avancement = array();
	
	/**
	 * Méthode appelée avec une requête de type GET.
	 */
	public function getElement($params) {
		
		if(!isset($this->config['database_cel']['database_migration']) || $this->config['database_cel']['database_migration'] == '') {
			echo 'Attention la variable de configuration database_migration dans la section database_cel, contenant la base de données d\'arrivée, doit être remplie '."\n";
			exit;
		}
		
		if(!isset($this->config['database_ident']['database']) || $this->config['database_ident']['database'] == '') {
			echo 'Attention la variable de configuration database dans la section database_ident, contenant la base de données utilisateurs, doit être remplie '."\n";
			exit;
		}
		
		self::$bdd_cel_migration = $this->config['database_cel']['database_migration'];
		self::$bdd_utilisateurs = $this->config['database_ident']['database'];
		
		echo "--MIGRATION DES MOTS CLES --------------------------------------\n";
		//1. TEMPORAIRE : vider les tables de destinations
		if (self::truncate) {
			echo "-------------------------------------------------------------------\n\n";
			echo "  ETAPE 0. Vider les tables ... \n\n";
			echo "-------------------------------------------------------------------\n\n";
			$nouvellesTables = array('`cel_mots_cles_obs`','`cel_mots_cles_images`', '`cel_images_mots_cles`', '`cel_obs_mots_cles`');
			foreach ($nouvellesTables as $nomTable) {
				echo 'Vider la table '.$nomTable.'...';
				$requeteTruncate = 'TRUNCATE TABLE '.self::$bdd_cel_migration.'.'.$nomTable;
				$resultatTruncate = $this->executerRequete($requeteTruncate);
				echo "ok \n";
			}
			echo "\n---------------------------------------------------------------- OK\n\n";
		}
		
		echo "-------------------------------------------------------------------\n\n";
		echo "  ETAPE 1. Paramétrage ... \n\n";
		echo "-------------------------------------------------------------------\n\n";
		$this->getUtilisateurs();
		echo "\n"."\n"."\n";
		echo "-------------------------------------------------------------------\n\n";
		echo "  ETAPE 2. Migration des mots clés ... \n\n";
		echo "-------------------------------------------------------------------\n\n";	
		$this->migrerTableMotsClesObs();
		echo "\n---------------------------------------------------------------- OK\n\n";
		$this->migrerTableMotsClesImages();
		echo "\n"."\n"."\n";
		echo "-------------------------------------------------------------------\n\n";
		echo "  ETAPE 3. Migration des liaisons mots clés ... \n\n";
		echo "-------------------------------------------------------------------\n\n";
		$this->migrerLiaisonsMotsClesObs();
		$this->migrerLiaisonsMotsClesImages();
		echo "\n"."\n"."\n";
		
		echo "-------------------------------------------------------------------\n\n";
		echo "  ETAPE 4. Génération des index des mots clés ... \n\n";
		echo "-------------------------------------------------------------------\n\n";
		$this->genererIndexTexteMotsClesObs();
		$this->genererIndexTexteMotsClesImages();
		echo "\n"."\n"."\n";
	}
	
	public function executerRequeteSimple($requete) {
		// Fonction de commodité pour afficher les requetes au lieu de les executer
		if(self::dry_run) {
			echo str_replace('),','),'."\n", $requete);	
			return true;
		} else {
			return parent::executerRequeteSimple($requete);
		}
 
	}
	
	
	private function getUtilisateurs() {
		echo "\n-------------------------------------------------------------------\n";
		echo "--SELECTION DES UTILISATEURS---------------------------------------\n\n";
	
		$requete_selection_utilisateurs = 'SELECT U_ID as id, U_MAIL as mail, U_NAME as nom, U_SURNAME as prenom, U_PASSWD as pass FROM '.self::$bdd_utilisateurs.'.annuaire_tela';
		$tableau_utilisateurs = $this->executerRequete($requete_selection_utilisateurs);
	
		foreach( $tableau_utilisateurs as &$utilisateur) {
			$this->tableau_utilisateurs[$utilisateur['mail']] = $utilisateur;
		}
	
		echo sizeof($this->tableau_utilisateurs)." utilisateurs sélectionnés";
		echo "\n-----------------------------------------------------------------OK\n";
	}
	
	private function migrerLiaisonsMotsClesObs() {
		$requete_selection_mots_cles = 'SELECT mots_cles, id FROM cel_inventory '.
										'WHERE mots_cles != "" AND mots_cles IS NOT NULL '.
										'ORDER BY identifiant';
										
		$mots_cles_obs = $this->executerRequete($requete_selection_mots_cles);
		
		$mots_cles_tableau = array();
		
		$requete_insertion_mots_cles = 'INSERT INTO '.self::$bdd_cel_migration.'.cel_obs_mots_cles '.
										'(id_observation, id_mot_cle_obs) '.
										'VALUES ';
										
		$sous_requete_insertion_valeurs = $sous_requete_insertion_mots_cles = $this->construireSousRequeteInsertionLiaisons($mots_cles_obs, 'mots_cles','id',';');
		$requete_insertion_mots_cles = $requete_insertion_mots_cles.$sous_requete_insertion_valeurs;
		
		$insertion = $this->executerRequeteSimple($requete_insertion_mots_cles);
		
		if(!$insertion) {
			echo 'la migration des mots cles obs a échoué ! '."\n";
		} else {
			echo "\n---------------------------------------------------------------- OK\n\n";
		}
		
		echo "\n";
	}
	
	private function migrerLiaisonsMotsClesImages() {
		
		$requete_selection_mots_cles = 'SELECT ci_meta_mots_cles, ci_id_image FROM cel_images '.
										'WHERE ci_meta_mots_cles != "" AND ci_meta_mots_cles IS NOT NULL '.
										'ORDER BY ci_ce_utilisateur';
										
		$mots_cles_images = $this->executerRequete($requete_selection_mots_cles);
		
		$mots_cles_tableau = array();
		
		$requete_insertion_mots_cles = 'INSERT INTO '.self::$bdd_cel_migration.'.cel_images_mots_cles '.
										'(id_image, id_mot_cle_image) '.
										'VALUES ';
		$sous_requete_insertion_mots_cles = $this->construireSousRequeteInsertionLiaisons($mots_cles_images, 'ci_meta_mots_cles','ci_id_image',',');
		
		$requete_insertion_mots_cles = $requete_insertion_mots_cles.$sous_requete_insertion_mots_cles;
		
		$insertion = $this->executerRequeteSimple($requete_insertion_mots_cles);
		
		if(!$insertion) {
			echo 'la migration des mots cles images a échoué ! '."\n";
		} else {
			echo "\n---------------------------------------------------------------- OK\n\n";
		}
	}
	
	private function migrerTableMotsClesObs() {
		$this->migrerTableMotsCles('obs');
	}
	
	private function migrerTableMotsClesImages() {
		$this->migrerTableMotsCles('images');
	}
	
	
	/** 
	 * Utiliser cette méthode dans une boucle pour afficher un message suivi du nombre de tour de boucle effectué.
	 * Vous devrez vous même gérer le retour à la ligne à la sortie de la boucle. 
	 * 
	 * @param string le message d'information.
	 * @param int le nombre de départ à afficher.
	 * @return void le message est affiché dans la console.
	 */
	protected function afficherAvancement($message, $depart = 0) {
		if (! isset(self::$avancement[$message])) {
			self::$avancement[$message] = $depart;
			echo "$message : ";
			
			$actuel =& self::$avancement[$message];
			echo $actuel++;
		} else {
			$actuel =& self::$avancement[$message];
			
			// Cas du passage de 99 (= 2 caractères) à 100 (= 3 caractères)
			$passage = 0;
			if (strlen((string) ($actuel - 1)) < strlen((string) ($actuel))) {
				$passage = 1;				
			}
			
			echo str_repeat(chr(8), (strlen((string) $actuel) - $passage));
			echo $actuel++;
		}
	}
	
	private function migrerTableMotsCles($image_ou_obs) {
		echo "--MIGRATION DES MOTS CLES $image_ou_obs ---------------------------------\n";
		$pas = 1;
		
		//limite des mots clés
		$requeteNbMotsCles = 'SELECT count(*) as nb FROM cel_mots_cles_'.$image_ou_obs;
		$resultatNbMotsCles = $this->executerRequete($requeteNbMotsCles);
		$nbMotsCles = (int) $resultatNbMotsCles[0]['nb'];
		
		$nbTotal = 0;
		for($i = 0; $i < $nbMotsCles; $i += $pas) {
			$requete_selection_arbres_mots_cles = 'SELECT * FROM cel_mots_cles_'.$image_ou_obs.' ORDER BY cmc_niveau '.
													'LIMIT '.$i.','.$pas;
			$arbres_mots_cles = $this->executerRequete($requete_selection_arbres_mots_cles);
			
			$champ_parent = ($image_ou_obs == "obs") ? 'ce_mot_cle_obs_parent' : 'ce_mot_cle_image_parent';
			$champ_id = ($image_ou_obs == "obs") ? 'id_mot_cle_obs' : 'id_mot_cle_image';
			$requete_insertion_nouvel_arbre = 'INSERT INTO '.self::$bdd_cel_migration.'.cel_mots_cles_'.$image_ou_obs.' '.
												'('.$champ_id.', ce_utilisateur, mot_cle, md5, bg, bd, niveau, '.$champ_parent.') '.
												'VALUES '; 
			$sous_requete_insertion_nouvel_arbre = '';
			
			if(count($arbres_mots_cles) > 0) {
				foreach($arbres_mots_cles as $arbre_mot_cle) {
					$sous_requete_insertion_nouvel_arbre .= $this->construireSousRequeteInsertionArbresMotsCles('cmc_', $arbre_mot_cle);
				}
				
				$sous_requete_insertion_nouvel_arbre = rtrim($sous_requete_insertion_nouvel_arbre,',');
				
				$requete_insertion_nouvel_arbre = $requete_insertion_nouvel_arbre.$sous_requete_insertion_nouvel_arbre;
				$migration = $this->executerRequeteSimple($requete_insertion_nouvel_arbre);
				if(!$migration) {
					echo  'la migration des mots cles '.$image_ou_obs.' a échoué ! '."\n";
				} else {
					$nbTotal ++;
					$this->afficherAvancement('Migration des mots clés (par '.$pas.') :', $nbTotal);
				}
			} else {
				echo "\n---------------------------------------------------------------- OK\n\n";
				return;
			}
			
		}
	}
	
	private function construireSousRequeteInsertionArbresMotsCles($prefixe, $ligne) {
		
		$id_proprietaire_mot_cle = $ligne[$prefixe.'id_proprietaire'];
 
 
		$id_proprietaire_mot_cle = $this->renvoyerIdPourMigration($id_proprietaire_mot_cle);
 
		
		$sous_requete_insertion_valeurs = '('.$this->proteger($ligne[$prefixe.'id_mot_cle_utilisateur']).','.
													$this->proteger($id_proprietaire_mot_cle).','.
													$this->proteger($ligne[$prefixe.'mot_cle']).','.
													$this->proteger($ligne[$prefixe.'id_mot_cle_general']).','.
													$this->proteger($ligne[$prefixe.'bg']).','.
													$this->proteger($ligne[$prefixe.'bd']).','.
													$this->proteger($ligne[$prefixe.'niveau']).','.
													$this->proteger($ligne[$prefixe.'id_parent']).
													'),';
		return $sous_requete_insertion_valeurs;
	}
	
	private function construireSousRequeteInsertionLiaisons($tableau_mots_cles, $champ_mot_cle, $champ_id, $separateur) {
		$sous_requete_insertion_valeurs = '';
		
		foreach($tableau_mots_cles as $mot_cle_element) {
			$mots_cles_tableau = $this->parserMotsCles($mot_cle_element[$champ_mot_cle],$separateur);
			foreach($mots_cles_tableau as $mot_cle_en_cours) {
				$sous_requete_insertion_valeurs .= '('.$mot_cle_element[$champ_id].','.$this->proteger($mot_cle_en_cours).'),';
			}
		}
		
		$sous_requete_insertion_valeurs = rtrim($sous_requete_insertion_valeurs,',');
		return $sous_requete_insertion_valeurs;
	}
	
	private function parserMotsCles($mot_cles, $separateur = ',') {
		
		$tableau_mots_cles = explode($separateur,$mot_cles);
		$tableau_mots_cles_formates = array();
		
		foreach($tableau_mots_cles as $mot_cle) {
			
			$mot_cle = str_replace($separateur.$separateur,'',$mot_cle);
			$mot_cle = str_replace('null','',$mot_cle);
			
			if($this->estUnIdentifiantMotCle($mot_cle)) {				
				// certains mots clés mal formatés contiennent des virgules
				if(strpos($mot_cle,',') !== false) {
					$tab_mot_cle_mal_formate = explode(',',$mot_cle);
					
					foreach ( $tab_mot_cle_mal_formate as $mot_cle_mal_formate) {
						if($this->estUnIdentifiantMotCle($mot_cle_mal_formate)) {
							$tableau_mots_cles_formates[$mot_cle_mal_formate] = $mot_cle_mal_formate;
						}
					}	
				} else {
					// on met le mot clé dans sa propre case afin d'éviter
					// facilement les doublons provoqués par de mauvais formatages 
					$tableau_mots_cles_formates[$mot_cle] = $mot_cle;
				}
			}
		}
		
		return $tableau_mots_cles_formates;
	}
	
	private function estUnIdentifiantMotCle($chaine) {
		return trim($chaine) != '' && preg_match('/[0-9A-Z]+\.[0-9A-Z]+/i', $chaine) ;
	}
	
	private function genererIndexTexteMotsClesObs() {
		$requete_selection_obs = 'SELECT DISTINCT id_observation, ce_utilisateur FROM '.self::$bdd_cel_migration.'.cel_obs '.
			                              'WHERE id_observation IN (SELECT DISTINCT id_observation FROM '.self::$bdd_cel_migration.'.cel_mots_cles_obs) ';
		$obs_a_mots_cles = $this->requeter($requete_selection_obs);
		$nbTotal = 0;
		
		foreach($obs_a_mots_cles as $obs) {
			$mots_cles_texte = $this->obtenirMotsClesTexte($obs['id_observation'], $obs['ce_utilisateur'], 'obs');
			if (is_array($mots_cles_texte) && count($mots_cles_texte) > 0) {
				$mots_cles_texte_chaine = implode(',', $mots_cles_texte);
				$mise_a_jour_index = $this->executerRequeteMiseAJourMotCleTexte($mots_cles_texte_chaine,$obs['id_observation'], $obs['ce_utilisateur'], 'obs');
				$nbTotal ++;
				$this->afficherAvancement('Génération des index mots clés obs (par 1) :', $nbTotal);
			}
		}
		echo "\n-----------------------------------------------------------------OK\n";
	}
	
	private function genererIndexTexteMotsClesImages() {
		$requete_selection_images = 'SELECT DISTINCT id_image, ce_utilisateur FROM '.self::$bdd_cel_migration.'.cel_images '.
		                              'WHERE id_image IN (SELECT DISTINCT id_image FROM '.self::$bdd_cel_migration.'.cel_mots_cles_images) ';
		$images_a_mots_cles = $this->requeter($requete_selection_images);
		$nbTotal = 0;
		
		foreach($images_a_mots_cles as $image) {
			$mots_cles_texte = $this->obtenirMotsClesTexte($image['id_image'], $image['ce_utilisateur'], 'images');
			$mots_cles_texte_chaine = '';
			if (is_array($mots_cles_texte) && count($mots_cles_texte) > 0) {
				$mots_cles_texte_chaine = implode(',', $mots_cles_texte);
				$mise_a_jour_index = $this->executerRequeteMiseAJourMotCleTexte($mots_cles_texte_chaine,$image['id_image'], $image['ce_utilisateur'], 'images');
				$nbTotal ++;
				$this->afficherAvancement('Génération des index  mots clés images (par 1) :', $nbTotal);
			}
		}
		echo "\n-----------------------------------------------------------------OK\n";
	}
	
	private function executerRequeteMiseAJourMotCleTexte($mots_cles_texte_chaine, $id_image_ou_obs, $identifiant_utilisateur, $mode_image_ou_obs) {
		$requete = 	'UPDATE '.self::$bdd_cel_migration.'.'.(($mode_image_ou_obs == 'obs') ? 'cel_obs' : 'cel_images').' '.
						'SET mots_cles_texte = '.$this->proteger($mots_cles_texte_chaine).' '.
						'WHERE '.(($mode_image_ou_obs == 'obs') ? 'id_observation' : 'id_image').' = '.$this->proteger($id_image_ou_obs).
						' AND ce_utilisateur = '.$this->proteger($identifiant_utilisateur);
	
		return $this->executer($requete);
	}
	
	private function obtenirMotsClesTexte($id_image_ou_obs, $identifiant_utilisateur, $mode_image_ou_obs) {
		
		$champ_id = ($mode_image_ou_obs == 'obs') ? 'id_mot_cle_obs' : 'id_mot_cle_image';
		
		$requete = 	'SELECT mot_cle '.
						'FROM '.self::$bdd_cel_migration.'.cel_mots_cles_'.$mode_image_ou_obs.' '.
						'WHERE '.$champ_id.' IN '.
							'('.
								'SELECT '.$champ_id.' '.
								'FROM '.self::$bdd_cel_migration.'.cel_'.$mode_image_ou_obs.'_mots_cles '.
								'WHERE '.(($mode_image_ou_obs == 'obs') ? 'id_observation' : 'id_image').' = '.$this->proteger($id_image_ou_obs).
							')'.
						' AND ce_utilisateur = '.$this->proteger($identifiant_utilisateur);
	
		$resultats = $this->requeter($requete);	
		$mots_cles = array();
		foreach($resultats as $resultat) {
			$mots_cles[] = $resultat['mot_cle'];
		}
		
		return $mots_cles;
	}
	
	private function renvoyerIdPourMigration($utilisateur) {
		// si tout les test suivant échouent, on garde l'utilisateur tel quel
		// (cas de la chaine de session des utilisateur anonymes)
		$retour = $utilisateur;
		// si le mail correspond a un utilisateur de la bdd
		if (isset($this->tableau_utilisateurs[$utilisateur])) {
			// on renvoie son id
			$retour =  $this->tableau_utilisateurs[$utilisateur]['id'];
		} else {
			// sinon si c'est un mail inconnu, on garde le md5
			if($this->mailValide($utilisateur)) {
				$retour = md5($utilisateur);
			}
		}
	
		return $retour;
	}
	
	public function mailValide($mail) {
		// vérification bidon mais ça suffit pour ici
		return !(strpos('@',$mail) === false); 
	}
}


Subversion Repositories eFlore/Applications.cel

(root)/trunk/jrest/services/MigrationMotsCles.php @ 1186 – Rev 1161 → 1181

Rev 1161		Rev 1181
1	`<?php`	1	`<?php`
2		2
3	`class MigrationMotsCles extends Cel {`	3	`class MigrationMotsCles extends Cel {`
4		4
5	`public static $bdd_cel_migration;`	5	`public static $bdd_cel_migration;`
6	`public static $bdd_utilisateurs;`	6	`public static $bdd_utilisateurs;`
7	`const SEPARATEUR_MOT_CLE_TEXTE = ',';`	7	`const SEPARATEUR_MOT_CLE_TEXTE = ',';`
8		8
9	`const truncate = true; //Doit on vider les tables de destination ?`	9	`const truncate = true; //Doit on vider les tables de destination ?`
10		10
11	`const dry_run = false;`	11	`const dry_run = false;`
12		12
13	`private $tableau_utilisateurs = array();`	13	`private $tableau_utilisateurs = array();`
14		14
15	`/** Tableau associatif permettant de stocker l'avancement dans une boucle.`	15	`/** Tableau associatif permettant de stocker l'avancement dans une boucle.`
16	`* La clé est un md5 du message à afficher au démarrage de la boucle.`	16	`* La clé est un md5 du message à afficher au démarrage de la boucle.`
17	`* @var array`	17	`* @var array`
18	`*/`	18	`*/`
19	`private static $avancement = array();`	19	`private static $avancement = array();`
20		20
21	`/**`	21	`/**`
22	`* Méthode appelée avec une requête de type GET.`	22	`* Méthode appelée avec une requête de type GET.`
23	`*/`	23	`*/`
24	`public function getElement($params) {`	24	`public function getElement($params) {`
25		25
26	`if(!isset($this->config['database_cel']['database_migration']) \|\| $this->config['database_cel']['database_migration'] == '') {`	26	`if(!isset($this->config['database_cel']['database_migration']) \|\| $this->config['database_cel']['database_migration'] == '') {`
27	`echo 'Attention la variable de configuration database_migration dans la section database_cel, contenant la base de données d\'arrivée, doit être remplie '."\n";`	27	`echo 'Attention la variable de configuration database_migration dans la section database_cel, contenant la base de données d\'arrivée, doit être remplie '."\n";`
28	`exit;`	28	`exit;`
29	`}`	29	`}`
30		30
31	`if(!isset($this->config['database_ident']['database']) \|\| $this->config['database_ident']['database'] == '') {`	31	`if(!isset($this->config['database_ident']['database']) \|\| $this->config['database_ident']['database'] == '') {`
32	`echo 'Attention la variable de configuration database dans la section database_ident, contenant la base de données utilisateurs, doit être remplie '."\n";`	32	`echo 'Attention la variable de configuration database dans la section database_ident, contenant la base de données utilisateurs, doit être remplie '."\n";`
33	`exit;`	33	`exit;`
34	`}`	34	`}`
35		35
36	`self::$bdd_cel_migration = $this->config['database_cel']['database_migration'];`	36	`self::$bdd_cel_migration = $this->config['database_cel']['database_migration'];`
37	`self::$bdd_utilisateurs = $this->config['database_ident']['database'];`	37	`self::$bdd_utilisateurs = $this->config['database_ident']['database'];`
38		38
39	`echo "--MIGRATION DES MOTS CLES --------------------------------------\n";`	39	`echo "--MIGRATION DES MOTS CLES --------------------------------------\n";`
40	`//1. TEMPORAIRE : vider les tables de destinations`	40	`//1. TEMPORAIRE : vider les tables de destinations`