Subversion Repositories eFlore/Applications.cel

Compare Revisions

Problem with comparison.

Ignore whitespace Rev HEAD → Rev 1161

/trunk/jrest/services/MigrationMotsCles.php
New file
0,0 → 1,382
<?php
 
class MigrationMotsCles extends Cel {
public static $bdd_cel_migration;
public static $bdd_utilisateurs;
const SEPARATEUR_MOT_CLE_TEXTE = ',';
const truncate = true; //Doit on vider les tables de destination ?
const dry_run = false;
private $tableau_utilisateurs = array();
 
/** Tableau associatif permettant de stocker l'avancement dans une boucle.
* La clé est un md5 du message à afficher au démarrage de la boucle.
* @var array
*/
private static $avancement = array();
/**
* Méthode appelée avec une requête de type GET.
*/
public function getElement($params) {
if(!isset($this->config['database_cel']['database_migration']) || $this->config['database_cel']['database_migration'] == '') {
echo 'Attention la variable de configuration database_migration dans la section database_cel, contenant la base de données d\'arrivée, doit être remplie '."\n";
exit;
}
if(!isset($this->config['database_ident']['database']) || $this->config['database_ident']['database'] == '') {
echo 'Attention la variable de configuration database dans la section database_ident, contenant la base de données utilisateurs, doit être remplie '."\n";
exit;
}
self::$bdd_cel_migration = $this->config['database_cel']['database_migration'];
self::$bdd_utilisateurs = $this->config['database_ident']['database'];
echo "--MIGRATION DES MOTS CLES --------------------------------------\n";
//1. TEMPORAIRE : vider les tables de destinations
if (self::truncate) {
echo "-------------------------------------------------------------------\n\n";
echo " ETAPE 0. Vider les tables ... \n\n";
echo "-------------------------------------------------------------------\n\n";
$nouvellesTables = array('`cel_mots_cles_obs`','`cel_mots_cles_images`', '`cel_images_mots_cles`', '`cel_obs_mots_cles`');
foreach ($nouvellesTables as $nomTable) {
echo 'Vider la table '.$nomTable.'...';
$requeteTruncate = 'TRUNCATE TABLE '.self::$bdd_cel_migration.'.'.$nomTable;
$resultatTruncate = $this->executerRequete($requeteTruncate);
echo "ok \n";
}
echo "\n---------------------------------------------------------------- OK\n\n";
}
echo "-------------------------------------------------------------------\n\n";
echo " ETAPE 1. Paramétrage ... \n\n";
echo "-------------------------------------------------------------------\n\n";
$this->getUtilisateurs();
echo "\n"."\n"."\n";
echo "-------------------------------------------------------------------\n\n";
echo " ETAPE 2. Migration des mots clés ... \n\n";
echo "-------------------------------------------------------------------\n\n";
$this->migrerTableMotsClesObs();
echo "\n---------------------------------------------------------------- OK\n\n";
$this->migrerTableMotsClesImages();
echo "\n"."\n"."\n";
echo "-------------------------------------------------------------------\n\n";
echo " ETAPE 3. Migration des liaisons mots clés ... \n\n";
echo "-------------------------------------------------------------------\n\n";
$this->migrerLiaisonsMotsClesObs();
$this->migrerLiaisonsMotsClesImages();
echo "\n"."\n"."\n";
echo "-------------------------------------------------------------------\n\n";
echo " ETAPE 4. Génération des index des mots clés ... \n\n";
echo "-------------------------------------------------------------------\n\n";
$this->genererIndexTexteMotsClesObs();
$this->genererIndexTexteMotsClesImages();
echo "\n"."\n"."\n";
}
public function executerRequeteSimple($requete) {
// Fonction de commodité pour afficher les requetes au lieu de les executer
if(self::dry_run) {
echo str_replace('),','),'."\n", $requete);
return true;
} else {
return parent::executerRequeteSimple($requete);
}
 
}
private function getUtilisateurs() {
echo "\n-------------------------------------------------------------------\n";
echo "--SELECTION DES UTILISATEURS---------------------------------------\n\n";
$requete_selection_utilisateurs = 'SELECT U_ID as id, U_MAIL as mail, U_NAME as nom, U_SURNAME as prenom, U_PASSWD as pass FROM '.self::$bdd_utilisateurs.'.annuaire_tela';
$tableau_utilisateurs = $this->executerRequete($requete_selection_utilisateurs);
foreach( $tableau_utilisateurs as &$utilisateur) {
$this->tableau_utilisateurs[$utilisateur['mail']] = $utilisateur;
}
echo sizeof($this->tableau_utilisateurs)." utilisateurs sélectionnés";
echo "\n-----------------------------------------------------------------OK\n";
}
private function migrerLiaisonsMotsClesObs() {
$requete_selection_mots_cles = 'SELECT mots_cles, id FROM cel_inventory '.
'WHERE mots_cles != "" AND mots_cles IS NOT NULL '.
'ORDER BY identifiant';
$mots_cles_obs = $this->executerRequete($requete_selection_mots_cles);
$mots_cles_tableau = array();
$requete_insertion_mots_cles = 'INSERT INTO '.self::$bdd_cel_migration.'.cel_obs_mots_cles '.
'(id_observation, id_mot_cle_obs) '.
'VALUES ';
$sous_requete_insertion_valeurs = $sous_requete_insertion_mots_cles = $this->construireSousRequeteInsertionLiaisons($mots_cles_obs, 'mots_cles','id',';');
$requete_insertion_mots_cles = $requete_insertion_mots_cles.$sous_requete_insertion_valeurs;
$insertion = $this->executerRequeteSimple($requete_insertion_mots_cles);
if(!$insertion) {
echo 'la migration des mots cles obs a échoué ! '."\n";
} else {
echo "\n---------------------------------------------------------------- OK\n\n";
}
echo "\n";
}
private function migrerLiaisonsMotsClesImages() {
$requete_selection_mots_cles = 'SELECT ci_meta_mots_cles, ci_id_image FROM cel_images '.
'WHERE ci_meta_mots_cles != "" AND ci_meta_mots_cles IS NOT NULL '.
'ORDER BY ci_ce_utilisateur';
$mots_cles_images = $this->executerRequete($requete_selection_mots_cles);
$mots_cles_tableau = array();
$requete_insertion_mots_cles = 'INSERT INTO '.self::$bdd_cel_migration.'.cel_images_mots_cles '.
'(id_image, id_mot_cle_image) '.
'VALUES ';
$sous_requete_insertion_mots_cles = $this->construireSousRequeteInsertionLiaisons($mots_cles_images, 'ci_meta_mots_cles','ci_id_image',',');
$requete_insertion_mots_cles = $requete_insertion_mots_cles.$sous_requete_insertion_mots_cles;
$insertion = $this->executerRequeteSimple($requete_insertion_mots_cles);
if(!$insertion) {
echo 'la migration des mots cles images a échoué ! '."\n";
} else {
echo "\n---------------------------------------------------------------- OK\n\n";
}
}
private function migrerTableMotsClesObs() {
$this->migrerTableMotsCles('obs');
}
private function migrerTableMotsClesImages() {
$this->migrerTableMotsCles('images');
}
/**
* Utiliser cette méthode dans une boucle pour afficher un message suivi du nombre de tour de boucle effectué.
* Vous devrez vous même gérer le retour à la ligne à la sortie de la boucle.
*
* @param string le message d'information.
* @param int le nombre de départ à afficher.
* @return void le message est affiché dans la console.
*/
protected function afficherAvancement($message, $depart = 0) {
if (! isset(self::$avancement[$message])) {
self::$avancement[$message] = $depart;
echo "$message : ";
$actuel =& self::$avancement[$message];
echo $actuel++;
} else {
$actuel =& self::$avancement[$message];
// Cas du passage de 99 (= 2 caractères) à 100 (= 3 caractères)
$passage = 0;
if (strlen((string) ($actuel - 1)) < strlen((string) ($actuel))) {
$passage = 1;
}
echo str_repeat(chr(8), (strlen((string) $actuel) - $passage));
echo $actuel++;
}
}
private function migrerTableMotsCles($image_ou_obs) {
echo "--MIGRATION DES MOTS CLES $image_ou_obs ---------------------------------\n";
$pas = 1;
//limite des mots clés
$requeteNbMotsCles = 'SELECT count(*) as nb FROM cel_mots_cles_'.$image_ou_obs;
$resultatNbMotsCles = $this->executerRequete($requeteNbMotsCles);
$nbMotsCles = (int) $resultatNbMotsCles[0]['nb'];
$nbTotal = 0;
for($i = 0; $i < $nbMotsCles; $i += $pas) {
$requete_selection_arbres_mots_cles = 'SELECT * FROM cel_mots_cles_'.$image_ou_obs.' ORDER BY cmc_niveau '.
'LIMIT '.$i.','.$pas;
$arbres_mots_cles = $this->executerRequete($requete_selection_arbres_mots_cles);
$champ_parent = ($image_ou_obs == "obs") ? 'ce_mot_cle_obs_parent' : 'ce_mot_cle_image_parent';
$champ_id = ($image_ou_obs == "obs") ? 'id_mot_cle_obs' : 'id_mot_cle_image';
$requete_insertion_nouvel_arbre = 'INSERT INTO '.self::$bdd_cel_migration.'.cel_mots_cles_'.$image_ou_obs.' '.
'('.$champ_id.', ce_utilisateur, mot_cle, md5, bg, bd, niveau, '.$champ_parent.') '.
'VALUES ';
$sous_requete_insertion_nouvel_arbre = '';
if(count($arbres_mots_cles) > 0) {
foreach($arbres_mots_cles as $arbre_mot_cle) {
$sous_requete_insertion_nouvel_arbre .= $this->construireSousRequeteInsertionArbresMotsCles('cmc_', $arbre_mot_cle);
}
$sous_requete_insertion_nouvel_arbre = rtrim($sous_requete_insertion_nouvel_arbre,',');
$requete_insertion_nouvel_arbre = $requete_insertion_nouvel_arbre.$sous_requete_insertion_nouvel_arbre;
$migration = $this->executerRequeteSimple($requete_insertion_nouvel_arbre);
if(!$migration) {
echo 'la migration des mots cles '.$image_ou_obs.' a échoué ! '."\n";
} else {
$nbTotal ++;
$this->afficherAvancement('Migration des mots clés (par '.$pas.') :', $nbTotal);
}
} else {
echo "\n---------------------------------------------------------------- OK\n\n";
return;
}
}
}
private function construireSousRequeteInsertionArbresMotsCles($prefixe, $ligne) {
$id_proprietaire_mot_cle = $ligne[$prefixe.'id_proprietaire'];
if(isset($this->tableau_utilisateurs[$ligne[$prefixe.'id_proprietaire']])) {
$id_proprietaire_mot_cle = $this->tableau_utilisateurs[$ligne[$prefixe.'id_proprietaire']]['id'];
}
$sous_requete_insertion_valeurs = '('.$this->proteger($ligne[$prefixe.'id_mot_cle_utilisateur']).','.
$this->proteger($id_proprietaire_mot_cle).','.
$this->proteger($ligne[$prefixe.'mot_cle']).','.
$this->proteger($ligne[$prefixe.'id_mot_cle_general']).','.
$this->proteger($ligne[$prefixe.'bg']).','.
$this->proteger($ligne[$prefixe.'bd']).','.
$this->proteger($ligne[$prefixe.'niveau']).','.
$this->proteger($ligne[$prefixe.'id_parent']).
'),';
return $sous_requete_insertion_valeurs;
}
private function construireSousRequeteInsertionLiaisons($tableau_mots_cles, $champ_mot_cle, $champ_id, $separateur) {
$sous_requete_insertion_valeurs = '';
foreach($tableau_mots_cles as $mot_cle_element) {
$mots_cles_tableau = $this->parserMotsCles($mot_cle_element[$champ_mot_cle],$separateur);
foreach($mots_cles_tableau as $mot_cle_en_cours) {
$sous_requete_insertion_valeurs .= '('.$mot_cle_element[$champ_id].','.$this->proteger($mot_cle_en_cours).'),';
}
}
$sous_requete_insertion_valeurs = rtrim($sous_requete_insertion_valeurs,',');
return $sous_requete_insertion_valeurs;
}
private function parserMotsCles($mot_cles, $separateur = ',') {
$tableau_mots_cles = explode($separateur,$mot_cles);
$tableau_mots_cles_formates = array();
foreach($tableau_mots_cles as $mot_cle) {
$mot_cle = str_replace($separateur.$separateur,'',$mot_cle);
$mot_cle = str_replace('null','',$mot_cle);
if($this->estUnIdentifiantMotCle($mot_cle)) {
// certains mots clés mal formatés contiennent des virgules
if(strpos($mot_cle,',') !== false) {
$tab_mot_cle_mal_formate = explode(',',$mot_cle);
foreach ( $tab_mot_cle_mal_formate as $mot_cle_mal_formate) {
if($this->estUnIdentifiantMotCle($mot_cle_mal_formate)) {
$tableau_mots_cles_formates[$mot_cle_mal_formate] = $mot_cle_mal_formate;
}
}
} else {
// on met le mot clé dans sa propre case afin d'éviter
// facilement les doublons provoqués par de mauvais formatages
$tableau_mots_cles_formates[$mot_cle] = $mot_cle;
}
}
}
return $tableau_mots_cles_formates;
}
private function estUnIdentifiantMotCle($chaine) {
return trim($chaine) != '' && preg_match('/[0-9A-Z]+\.[0-9A-Z]+/i', $chaine) ;
}
private function genererIndexTexteMotsClesObs() {
$requete_selection_obs = 'SELECT DISTINCT id_observation, ce_utilisateur FROM '.self::$bdd_cel_migration.'.cel_obs '.
'WHERE id_observation IN (SELECT DISTINCT id_observation FROM '.self::$bdd_cel_migration.'.cel_mots_cles_obs) ';
$obs_a_mots_cles = $this->requeter($requete_selection_obs);
$nbTotal = 0;
foreach($obs_a_mots_cles as $obs) {
$mots_cles_texte = $this->obtenirMotsClesTexte($obs['id_observation'], $obs['ce_utilisateur'], 'obs');
if (is_array($mots_cles_texte) && count($mots_cles_texte) > 0) {
$mots_cles_texte_chaine = implode(',', $mots_cles_texte);
$mise_a_jour_index = $this->executerRequeteMiseAJourMotCleTexte($mots_cles_texte_chaine,$obs['id_observation'], $obs['ce_utilisateur'], 'obs');
$nbTotal ++;
$this->afficherAvancement('Génération des index mots clés obs (par 1) :', $nbTotal);
}
}
echo "\n-----------------------------------------------------------------OK\n";
}
private function genererIndexTexteMotsClesImages() {
$requete_selection_images = 'SELECT DISTINCT id_image, ce_utilisateur FROM '.self::$bdd_cel_migration.'.cel_images '.
'WHERE id_image IN (SELECT DISTINCT id_image FROM '.self::$bdd_cel_migration.'.cel_mots_cles_images) ';
$images_a_mots_cles = $this->requeter($requete_selection_images);
$nbTotal = 0;
foreach($images_a_mots_cles as $image) {
$mots_cles_texte = $this->obtenirMotsClesTexte($image['id_image'], $image['ce_utilisateur'], 'images');
$mots_cles_texte_chaine = '';
if (is_array($mots_cles_texte) && count($mots_cles_texte) > 0) {
$mots_cles_texte_chaine = implode(',', $mots_cles_texte);
$mise_a_jour_index = $this->executerRequeteMiseAJourMotCleTexte($mots_cles_texte_chaine,$image['id_image'], $image['ce_utilisateur'], 'images');
$nbTotal ++;
$this->afficherAvancement('Génération des index mots clés images (par 1) :', $nbTotal);
}
}
echo "\n-----------------------------------------------------------------OK\n";
}
private function executerRequeteMiseAJourMotCleTexte($mots_cles_texte_chaine, $id_image_ou_obs, $identifiant_utilisateur, $mode_image_ou_obs) {
$requete = 'UPDATE '.self::$bdd_cel_migration.'.'.(($mode_image_ou_obs == 'obs') ? 'cel_obs' : 'cel_images').' '.
'SET mots_cles_texte = '.$this->proteger($mots_cles_texte_chaine).' '.
'WHERE '.(($mode_image_ou_obs == 'obs') ? 'id_observation' : 'id_image').' = '.$this->proteger($id_image_ou_obs).
' AND ce_utilisateur = '.$this->proteger($identifiant_utilisateur);
return $this->executer($requete);
}
private function obtenirMotsClesTexte($id_image_ou_obs, $identifiant_utilisateur, $mode_image_ou_obs) {
$champ_id = ($mode_image_ou_obs == 'obs') ? 'id_mot_cle_obs' : 'id_mot_cle_image';
$requete = 'SELECT mot_cle '.
'FROM '.self::$bdd_cel_migration.'.cel_mots_cles_'.$mode_image_ou_obs.' '.
'WHERE '.$champ_id.' IN '.
'('.
'SELECT '.$champ_id.' '.
'FROM '.self::$bdd_cel_migration.'.cel_'.$mode_image_ou_obs.'_mots_cles '.
'WHERE '.(($mode_image_ou_obs == 'obs') ? 'id_observation' : 'id_image').' = '.$this->proteger($id_image_ou_obs).
')'.
' AND ce_utilisateur = '.$this->proteger($identifiant_utilisateur);
$resultats = $this->requeter($requete);
$mots_cles = array();
foreach($resultats as $resultat) {
$mots_cles[] = $resultat['mot_cle'];
}
return $mots_cles;
}
}