/trunk/jrest/scripts/InventoryMaintenance.php |
---|
File deleted |
/trunk/jrest/scripts/MigrationMotsCles.php |
---|
2,22 → 2,25 |
// declare(encoding='UTF-8'); |
/** |
* Script de migration des Mots Clés de la version 1 de la base de données du CEL à la v2. |
* Utilisation : /opt/lampp/bin/php cli.php MigrationMotsCles |
* |
* @category php 5.2 |
* @package Cel/Scripts |
* @author Aurélien PERONNET <aurelien@tela-botanica.org> |
* @author Aurelien PERONNET <aurelien@tela-botanica.org> |
* @author Jean-Pascal MILCENT <jpm@tela-botanica.org> |
* @copyright Copyright (c) 2012, Tela Botanica (accueil@tela-botanica.org) |
* @license http://www.cecill.info/licences/Licence_CeCILL_V2-fr.txt Licence CECILL |
* @license http://www.gnu.org/licenses/gpl.html Licence GNU-GPL |
* @version $Id$ |
* @license http://www.cecill.info/licences/Licence_CeCILL_V2-fr.txt Licence CECILL |
* @license http://www.gnu.org/licenses/gpl.html Licence GNU-GPL |
* @version $Id$ |
*/ |
class MigrationMotsCles extends Cel { |
class MigrationMotsCles { |
const SEPARATEUR_MOT_CLE_TEXTE = ','; |
const truncate = true; //Doit on vider les tables de destination ? |
const dry_run = false; |
private $bdd = null; |
private $script = null; |
private $nouvellesTables = array('cel_mots_cles_obs', 'cel_mots_cles_images', 'cel_images_mots_cles', 'cel_obs_mots_cles'); |
public static $bdd_cel_migration; |
public static $bdd_utilisateurs; |
29,30 → 32,34 |
*/ |
private static $avancement = array(); |
/** |
* Méthode appelée avec une requête de type GET. |
*/ |
public function getElement($params) { |
if (!isset($this->config['database_cel']['database_migration']) || $this->config['database_cel']['database_migration'] == '') { |
public function __construct(Conteneur $conteneur) { |
$bddMigration = $conteneur->getParametre('database_cel.database_migration'); |
if ($bddMigration == null || $bddMigration == '') { |
echo 'Attention la variable de configuration database_migration dans la section database_cel, contenant la base de données d\'arrivée, doit être remplie '."\n"; |
exit; |
} |
if (!isset($this->config['database_ident']['database']) || $this->config['database_ident']['database'] == '') { |
$bddIdentification = $conteneur->getParametre('database_ident.database'); |
if ($bddIdentification == null || $bddIdentification == '') { |
echo 'Attention la variable de configuration database dans la section database_ident, contenant la base de données utilisateurs, doit être remplie '."\n"; |
exit; |
} |
self::$bdd_cel_migration = $this->config['database_cel']['database_migration']; |
self::$bdd_utilisateurs = $this->config['database_ident']['database']; |
self::$bdd_cel_migration = $conteneur->getParametre('database_cel.database_migration'); |
self::$bdd_utilisateurs = $conteneur->getParametre('database_ident.database'); |
$this->bdd = $conteneur->getBdd(); |
$this->script = $conteneur->getScript(); |
} |
/** |
* Méthode appelée pour executer le script. |
*/ |
public function executer($params) { |
echo "--MIGRATION DES MOTS CLES --------------------------------------\n"; |
if (self::truncate) { |
echo "-------------------------------------------------------------------\n"; |
echo " ETAPE 0. Vider les tables ... \n\n"; |
echo " ETAPE 0. Vider les tables ... \n"; |
echo "-------------------------------------------------------------------\n"; |
$this->viderTables(); |
echo "---------------------------------------------------------------- OK\n"; |
} |
echo "-------------------------------------------------------------------\n"; |
59,20 → 66,18 |
echo " ETAPE 1. Paramétrage ... \n"; |
echo "-------------------------------------------------------------------\n"; |
$this->getUtilisateurs(); |
echo "\n"."\n"."\n"; |
echo "-------------------------------------------------------------------\n"; |
echo " ETAPE 2. Migration des mots clés ... \n"; |
echo "-------------------------------------------------------------------\n"; |
$this->migrerTableMotsClesObs(); |
echo "\n---------------------------------------------------------------- OK\n"; |
$this->migrerTableMotsClesImages(); |
echo "\n"."\n"."\n"; |
echo "-------------------------------------------------------------------\n"; |
echo " ETAPE 3. Migration des liaisons mots clés ... \n"; |
echo "-------------------------------------------------------------------\n"; |
$this->migrerLiaisonsMotsClesObs(); |
$this->migrerLiaisonsMotsClesImages(); |
echo "\n"."\n"."\n"; |
echo "-------------------------------------------------------------------\n"; |
echo " ETAPE 4. Génération des index des mots clés ... \n"; |
80,7 → 85,6 |
$this->genererIndexTexteMotsClesObs(); |
$this->genererIndexTexteMotsClesImages(); |
$this->mettreANullMotsClesTxtVide(); |
echo "\n"."\n"."\n"; |
} |
private function viderTables() { |
87,18 → 91,18 |
foreach ($this->nouvellesTables as $nomTable) { |
echo 'Vider la table '.$nomTable.'...'; |
$requete = 'TRUNCATE TABLE '.self::$bdd_cel_migration.'.'.$nomTable; |
$resultat = $this->executerRequete($requete); |
$resultat = $this->bdd->executer($requete); |
echo "ok \n"; |
} |
} |
public function executerRequeteSimple($requete) { |
private function executerRequeteSimple($requete) { |
// Fonction de commodité pour afficher les requetes au lieu de les executer |
if (self::dry_run) { |
echo str_replace('),','),'."\n", $requete); |
return true; |
} else { |
return parent::executerRequeteSimple($requete); |
return $this->bdd->executer($requete); |
} |
} |
105,19 → 109,17 |
private function getUtilisateurs() { |
echo "\n-------------------------------------------------------------------\n"; |
echo "--SELECTION DES UTILISATEURS---------------------------------------\n\n"; |
echo "SELECTION DES UTILISATEURS\n"; |
$requete = 'SELECT U_ID as id, U_MAIL as mail, U_NAME as nom, U_SURNAME as prenom, U_PASSWD as pass '. |
'FROM '.self::$bdd_utilisateurs.'.annuaire_tela'; |
$tableau_utilisateurs = $this->executerRequete($requete); |
$tableau_utilisateurs = $this->bdd->requeter($requete); |
foreach( $tableau_utilisateurs as &$utilisateur) { |
$this->tableau_utilisateurs[$utilisateur['mail']] = $utilisateur; |
} |
echo sizeof($this->tableau_utilisateurs)." utilisateurs sélectionnés"; |
echo "\n-----------------------------------------------------------------OK\n"; |
echo count($this->tableau_utilisateurs)." utilisateurs sélectionnés \n"; |
} |
private function migrerTableMotsClesObs() { |
129,19 → 131,19 |
} |
private function migrerTableMotsCles($image_ou_obs) { |
echo "--MIGRATION DES MOTS CLES $image_ou_obs ---------------------------------\n"; |
echo "MIGRATION DES MOTS CLES $image_ou_obs\n"; |
$pas = 1; |
//limite des mots clés |
$requeteNbMotsCles = 'SELECT count(*) as nb FROM cel_mots_cles_'.$image_ou_obs; |
$resultatNbMotsCles = $this->executerRequete($requeteNbMotsCles); |
$nbMotsCles = (int) $resultatNbMotsCles[0]['nb']; |
$nbMotsCles = (int) $this->bdd->requeter($requeteNbMotsCles, Bdd::SQL_RETOUR_COLONNE); |
for ($i = 0; $i < $nbMotsCles; $i += $pas) { |
$requete = 'SELECT * '. |
'FROM cel_mots_cles_'.$image_ou_obs.' '. |
'ORDER BY cmc_niveau '. |
"LIMIT $i,$pas "; |
$arbres_mots_cles = $this->executerRequete($requete); |
$arbres_mots_cles = $this->bdd->requeter($requete); |
if (count($arbres_mots_cles) > 0) { |
$champ_parent = ($image_ou_obs == "obs") ? 'ce_mot_cle_obs_parent' : 'ce_mot_cle_image_parent'; |
161,53 → 163,25 |
if (!$migration) { |
echo "La migration des mots cles $image_ou_obs a échoué ! "."\n"; |
} else { |
$this->afficherAvancement("Migration des mots clés $image_ou_obs (par $pas)"); |
$this->script->afficherAvancement("Migration des mots clés $image_ou_obs (par $pas)"); |
} |
} |
} |
echo "\n"; |
} |
/** |
* Utiliser cette méthode dans une boucle pour afficher un message suivi du nombre de tour de boucle effectué. |
* Vous devrez vous même gérer le retour à la ligne à la sortie de la boucle. |
* |
* @param string le message d'information. |
* @param int le nombre de départ à afficher. |
* @return void le message est affiché dans la console. |
*/ |
protected function afficherAvancement($message, $depart = 0) { |
if (! isset(self::$avancement[$message])) { |
self::$avancement[$message] = $depart; |
echo "$message : "; |
$actuel =& self::$avancement[$message]; |
echo $actuel++; |
} else { |
$actuel =& self::$avancement[$message]; |
// Cas du passage de 99 (= 2 caractères) à 100 (= 3 caractères) |
$passage = 0; |
if (strlen((string) ($actuel - 1)) < strlen((string) ($actuel))) { |
$passage = 1; |
} |
echo str_repeat(chr(8), (strlen((string) $actuel) - $passage)); |
echo $actuel++; |
} |
} |
private function construireSousRequeteInsertionArbresMotsCles($prefixe, $ligne) { |
$id_proprietaire_mot_cle = $ligne[$prefixe.'id_proprietaire']; |
$id_proprietaire_mot_cle = $this->renvoyerIdPourMigration($id_proprietaire_mot_cle); |
$sous_requete = '('.$this->proteger($ligne[$prefixe.'id_mot_cle_utilisateur']).','. |
$this->proteger($id_proprietaire_mot_cle).','. |
$this->proteger($ligne[$prefixe.'mot_cle']).','. |
$this->proteger($ligne[$prefixe.'id_mot_cle_general']).','. |
$this->proteger($ligne[$prefixe.'bg']).','. |
$this->proteger($ligne[$prefixe.'bd']).','. |
$this->proteger($ligne[$prefixe.'niveau']).','. |
$this->proteger($ligne[$prefixe.'id_parent']). |
$sous_requete = '('.$this->bdd->proteger($ligne[$prefixe.'id_mot_cle_utilisateur']).','. |
$this->bdd->proteger($id_proprietaire_mot_cle).','. |
$this->bdd->proteger($ligne[$prefixe.'mot_cle']).','. |
$this->bdd->proteger($ligne[$prefixe.'id_mot_cle_general']).','. |
$this->bdd->proteger($ligne[$prefixe.'bg']).','. |
$this->bdd->proteger($ligne[$prefixe.'bd']).','. |
$this->bdd->proteger($ligne[$prefixe.'niveau']).','. |
$this->bdd->proteger($ligne[$prefixe.'id_parent']). |
')'; |
return $sous_requete; |
} |
229,9 → 203,9 |
return $retour; |
} |
public function mailValide($mail) { |
private function mailValide($mail) { |
// vérification bidon mais ça suffit pour ici |
return !(strpos('@',$mail) === false); |
return !(strpos($mail, '@') === false); |
} |
private function migrerLiaisonsMotsClesObs() { |
242,7 → 216,7 |
' AND mots_cles != "null" '. |
' AND mots_cles IS NOT NULL '. |
'ORDER BY identifiant '; |
$mots_cles_obs = $this->executerRequete($requete); |
$mots_cles_obs = $this->bdd->requeter($requete); |
$requete = 'INSERT INTO '.self::$bdd_cel_migration.'.cel_obs_mots_cles '. |
'(id_observation, id_mot_cle_obs, id_utilisateur) '. |
253,7 → 227,7 |
if (!$insertion) { |
echo 'La migration des mots cles obs a échoué ! '."\n"; |
} else { |
echo "Migration des mots cles obs : OK\n\n"; |
echo "Migration des mots cles obs : OK\n"; |
} |
} |
265,7 → 239,7 |
' AND ci_meta_mots_cles != "null" '. |
' AND ci_meta_mots_cles IS NOT NULL '. |
'ORDER BY ci_ce_utilisateur'; |
$mots_cles_images = $this->executerRequete($requete); |
$mots_cles_images = $this->bdd->requeter($requete); |
$requete = 'INSERT INTO '.self::$bdd_cel_migration.'.cel_images_mots_cles '. |
'(id_image, id_mot_cle_image, id_utilisateur) '. |
277,7 → 251,7 |
if (!$insertion) { |
echo 'La migration des mots cles images a échoué ! '."\n"; |
} else { |
echo "Migration des mots cles images : OK\n\n"; |
echo "Migration des mots cles images : OK\n"; |
} |
} |
286,9 → 260,9 |
foreach ($tableau_mots_cles as $element) { |
$mots_cles_ids = $this->parserMotsCles($element['mots_cles'], $separateur); |
foreach ($mots_cles_ids as $mot_cle_id) { |
$id = $this->proteger($element['id']); |
$id_mot_cle = $this->proteger($mot_cle_id); |
$id_utilisateur = $this->proteger($this->renvoyerIdPourMigration($element['id_utilisateur'])); |
$id = $this->bdd->proteger($element['id']); |
$id_mot_cle = $this->bdd->proteger($mot_cle_id); |
$id_utilisateur = $this->bdd->proteger($this->renvoyerIdPourMigration($element['id_utilisateur'])); |
$sous_requete[] = "($id, $id_mot_cle, $id_utilisateur)"; |
} |
} |
335,7 → 309,7 |
private function genererIndexTexteMotsClesObs() { |
$requete = 'SELECT DISTINCT id_observation, id_utilisateur '. |
'FROM '.self::$bdd_cel_migration.'.cel_obs_mots_cles '; |
$obs_a_mots_cles = $this->requeter($requete); |
$obs_a_mots_cles = $this->bdd->requeter($requete); |
foreach ($obs_a_mots_cles as $obs) { |
$mots_cles_texte = $this->obtenirMotsClesTexte($obs['id_observation'], $obs['id_utilisateur'], 'obs'); |
342,16 → 316,16 |
if (is_array($mots_cles_texte) && count($mots_cles_texte) > 0) { |
$mots_cles_texte_chaine = implode(',', $mots_cles_texte); |
$mise_a_jour_index = $this->executerRequeteMiseAJourMotCleTexte($mots_cles_texte_chaine, $obs['id_observation'], $obs['id_utilisateur'], 'obs'); |
$this->afficherAvancement('Génération des index mots clés obs (par 1)'); |
$this->script->afficherAvancement('Génération des index mots clés obs (par 1)'); |
} |
} |
echo "\n-----------------------------------------------------------------OK\n"; |
echo "\n"; |
} |
private function genererIndexTexteMotsClesImages() { |
$requete = 'SELECT DISTINCT id_image, id_utilisateur '. |
'FROM '.self::$bdd_cel_migration.'.cel_images_mots_cles '; |
$images_a_mots_cles = $this->requeter($requete); |
$images_a_mots_cles = $this->bdd->requeter($requete); |
foreach ($images_a_mots_cles as $image) { |
$mots_cles_texte = $this->obtenirMotsClesTexte($image['id_image'], $image['id_utilisateur'], 'images'); |
359,10 → 333,10 |
if (is_array($mots_cles_texte) && count($mots_cles_texte) > 0) { |
$mots_cles_texte_chaine = implode(',', $mots_cles_texte); |
$mise_a_jour_index = $this->executerRequeteMiseAJourMotCleTexte($mots_cles_texte_chaine, $image['id_image'], $image['id_utilisateur'], 'images'); |
$this->afficherAvancement('Génération des index mots clés images (par 1)'); |
$this->script->afficherAvancement('Génération des index mots clés images (par 1)'); |
} |
} |
echo "\n-----------------------------------------------------------------OK\n"; |
echo "\n"; |
} |
private function obtenirMotsClesTexte($id_image_ou_obs, $id_utilisateur, $mode) { |
369,8 → 343,8 |
$bdd = self::$bdd_cel_migration; |
$champ_id_mot_cle = ($mode == 'obs') ? 'id_mot_cle_obs' : 'id_mot_cle_image'; |
$champ_id_obs_ou_img = ($mode == 'obs') ? 'id_observation' : 'id_image'; |
$id_image_ou_obs = $this->proteger($id_image_ou_obs); |
$id_utilisateur = $this->proteger($id_utilisateur); |
$id_image_ou_obs = $this->bdd->proteger($id_image_ou_obs); |
$id_utilisateur = $this->bdd->proteger($id_utilisateur); |
$requete = 'SELECT mot_cle '. |
"FROM $bdd.cel_mots_cles_$mode AS a ". |
378,7 → 352,7 |
" ON (a.$champ_id_mot_cle = b.$champ_id_mot_cle AND a.id_utilisateur = b.id_utilisateur) ". |
"WHERE b.$champ_id_obs_ou_img = $id_image_ou_obs ". |
" AND a.id_utilisateur = $id_utilisateur "; |
$resultats = $this->requeter($requete); |
$resultats = $this->bdd->requeter($requete); |
$mots_cles = array(); |
foreach ($resultats as $resultat) { |
392,16 → 366,16 |
$bdd = self::$bdd_cel_migration; |
$table = ($mode_image_ou_obs == 'obs') ? 'cel_obs' : 'cel_images'; |
$chp_id_obs_ou_img = ($mode_image_ou_obs == 'obs') ? 'id_observation' : 'id_image'; |
$id_image_ou_obs = $this->proteger($id_image_ou_obs); |
$mots_cles_texte = $this->proteger($mots_cles_texte_chaine); |
$ce_utilisateur = $this->proteger($id_utilisateur); |
$id_image_ou_obs = $this->bdd->proteger($id_image_ou_obs); |
$mots_cles_texte = $this->bdd->proteger($mots_cles_texte_chaine); |
$ce_utilisateur = $this->bdd->proteger($id_utilisateur); |
$requete = "UPDATE $bdd.$table ". |
"SET mots_cles_texte = $mots_cles_texte ". |
"WHERE $chp_id_obs_ou_img = $id_image_ou_obs ". |
" AND ce_utilisateur = $id_utilisateur "; |
" AND ce_utilisateur = $ce_utilisateur "; |
return $this->executer($requete); |
return $this->bdd->executer($requete); |
} |
private function mettreANullMotsClesTxtVide() { |
412,7 → 386,7 |
$requete = "UPDATE $bdd.$table ". |
'SET mots_cles_texte = NULL '. |
"WHERE mots_cles_texte = '' "; |
$this->executer($requete); |
$this->bdd->executer($requete); |
} |
} |
} |
/trunk/jrest/scripts/ImagesMaintenance.php |
---|
New file |
0,0 → 1,120 |
<?php |
// declare(encoding='UTF-8'); |
/** |
* Réalise la maintenance des images. |
* Action : |
* - suppression_images_orphelines : supprime les images qui ne sont plus dans la bdd. |
* Utilisation : /opt/lampp/bin/php cli.php ImagesMaintenance suppression_images_orphelines |
* |
* @category php 5.2 |
* @package Cel/Scripts |
* @author Aurelien PERONNET <aurelien@tela-botanica.org> |
* @author Jean-Pascal MILCENT <jpm@tela-botanica.org> |
* @copyright Copyright (c) 2012, Tela Botanica (accueil@tela-botanica.org) |
* @license http://www.cecill.info/licences/Licence_CeCILL_V2-fr.txt Licence CECILL |
* @license http://www.gnu.org/licenses/gpl.html Licence GNU-GPL |
* @version $Id$ |
*/ |
class ImagesMaintenance { |
private $bdd = null; |
private $script = null; |
private $chemin_base_images = ''; |
private $nbFichiersSupprimes = 0; |
private $espaceLibere = 0; |
public function __construct(Conteneur $conteneur) { |
$this->chemin_base_images = $conteneur->getParametre('cel.chemin_images'); |
$this->bdd = $conteneur->getBdd(); |
$this->script = $conteneur->getScript(); |
} |
public function executer($arguments) { |
if (isset($arguments[0]) == false) { |
throw new Exception("Veuillez indiquer l'action à réaliser en paramètre.", E_USER_ERROR); |
} |
$action = $arguments[0]; |
switch ($action) { |
case 'suppression_images_orphelines' : |
$this->supprimerFichiersImagesOrphelins(); |
break; |
} |
} |
private function supprimerFichiersImagesOrphelins() { |
$profondeur = 1; |
$this->itererRecursivement($this->chemin_base_images, $profondeur); |
print "Suppression des images orphelines effectuées\n"; |
$fichiersSupprimes = $this->nbFichiersSupprimes; |
print "Fichiers orphelins détectés et supprimés : $fichiersSupprimes\n"; |
$espaceLibere = $this->convertirOctets($this->espaceLibere); |
print "Espace disque économisé : $espaceLibere \n"; |
} |
private function itererRecursivement($dossier, $profondeur) { |
$dossiersAIgnorer = array('export'); |
$iterateur = new DirectoryIterator($dossier); |
foreach ($iterateur as $element) { |
if ($element->isDot() || in_array($element->getBasename(), $dossiersAIgnorer)) { |
continue; |
} |
$indentation = str_repeat("\t", ($profondeur - 1)); |
if ($element->isDir()) { |
$profondeur_dossier_fils = $profondeur + 1; |
print "$indentation Analyse dossier : {$element->getPathname()}\n"; |
$this->itererRecursivement($element->getPathname(), $profondeur_dossier_fils); |
} else { |
print "$indentation Vérif fichier : {$element->getBasename()}\n"; |
$existe = $this->verifierPresenceImageDansBdd($element); |
if ($existe == false) { |
$this->supprimerFichierImage($element); |
} |
} |
} |
} |
private function verifierPresenceImageDansBdd($element) { |
$existe = true; |
$nom_fichier = $element->getFilename(); |
if (preg_match('/^([0-9]{3})_([0-9]{3})_([0-9]{3})_[^.]+[.](jpg|xml)$/', $nom_fichier, $match)) { |
$id_image = $match[1].$match[2].$match[3]; |
$id_image = ltrim($id_image, '0'); |
$requete = 'SELECT COUNT(ci_id_image) AS image_existe '. |
'FROM cel_images '. |
"WHERE ci_id_image = $id_image "; |
$imageExiste = $this->bdd->requeter($requete, Bdd::SQL_RETOUR_COLONNE); |
if ($imageExiste < 1) { |
print "Image $id_image introuvable dans la base de données\n"; |
$existe = false; |
} |
} |
return $existe; |
} |
private function supprimerFichierImage($element) { |
$fichier = $element->getPathname(); |
$fichierNom = $element->getBasename(); |
if (file_exists($fichier)) { |
$this->espaceLibere += $element->getSize(); |
if (unlink($fichier) === false) { |
throw new Exception("Problème lors de la suppression du fichier : $fichier \n", E_USER_ERROR); |
} else { |
$this->nbFichiersSupprimes++; |
print "Suppression du fichier : $fichierNom\n"; |
} |
} else { |
throw new Exception("Problème le fichier n'existe pas : $fichier\n", E_USER_ERROR); |
} |
} |
private function convertirOctets($taille) { |
$units = array('B', 'KB', 'MB', 'GB', 'TB'); |
for ($i = 0; $taille >= 1024 && $i < 4; $i++) $taille /= 1024; |
return round($taille, 2).' '.$units[$i]; |
} |
} |
?> |
/trunk/jrest/scripts/ExtracteurMeta.php |
---|
2,21 → 2,24 |
// declare(encoding='UTF-8'); |
/** |
* Script d'extration des métadonnées des images pour intégration dans la BDD v2. |
* Utilisation : /opt/lampp/bin/php cli.php ExtracteurMeta |
* |
* @category php 5.2 |
* @package Cel/Scripts |
* @author Aurelien PERONNET <aurelien@tela-botanica.org> |
* @author Jean-Pascal MILCENT <jpm@tela-botanica.org> |
* @copyright Copyright (c) 2012, Tela Botanica (accueil@tela-botanica.org) |
* @license http://www.cecill.info/licences/Licence_CeCILL_V2-fr.txt Licence CECILL |
* @license http://www.gnu.org/licenses/gpl.html Licence GNU-GPL |
* @version $Id$ |
* @license http://www.cecill.info/licences/Licence_CeCILL_V2-fr.txt Licence CECILL |
* @license http://www.gnu.org/licenses/gpl.html Licence GNU-GPL |
* @version $Id$ |
*/ |
class ExtracteurMeta { |
const DROIT = 0705; |
public $config; |
public $bdd; |
private $chemin_images = ''; |
private $bdd = null; |
private $script = null; |
private $idImg = null; |
private $metaComplet = null; |
27,61 → 30,73 |
private $metaAutres = null; |
public function __construct($config, Conteneur $conteneur = null) { |
// Tableau contenant la config de Jrest |
$this->config = $config; |
$conteneur = is_null($conteneur) ? new Conteneur($this->config) : $conteneur; |
public function __construct(Conteneur $conteneur) { |
$this->chemin_images = $conteneur->getParametre('cel.chemin_images'); |
$this->bdd = $conteneur->getBdd(); |
$this->script = $conteneur->getScript(); |
} |
public function executer($arguments) { |
$this->idImg = $arguments[0]; |
echo "EXTRACTION des MÉTADONNÉES\n"; |
echo "EXTRACTION des MÉTADONNÉES\n"; |
echo "Vérification config : ".$this->verifierConfig()."\n"; |
$cheminImage = $this->obtenirCheminImageOriginale($this->idImg); |
$cmd = "exiftool -X -file:comment $cheminImage"; |
$metaFile = $this->executerCommandeSysteme($cmd); |
$images = $this->obtenirImagesEnBdd(); |
foreach ($images as $img) { |
$this->idImg = $img['id_image']; |
$remplacement = 'NON'; |
if ($this->neccessiterRemplacement($metaFile) === true) { |
$remplacement = 'OUI'; |
$cheminImage = $this->obtenirCheminImageOriginale($this->idImg); |
if (file_exists($cheminImage)) {clear |
$cmd = "exiftool -X -file:comment $cheminImage"; |
$metaFile = $this->executerCommandeSysteme($cmd); |
$cmd = "exiftool -X -D -U -b -c '%.6f' -d '%Y-%m-%d %H:%M:%S' -All $cheminImage"; |
$this->metaComplet = $this->executerCommandeSysteme($cmd); |
if ($this->neccessiterRemplacement($metaFile) === true) { |
//print "Remplacement : {$this->idImg} \n"; |
$cmd = "exiftool -X -D -c '%.6f' -d '%Y-%m-%d %H:%M:%S' -exif:all $cheminImage"; |
$this->exif = $this->executerCommandeSysteme($cmd); |
$cmd = "exiftool -X -D -U -b -c '%.6f' -d '%Y-%m-%d %H:%M:%S' -All $cheminImage"; |
$this->metaComplet = $this->executerCommandeSysteme($cmd); |
$cmd = "exiftool -X -D -c '%.6f' -d '%Y-%m-%d %H:%M:%S' -iptc:all $cheminImage"; |
$this->iptc = $this->executerCommandeSysteme($cmd); |
$cmd = "exiftool -X -D -c '%.6f' -d '%Y-%m-%d %H:%M:%S' -exif:all $cheminImage"; |
$this->exif = $this->executerCommandeSysteme($cmd); |
$cmd = "exiftool -X -D -c '%.6f' -d '%Y-%m-%d %H:%M:%S' -xmp:all $cheminImage"; |
$this->xmp = $this->executerCommandeSysteme($cmd); |
$cmd = "exiftool -X -D -c '%.6f' -d '%Y-%m-%d %H:%M:%S' -iptc:all $cheminImage"; |
$this->iptc = $this->executerCommandeSysteme($cmd); |
$cmd = "exiftool -X -D -c '%.6f' -d '%Y-%m-%d %H:%M:%S' -makernotes:all $cheminImage"; |
$this->makerNotes = $this->executerCommandeSysteme($cmd); |
$cmd = "exiftool -X -D -c '%.6f' -d '%Y-%m-%d %H:%M:%S' -xmp:all $cheminImage"; |
$this->xmp = $this->executerCommandeSysteme($cmd); |
$cmd = "exiftool -X -D -c '%.6f' -d '%Y-%m-%d %H:%M:%S' --exif:all --iptc:all --xmp:all --makernotes:all $cheminImage"; |
$this->metaAutres = $this->executerCommandeSysteme($cmd); |
$cmd = "exiftool -X -D -c '%.6f' -d '%Y-%m-%d %H:%M:%S' -makernotes:all $cheminImage"; |
$this->makerNotes = $this->executerCommandeSysteme($cmd); |
$this->ecrireFichierRdf(); |
$this->mettreAJourBdd(); |
$cmd = "exiftool -X -D -c '%.6f' -d '%Y-%m-%d %H:%M:%S' --exif:all --iptc:all --xmp:all --makernotes:all $cheminImage"; |
$this->metaAutres = $this->executerCommandeSysteme($cmd); |
$this->ecrireFichierRdf(); |
$this->mettreAJourBdd(); |
} |
} else { |
//print "Fichier image '{$this->idImg}' introuvable\n"; |
} |
$this->script->afficherAvancement("Analyse des images"); |
} |
echo "Remplacement : $remplacement \n"; |
print "\n"; |
} |
private function verifierConfig() { |
if (empty($this->config['cel']['chemin_images'])) { |
$message = "Vous devez indiquer le dossier contenant la hiérarchie des images dans le paramètre : ". |
"[cel] chemin_images"; |
$code = (string) E_USER_ERROR; |
throw new Exception($message); |
} |
return 'OK'; |
private function verifierConfig() { |
if (empty($this->chemin_images)) { |
$message = "Vous devez indiquer le dossier contenant la hiérarchie des images dans le paramètre : ". |
"[cel] chemin_images"; |
$code = (string) E_USER_ERROR; |
throw new Exception($message); |
} |
return 'OK'; |
} |
private function obtenirImagesEnBdd() { |
$requete = 'SELECT id_image FROM cel_images '; |
$images = $this->bdd->requeter($requete); |
return $images; |
} |
private function executerCommandeSysteme($commande) { |
$handle = popen($commande, 'r'); |
$metaXml = ''; |
92,17 → 107,17 |
return $metaXml; |
} |
private function obtenirCheminImageRDF($id_image) { |
return $this->obtenirCheminImage($id_image, 'RDF', 'xml'); |
private function obtenirCheminImageRDF() { |
return $this->obtenirCheminImage('RDF', 'xml'); |
} |
private function obtenirCheminImageOriginale($id_image) { |
return $this->obtenirCheminImage($id_image, 'O'); |
private function obtenirCheminImageOriginale() { |
return $this->obtenirCheminImage('O'); |
} |
private function obtenirCheminImage($id_image, $format, $extension = 'jpg') { |
$nom = $this->convertirIdBddVersNomFichier($id_image, $format, $extension); |
$cheminDossier = $this->obtenirDossierPourFormat($id_image, $format); |
private function obtenirCheminImage($format, $extension = 'jpg') { |
$nom = $this->convertirIdBddVersNomFichier($format, $extension); |
$cheminDossier = $this->obtenirDossierPourFormat($format); |
if (file_exists($cheminDossier) === false) { |
$this->creerDossier($cheminDossier); |
} |
109,22 → 124,19 |
return $cheminDossier.'/'.$nom; |
} |
private function convertirIdBddVersNomFichier($id, $format, $extension) { |
$id_avec_zeros = sprintf('%09s', $id) ; |
private function convertirIdBddVersNomFichier($format, $extension) { |
$id_avec_zeros = sprintf('%09s', $this->idImg) ; |
$id_avec_zeros_underscores = wordwrap($id_avec_zeros, 3 , '_', true) ; |
$nom_fichier = $id_avec_zeros_underscores.'_'.$format.'.'.$extension; |
return $nom_fichier; |
} |
private function obtenirDossierPourFormat($id, $format) { |
$chemin_base = $this->config['cel']['chemin_images']; |
$chemin_sur_serveur = $chemin_base; |
$id = sprintf('%09s', $id); |
private function obtenirDossierPourFormat($format) { |
$id = sprintf('%09s', $this->idImg); |
$id = wordwrap($id, 3 , '_', true); |
list($dossierNiveau1, $dossierNiveau2) = explode('_', $id); |
$chemin_sur_serveur_final = $chemin_sur_serveur.'/'.$dossierNiveau1.'/'.$dossierNiveau2.'/'.$format; |
$chemin_sur_serveur_final = $this->chemin_images.'/'.$dossierNiveau1.'/'.$dossierNiveau2.'/'.$format; |
return $chemin_sur_serveur_final; |
} |
/trunk/jrest/scripts/MigrationObs.php |
---|
2,23 → 2,26 |
// declare(encoding='UTF-8'); |
/** |
* Script de migration des Observations de la version 1 de la base de données du CEL à la v2. |
* Utilisation : /opt/lampp/bin/php cli.php MigrationObs |
* |
* @category php 5.2 |
* @package Cel/Scripts |
* @author Aurélien PERONNET <aurelien@tela-botanica.org> |
* @author Aurelien PERONNET <aurelien@tela-botanica.org> |
* @author Jean-Pascal MILCENT <jpm@tela-botanica.org> |
* @copyright Copyright (c) 2012, Tela Botanica (accueil@tela-botanica.org) |
* @license http://www.cecill.info/licences/Licence_CeCILL_V2-fr.txt Licence CECILL |
* @license http://www.gnu.org/licenses/gpl.html Licence GNU-GPL |
* @version $Id$ |
* @license http://www.cecill.info/licences/Licence_CeCILL_V2-fr.txt Licence CECILL |
* @license http://www.gnu.org/licenses/gpl.html Licence GNU-GPL |
* @version $Id$ |
*/ |
class MigrationObs extends Cel { |
class MigrationObs { |
const truncate = true; //Doit on vider les tables de destination ? |
const dry_run = false; |
const PATTERN_LAT = '/^[+-]?(?:[1-9][0-9]|[0-9])(?:[.][0-9]+|)$/'; |
const PATTERN_LNG = '/^[+-]?(?:1[0-8][0-9]|[1-9][0-9]|[0-9])(?:[.][0-9]+|)$/'; |
private $bdd = null; |
private $script = null; |
public static $bdd_cel_migration; |
public static $bdd_utilisateurs; |
private $communesOubliees = array(); |
38,7 → 41,7 |
'ce_utilisateur' => 'traiterIdentifiantUtilisateur', |
'prenom_utilisateur' => 'traiterPrenomUtilisateur', |
'nom_utilisateur' => 'traiterNomUtilisateur', |
'courriel_utilisateur' => 'identifiant', |
'courriel_utilisateur' => 'traiterCourrielUtilisateur', |
'nom_sel' => 'nom_sel', |
'nom_sel_nn' => 'num_nom_sel', |
'nom_ret' => 'nom_ret', |
91,141 → 94,108 |
'coord_y' => 'longitude', |
'ref_geo' => 'geodatum' |
); |
public function __construct(Conteneur $conteneur) { |
$bddMigration = $conteneur->getParametre('database_cel.database_migration'); |
if ($bddMigration == null || $bddMigration == '') { |
echo 'Attention la variable de configuration database_migration dans la section database_cel, contenant la base de données d\'arrivée, doit être remplie '."\n"; |
exit; |
} |
$bddIdentification = $conteneur->getParametre('database_ident.database'); |
if ($bddIdentification == null || $bddIdentification == '') { |
echo 'Attention la variable de configuration database dans la section database_ident, contenant la base de données utilisateurs, doit être remplie '."\n"; |
exit; |
} |
self::$bdd_cel_migration = $conteneur->getParametre('database_cel.database_migration'); |
self::$bdd_utilisateurs = $conteneur->getParametre('database_ident.database'); |
$this->bdd = $conteneur->getBdd(); |
$this->script = $conteneur->getScript(); |
} |
/** |
* Méthode appelée avec une requête de type GET. |
/** |
* Méthode appelée pour executer le script. |
*/ |
public function getElement($params) { |
if(!isset($this->config['database_cel']['database_migration']) || $this->config['database_cel']['database_migration'] == '') { |
echo 'Attention la variable de configuration database_migration dans la section database_cel, contenant la base de données d\'arrivée, doit être remplie '."\n"; |
exit; |
} |
if(!isset($this->config['database_ident']['database']) || $this->config['database_ident']['database'] == '') { |
echo 'Attention la variable de configuration database dans la section database_ident, contenant la base de données utilisateurs, doit être remplie '."\n"; |
exit; |
} |
self::$bdd_cel_migration = $this->config['database_cel']['database_migration']; |
self::$bdd_utilisateurs = $this->config['database_ident']['database']; |
public function executer($params) { |
echo "--MIGRATION DES OBSERVATIONS --------------------------------------\n"; |
//1. TEMPORAIRE : vider les tables de destinations |
if (self::truncate) { |
echo "-------------------------------------------------------------------\n\n"; |
echo " ETAPE 0. Vider les tables ... \n\n"; |
echo "-------------------------------------------------------------------\n\n"; |
echo "-------------------------------------------------------------------\n"; |
echo " ETAPE 0. Vider les tables ... \n"; |
echo "-------------------------------------------------------------------\n"; |
$nouvellesTables = array('cel_obs', 'cel_utilisateurs_infos', 'cel_zones_geo'); |
foreach ($nouvellesTables as $nomTable) { |
echo 'Vider la table '.$nomTable.'...'; |
$requeteTruncate = 'TRUNCATE TABLE '.self::$bdd_cel_migration.'.'.$nomTable; |
$resultatTruncate = $this->executerRequete($requeteTruncate); |
$resultatTruncate = $this->bdd->executer($requeteTruncate); |
echo "ok \n"; |
} |
echo "\n---------------------------------------------------------------- OK\n\n"; |
} |
echo "-------------------------------------------------------------------\n\n"; |
echo " ETAPE 1. Paramétrage ... \n\n"; |
echo "-------------------------------------------------------------------\n\n"; |
echo "-------------------------------------------------------------------\n"; |
echo " ETAPE 1. Paramétrage ... \n"; |
echo "-------------------------------------------------------------------\n"; |
$this->getUtilisateurs(); |
$this->getMotsCles(); |
echo "-------------------------------------------------------------------\n\n"; |
echo " ETAPE 2. Migration des utilisateurs ... \n\n"; |
echo "-------------------------------------------------------------------\n\n"; |
echo "-------------------------------------------------------------------\n"; |
echo " ETAPE 2. Migration des utilisateurs ... \n"; |
echo "-------------------------------------------------------------------\n"; |
$this->migrerUtilisateurs(); |
echo "-------------------------------------------------------------------\n\n"; |
echo " ETAPE 3. Migration des zone géographiques ... \n\n"; |
echo "-------------------------------------------------------------------\n\n"; |
echo "-------------------------------------------------------------------\n"; |
echo " ETAPE 3. Migration des zone géographiques ... \n"; |
echo "-------------------------------------------------------------------\n"; |
$this->migrerZonesGeo(); |
echo "-------------------------------------------------------------------\n\n"; |
echo " ETAPE 4. Migration des observations ... \n\n"; |
echo "-------------------------------------------------------------------\n\n"; |
echo "-------------------------------------------------------------------\n"; |
echo " ETAPE 4. Migration des observations ... \n"; |
echo "-------------------------------------------------------------------\n"; |
$this->migrerObs(); |
$this->mettreANullPrenomNomVide(); |
$this->ordonnerObs(); |
echo "\n"."\n"."\n"; |
$this->ordonnerObs(); |
} |
public function executerRequeteSimple($requete) { |
private function executerRequeteSimple($requete) { |
// Fonction de commodité pour afficher les requetes au lieu de les executer |
if (self::dry_run) { |
echo str_replace('),','),'."\n", $requete); |
return true; |
} else { |
return parent::executerRequeteSimple($requete); |
return $this->bdd->executer($requete); |
} |
} |
private function getUtilisateurs() { |
echo "\n-------------------------------------------------------------------\n"; |
echo "--SELECTION DES UTILISATEURS---------------------------------------\n\n"; |
echo "SELECTION DES UTILISATEURS\n"; |
$requete = 'SELECT DISTINCT u_id AS id, u_mail AS mail, u_name AS nom, u_surname AS prenom, u_passwd AS pass '. |
'FROM cel_inventory INNER JOIN '.self::$bdd_utilisateurs.'.annuaire_tela ON (u_mail = identifiant) '; |
$tableau_utilisateurs = $this->executerRequete($requete); |
$tableau_utilisateurs = $this->bdd->requeter($requete); |
foreach( $tableau_utilisateurs as &$utilisateur) { |
$this->tableau_utilisateurs[$utilisateur['mail']] = $utilisateur; |
} |
echo sizeof($this->tableau_utilisateurs)." utilisateurs sélectionnés"; |
echo "\n-----------------------------------------------------------------OK\n"; |
echo sizeof($this->tableau_utilisateurs)." utilisateurs sélectionnés\n"; |
} |
private function getMotsCles() { |
echo "\n-------------------------------------------------------------------\n"; |
echo "--SELECTION DES MOTS-CLES -----------------------------------------\n\n"; |
echo "SELECTION DES MOTS-CLES \n"; |
$requete = 'SELECT cmc_id_proprietaire as id_utilisateur, cmc_id_mot_cle_utilisateur as id_mot_cle, '. |
'cmc_mot_cle as mot_cle '. |
'FROM cel_mots_cles_obs '; |
$tableau_mots_cles = $this->executerRequete($requete); |
$tableau_mots_cles = $this->bdd->requeter($requete); |
foreach( $tableau_mots_cles as &$mot_cle) { |
$this->tableau_mots_cles[$mot_cle['id_utilisateur']][$mot_cle['id_mot_cle']] = $mot_cle; |
} |
echo sizeof($this->tableau_mots_cles)." mots-clés sélectionnés"; |
echo "\n-----------------------------------------------------------------OK\n"; |
echo sizeof($this->tableau_mots_cles)." mots-clés sélectionnés\n"; |
} |
/** |
* Utiliser cette méthode dans une boucle pour afficher un message suivi du nombre de tour de boucle effectué. |
* Vous devrez vous même gérer le retour à la ligne à la sortie de la boucle. |
* |
* @param string le message d'information. |
* @param int le nombre de départ à afficher. |
* @return void le message est affiché dans la console. |
*/ |
protected function afficherAvancement($message, $depart = 0) { |
if (! isset(self::$avancement[$message])) { |
self::$avancement[$message] = $depart; |
echo "$message : "; |
$actuel =& self::$avancement[$message]; |
echo $actuel++; |
} else { |
$actuel =& self::$avancement[$message]; |
// Cas du passage de 99 (= 2 caractères) à 100 (= 3 caractères) |
$passage = 0; |
if (strlen((string) ($actuel - 1)) < strlen((string) ($actuel))) { |
$passage = 1; |
} |
echo str_repeat(chr(8), (strlen((string) $actuel) - $passage)); |
echo $actuel++; |
} |
} |
private function migrerUtilisateurs() { |
$requete = 'INSERT INTO '.self::$bdd_cel_migration.'.cel_utilisateurs_infos '. |
'(id_utilisateur) '. |
233,7 → 203,7 |
$sous_requete = array(); |
foreach ($this->tableau_utilisateurs as $id => &$utilisateur) { |
$sous_requete[] = '('.$this->proteger($utilisateur['id']).')'; |
$sous_requete[] = '('.$this->bdd->proteger($utilisateur['id']).')'; |
} |
$requete .= implode(',', $sous_requete); |
244,18 → 214,16 |
} else { |
exit('Erreur lors de la migration des utilisateurs '."\n"); |
} |
echo "\n---------------------------------------------------------------- OK\n\n"; |
echo "\n"; |
} |
private function migrerZonesGeo() { |
$pas = 5000; |
//SELECTIONNER LE NOMBRE DE ZONE GEO |
$requete_nombreZonesGeo = 'SELECT count(*) as nb FROM locations'; |
$resultatNbZonesGeo = $this->executerRequete($requete_nombreZonesGeo); |
$nbZones = (int) $resultatNbZonesGeo[0]['nb']; |
$resultatNbZonesGeo = $this->bdd->requeter($requete_nombreZonesGeo, Bdd::SQL_RETOUR_COLONNE); |
$nbZones = (int) $resultatNbZonesGeo; |
$nbTotal = 0; |
for($i = 0; $i <= $nbZones ; $i += $pas) { |
262,7 → 230,7 |
$requete_selection_zones_geo = 'SELECT * FROM locations LIMIT '.$i.', '.$pas; |
$zones_geo = $this->executerRequete($requete_selection_zones_geo); |
$zones_geo = $this->bdd->requeter($requete_selection_zones_geo); |
$requete_insertion_nouvelles_zones_geo = 'INSERT INTO '.self::$bdd_cel_migration.'.cel_zones_geo '. |
'(id_zone_geo, code, nom, utm_secteur, utm_x, utm_y, wgs84_latitude, wgs84_longitude, date_modification) '. |
279,16 → 247,16 |
$indice_tableau_localites = $this->construireIndiceTableauLocalites($zone_geo['name'], $zone_geo['insee_code']); |
$this->tableau_zones_geo[$indice_tableau_localites] = $zone_geo; |
$sous_requete_insertion_valeurs .= '('.$this->proteger($zone_geo['nouveau_code_geo']).','. |
$this->proteger($zone_geo['insee_code']).','. |
$this->proteger($zone_geo['name']).','. |
$this->proteger($zone_geo['sector']).','. |
$this->proteger($zone_geo['x_utm']).','. |
$this->proteger($zone_geo['y_utm']).','. |
$this->proteger($lat_long['lat']).','. |
$this->proteger($lat_long['long']).','. |
$this->proteger($zone_geo['update_date']). |
'),'; |
$sous_requete_insertion_valeurs .= '('.$this->bdd->proteger($zone_geo['nouveau_code_geo']).','. |
$this->bdd->proteger($zone_geo['insee_code']).','. |
$this->bdd->proteger($zone_geo['name']).','. |
$this->bdd->proteger($zone_geo['sector']).','. |
$this->bdd->proteger($zone_geo['x_utm']).','. |
$this->bdd->proteger($zone_geo['y_utm']).','. |
$this->bdd->proteger($lat_long['lat']).','. |
$this->bdd->proteger($lat_long['long']).','. |
$this->bdd->proteger($zone_geo['update_date']). |
'),'; |
} |
$sous_requete_insertion_valeurs = rtrim($sous_requete_insertion_valeurs,','); |
303,12 → 271,12 |
if ($migration_zones_geo) { |
$nbTotal ++; |
$this->afficherAvancement('Migration des zones (par '.$pas.')', $nbTotal); |
$this->script->afficherAvancement('Migration des zones (par '.$pas.')', $nbTotal); |
} else { |
exit('Erreur lors de la migration des zones géo '.$i.' à '.($i+$pas)."\n"); |
} |
} |
echo "\n---------------------------------------------------------------- OK\n\n"; |
echo "\n"; |
} |
private function convertirUtmVersLatLong($x, $y, $sector) { |
330,13 → 298,14 |
//Selectionner le nombre d'observations |
$requeteNbObs = "SELECT COUNT(*) as nb FROM cel_inventory"; |
$resultatNbObs = $this->executerRequete($requeteNbObs); |
$fin = $resultatNbObs[0]['nb']; |
$fin = $this->bdd->requeter($requeteNbObs, Bdd::SQL_RETOUR_COLONNE); |
for ($i = $debut; $i < $fin ; $i += $pas) { |
$requete_selection_obs = 'SELECT * FROM cel_inventory '. |
'ORDER BY identifiant LIMIT '.$i.','.$pas; |
$observations = $this->requeter($requete_selection_obs); |
$requete_selection_obs = 'SELECT * '. |
'FROM cel_inventory '. |
'ORDER BY identifiant '. |
'LIMIT '.$i.','.$pas; |
$observations = $this->bdd->requeter($requete_selection_obs); |
$requete_insertion_observations = 'INSERT IGNORE INTO '.self::$bdd_cel_migration.'.cel_obs ('; |
359,21 → 328,21 |
$migration_observations = $this->executerRequeteSimple($requete_insertion_observations); |
} else { |
echo 'Fin de migration des observations '."\n"."\n"; |
echo "Fin de migration des observations\n"; |
return; |
} |
if ($migration_observations) { |
$nbTotal ++; |
$this->afficherAvancement('Migration des observations (par '.$pas.')', $nbTotal); |
$this->script->afficherAvancement('Migration des observations (par '.$pas.')', $nbTotal); |
} else { |
exit('Erreur lors de la migration des observation de '.$i.' à '.($i+$pas)."\n"); |
} |
} |
} |
echo "\n"; |
if (sizeof($this->communesOubliees) > 0) { |
echo "\nxxxxxxxxx communes oubliées : ".sizeof($this->communesOubliees)." xxxxxxxxx \\n"; |
echo "xxxxxxxxx Communes ignorées : ".sizeof($this->communesOubliees)." xxxxxxxxx \n"; |
} |
echo "\n---------------------------------------------------------------- OK\n\n"; |
} |
private function ordonnerObs() { |
407,7 → 376,7 |
private function protegerSiNonNull($valeur) { |
if ($valeur != 'NULL') { |
$valeur = $this->proteger($valeur); |
$valeur = $this->bdd->proteger($valeur); |
} |
return $valeur; |
} |
425,11 → 394,11 |
} |
private function traiterLat(&$observation) { |
if ($this->etreNull($observation['coord_x'])) { |
if ($this->bdd->etreNull($observation['coord_x'])) { |
$observation['coord_x'] = 'NULL'; |
} else if (preg_match(self::PATTERN_LAT, $observation['coord_x']) == false) { |
$latNote = 'Latitude éronnée : '.$observation['coord_x']; |
if ($this->etreNull($observation['commentaire'])) { |
if ($this->bdd->etreNull($observation['commentaire'])) { |
$observation['commentaire'] = $latNote; |
} else { |
$observation['commentaire'] .= "\n".$latNote; |
441,11 → 410,11 |
} |
private function traiterLng(&$observation) { |
if ($this->etreNull($observation['coord_y'])) { |
if ($this->bdd->etreNull($observation['coord_y'])) { |
$observation['coord_y'] = 'NULL'; |
} else if (preg_match(self::PATTERN_LNG, $observation['coord_y']) == false) { |
$lngNote = 'Longitude éronnée : '.$observation['coord_y']; |
if ($this->etreNull($observation['commentaire'])) { |
if ($this->bdd->etreNull($observation['commentaire'])) { |
$observation['commentaire'] = $lngNote; |
} else { |
$observation['commentaire'] .= "\n".$lngNote; |
534,7 → 503,7 |
private function traiterNomUtilisateur($ligne_observation) { |
$mail_observation = $ligne_observation['identifiant']; |
$retour = ''; |
$retour = 'NULL'; |
if (isset($this->tableau_utilisateurs[$mail_observation])) { |
$nom = $this->tableau_utilisateurs[$mail_observation]['nom']; |
$retour = self::formaterMotEnMajuscule($nom); |
541,6 → 510,17 |
} |
return $retour; |
} |
private function traiterCourrielUtilisateur($observation) { |
$courriel = $observation['identifiant']; |
$retour = 'NULL'; |
if ($this->mailValide($courriel)) { |
$retour = $courriel; |
} |
return $retour; |
} |
public static function formaterMotPremiereLettreChaqueMotEnMajuscule($chaine, $encodage= 'UTF-8') { |
$chaine = str_replace('-', ' - ', $chaine); |
609,7 → 589,7 |
$nom = str_replace(' ','_',$nom); |
$nom = str_replace('-','_',$nom); |
$nom = str_replace(' ','_',$nom); |
$indice = strtolower($nom).substr($id,0,2); |
$indice = strtolower($nom).substr($id, 0, 2); |
return $indice; |
} |
626,13 → 606,15 |
if ($this->mailValide($utilisateur)) { |
$retour = md5($utilisateur); |
} |
} else if ($utilisateur == '') { |
$retour = 'NULL'; |
} |
return $retour; |
} |
public function mailValide($mail) { |
private function mailValide($mail) { |
// vérification bidon mais ça suffit pour ici |
return !(strpos('@', $mail) === false); |
return !(strpos($mail, '@') === false); |
} |
private function mettreANullPrenomNomVide() { |
640,11 → 622,11 |
$requete = "UPDATE $bdd.cel_obs ". |
'SET prenom_utilisateur = NULL '. |
"WHERE prenom_utilisateur = '' "; |
$this->executer($requete); |
$this->bdd->executer($requete); |
$requete = "UPDATE $bdd.cel_obs ". |
'SET nom_utilisateur = NULL '. |
"WHERE nom_utilisateur = '' "; |
$this->executer($requete); |
$this->bdd->executer($requete); |
} |
} |
/trunk/jrest/scripts/MigrationImages.php |
---|
2,17 → 2,18 |
// declare(encoding='UTF-8'); |
/** |
* Script de migration des Images de la version 1 de la base de données du CEL à la v2. |
* Utilisation : /opt/lampp/bin/php cli.php MigrationImages |
* |
* @category php 5.2 |
* @package Cel/Scripts |
* @author Aurélien PERONNET <aurelien@tela-botanica.org> |
* @author Aurelien PERONNET <aurelien@tela-botanica.org> |
* @author Jean-Pascal MILCENT <jpm@tela-botanica.org> |
* @copyright Copyright (c) 2012, Tela Botanica (accueil@tela-botanica.org) |
* @license http://www.cecill.info/licences/Licence_CeCILL_V2-fr.txt Licence CECILL |
* @license http://www.gnu.org/licenses/gpl.html Licence GNU-GPL |
* @version $Id$ |
* @license http://www.cecill.info/licences/Licence_CeCILL_V2-fr.txt Licence CECILL |
* @license http://www.gnu.org/licenses/gpl.html Licence GNU-GPL |
* @version $Id$ |
*/ |
class MigrationImages extends Cel { |
class MigrationImages { |
const dry_run = false; |
const truncate = true; //Doit on vider les tables de destination ? |
19,6 → 20,8 |
const separateur_champs_metadonnees = ';'; |
const separateur_valeurs_metadonnees = ':'; |
private $bdd = null; |
private $script = null; |
public static $bdd_cel_migration; |
public static $bdd_utilisateurs; |
private $cle_id_metadonnees = array(); |
640,170 → 643,134 |
'2#255' => array('id' => '255', 'tag' => 'CatalogSets', 'categorie' => 'ApplicationRecord') |
); |
/** |
* Méthode appelée avec une requête de type GET. |
*/ |
public function getElement($params) { |
if (!isset($this->config['database_cel']['database_migration']) || $this->config['database_cel']['database_migration'] == '') { |
public function __construct(Conteneur $conteneur) { |
$bddMigration = $conteneur->getParametre('database_cel.database_migration'); |
if ($bddMigration == null || $bddMigration == '') { |
echo 'Attention la variable de configuration database_migration dans la section database_cel, contenant la base de données d\'arrivée, doit être remplie '."\n"; |
exit; |
} |
if (!isset($this->config['database_ident']['database']) || $this->config['database_ident']['database'] == '') { |
$bddIdentification = $conteneur->getParametre('database_ident.database'); |
if ($bddIdentification == null || $bddIdentification == '') { |
echo 'Attention la variable de configuration database dans la section database_ident, contenant la base de données utilisateurs, doit être remplie '."\n"; |
exit; |
} |
} |
self::$bdd_cel_migration = $conteneur->getParametre('database_cel.database_migration'); |
self::$bdd_utilisateurs = $conteneur->getParametre('database_ident.database'); |
$this->bdd = $conteneur->getBdd(); |
$this->script = $conteneur->getScript(); |
self::$bdd_cel_migration = $this->config['database_cel']['database_migration']; |
self::$bdd_utilisateurs = $this->config['database_ident']['database']; |
$this->cle_id_metadonnees = array_merge($this->ids_tags_exif, $this->ids_tags_iptc); |
$this->cle_id_metadonnees = array_merge($this->ids_tags_exif, $this->ids_tags_iptc); |
} |
/** |
* Méthode appelée pour executer le script. |
*/ |
public function executer($params) { |
echo "--MIGRATION DES IMAGES --------------------------------------\n"; |
//1. TEMPORAIRE : vider les tables de destinations |
if (self::truncate) { |
echo "-------------------------------------------------------------------\n\n"; |
echo " ETAPE 0. Vider les tables ... \n\n"; |
echo "-------------------------------------------------------------------\n\n"; |
echo "-------------------------------------------------------------------\n"; |
echo " ETAPE 0. Vider les tables ... \n"; |
echo "-------------------------------------------------------------------\n"; |
$nouvellesTables = array('cel_images', 'cel_obs_images'); |
foreach ($nouvellesTables as $nomTable) { |
echo 'Vider la table '.$nomTable.'...'; |
$requeteTruncate = 'TRUNCATE TABLE '.self::$bdd_cel_migration.'.'.$nomTable; |
$resultatTruncate = $this->executerRequete($requeteTruncate); |
$resultatTruncate = $this->bdd->executer($requeteTruncate); |
echo "ok \n"; |
} |
echo "\n---------------------------------------------------------------- OK\n\n"; |
} |
echo "-------------------------------------------------------------------\n\n"; |
echo " ETAPE 1. Paramétrage ... \n\n"; |
echo "-------------------------------------------------------------------\n\n"; |
echo "-------------------------------------------------------------------\n"; |
echo " ETAPE 1. Paramétrage ... \n"; |
echo "-------------------------------------------------------------------\n"; |
$this->getUtilisateurs(); |
$this->getObservations(); |
echo "-------------------------------------------------------------------\n\n"; |
echo " ETAPE 2. Migration des images ... \n\n"; |
echo "-------------------------------------------------------------------\n\n"; |
echo "-------------------------------------------------------------------\n"; |
echo " ETAPE 2. Migration des images ... \n"; |
echo "-------------------------------------------------------------------\n"; |
$this->migrerImages(); |
$this->mettreANullPrenomNomVide(); |
$this->ordonnerImages(); |
echo "\n"."\n"."\n"; |
echo "-------------------------------------------------------------------\n\n"; |
echo " ETAPE 3. migration des liaisons obs images ... \n\n"; |
echo "-------------------------------------------------------------------\n\n"; |
echo "-------------------------------------------------------------------\n"; |
echo " ETAPE 3. migration des liaisons obs images ... \n"; |
echo "-------------------------------------------------------------------\n"; |
$this->migrerLiaisonsObsImages(); |
echo "\n"."\n"."\n"; |
} |
private function getUtilisateurs() { |
echo "\n-------------------------------------------------------------------\n"; |
echo "--SELECTION DES UTILISATEURS---------------------------------------\n\n"; |
echo "SELECTION DES UTILISATEURS\n"; |
$requete = 'SELECT U_ID as id, U_MAIL as mail, U_NAME as nom, U_SURNAME as prenom, U_PASSWD as pass '. |
'FROM '.self::$bdd_utilisateurs.'.annuaire_tela'; |
$tableau_utilisateurs = $this->executerRequete($requete); |
$tableau_utilisateurs = $this->bdd->requeter($requete); |
foreach ($tableau_utilisateurs as &$utilisateur) { |
$this->tableau_utilisateurs[$utilisateur['mail']] = $utilisateur; |
} |
echo sizeof($this->tableau_utilisateurs)." utilisateurs sélectionnés"; |
echo "\n-----------------------------------------------------------------OK\n"; |
echo sizeof($this->tableau_utilisateurs)." utilisateurs sélectionnés\n"; |
} |
private function getObservations() { |
$pas = 5000; |
$nObs = 'SELECT COUNT(*) AS nb FROM cel_inventory'; |
$resultatNbObs = $this->executerRequete($nObs); |
$nbObs = $resultatNbObs[0]['nb']; |
$resultatNbObs = $this->bdd->requeter($nObs, Bdd::SQL_RETOUR_COLONNE); |
$nbObs = $resultatNbObs; |
$maxLimite = $nbObs + $pas; |
for ($i = 0; $i < $maxLimite; $i += $pas ) { |
$requete_selection_observations = 'SELECT id, ordre, identifiant FROM cel_inventory LIMIT '.$i.", $pas"; |
$tableau_observations = $this->executerRequete($requete_selection_observations); |
$requete_selection_observations = "SELECT id, ordre, identifiant FROM cel_inventory LIMIT $i,$pas "; |
$tableau_observations = $this->bdd->requeter($requete_selection_observations); |
foreach ($tableau_observations as &$obs) { |
$this->tableau_observations[$obs['identifiant']][$obs['ordre']] = $obs['id']; |
} |
$this->afficherAvancement('Selection des observations (par '.$pas.' )'); |
$this->script->afficherAvancement('Selection des observations (par '.$pas.' )'); |
} |
echo "\n\n"; |
echo "\n"; |
} |
private function migrerImages() { |
$debut = 0; |
$pas = 100; |
//Selectionner le nombre d'images |
$requeteNbImg = "SELECT COUNT(*) as nb FROM cel_images"; |
$resultatNbImg = $this->executerRequete($requeteNbImg); |
$fin = $resultatNbImg[0]['nb']; |
$fin = $this->bdd->requeter($requeteNbImg, BDD::SQL_RETOUR_COLONNE); |
$maxLimite = $fin + $pas; |
for ($i = $debut; $i <= $maxLimite ; $i += $pas) { |
$requete = 'SELECT * '. |
'FROM cel_images '. |
'ORDER BY ci_id_image ASC LIMIT '.$i.','.$pas; |
$images = @$this->requeter($requete); |
$requete = 'INSERT INTO '.self::$bdd_cel_migration.'.cel_images ('; |
foreach ($this->tableau_nouveau_ancien as $nouveau_champ => $ancien_champ) { |
$requete .= $nouveau_champ.','; |
} |
$requete = rtrim($requete, ',').') VALUES '; |
for ($i = 0; $i <= $maxLimite ; $i += $pas) { |
$requete = "SELECT * FROM cel_images ORDER BY ci_id_image ASC LIMIT $i,$pas "; |
$images = $this->bdd->requeter($requete); |
if (is_array($images)) { |
$nb_images_a_traiter = count($images); |
$imagesNouvelles = array(); |
foreach ($images as $image) { |
$nouvelle_image = $this->traiterLigneImage($image); |
$nouvelle_image = array_map(array($this, 'protegerSiNonNull'), $nouvelle_image); |
$requete .= '('.join(',', array_values($nouvelle_image)).'),'; |
$image = $this->traiterLigneImage($image); |
$image = array_map(array($this, 'protegerSiNonNull'), $image); |
$imagesNouvelles[] = '('.implode(',', array_values($image)).')'; |
} |
$requete = rtrim($requete, ','); |
$bdd = self::$bdd_cel_migration; |
$champs = implode(', ', array_keys($this->tableau_nouveau_ancien)); |
$values = implode(',', $imagesNouvelles); |
$requete = "INSERT INTO $bdd.cel_images ($champs) VALUES $values "; |
$migration_images = $this->executerRequeteSimple($requete); |
if (!$migration_images) { |
echo 'la migration des images '.$i.' à '.($i + $nb_images_a_traiter).' a échoué '."\n"; |
echo 'La migration des images '.$i.' à '.($i + count($images)).' a échoué '."\n"; |
file_put_contents('/home/jpm/requete.sql', $requete); |
} else { |
$this->afficherAvancement('Migration des images (par '.$pas.' )'); |
$this->script->afficherAvancement('Migration des images (par '.$pas.' )'); |
} |
} |
if (count($images) < $pas) { |
echo "\n---------------------------------------------------------------- OK\n\n"; |
echo "\n"; |
return; |
} |
} |
} |
/** |
* Utiliser cette méthode dans une boucle pour afficher un message suivi du nombre de tour de boucle effectué. |
* Vous devrez vous même gérer le retour à la ligne à la sortie de la boucle. |
* |
* @param string le message d'information. |
* @param int le nombre de départ à afficher. |
* @return void le message est affiché dans la console. |
*/ |
protected function afficherAvancement($message, $depart = 0) { |
if (! isset(self::$avancement[$message])) { |
self::$avancement[$message] = $depart; |
echo "$message : "; |
$actuel =& self::$avancement[$message]; |
echo $actuel++; |
} else { |
$actuel =& self::$avancement[$message]; |
// Cas du passage de 99 (= 2 caractères) à 100 (= 3 caractères) |
$passage = 0; |
if (strlen((string) ($actuel - 1)) < strlen((string) ($actuel))) { |
$passage = 1; |
} |
echo str_repeat(chr(8), (strlen((string) $actuel) - $passage)); |
echo $actuel++; |
} |
} |
private function ordonnerImages() { |
811,13 → 778,13 |
$this->executerRequeteSimple($requete); |
} |
public function executerRequeteSimple($requete) { |
private function executerRequeteSimple($requete) { |
// Fonction de commodité pour afficher les requetes au lieu de les executer |
if (self::dry_run) { |
echo str_replace('),','),'."\n", $requete)."\n"; |
return true; |
} else { |
return parent::executerRequeteSimple($requete); |
return $this->bdd->executer($requete); |
} |
} |
846,7 → 813,7 |
private function protegerSiNonNull($valeur) { |
if ($valeur != 'NULL') { |
$valeur = $this->proteger($valeur); |
$valeur = $this->bdd->proteger($valeur); |
} |
return $valeur; |
} |
874,9 → 841,9 |
return $retour; |
} |
public function mailValide($mail) { |
private function mailValide($mail) { |
// vérification bidon mais ça suffit pour ici |
return !(strpos('@',$mail) === false); |
return !(strpos($mail, '@') === false); |
} |
private function traiterPrenomUtilisateur($ligne_image) { |
1003,57 → 970,51 |
} |
private function migrerLiaisonsObsImages() { |
$debut = 0; |
$pas = 500; |
$liaisons_obs_inexistantes = 0; |
//Selectionner le nombre de liaisons |
$requeteNbImgObs = "SELECT COUNT(*) AS nb FROM cel_obs_images"; |
$resultatNbImgObs = $this->executerRequete($requeteNbImgObs); |
$fin = $resultatNbImgObs[0]['nb']; |
$fin = $this->bdd->requeter($requeteNbImgObs, Bdd::SQL_RETOUR_COLONNE); |
echo "Nbre de liaisons à migrer : $fin\n"; |
for ($i = $debut; $i <= $fin ; $i += $pas) { |
$requete = 'SELECT * FROM cel_obs_images LIMIT '.$i.','.$pas; |
$tableau_liaisons = $this->executerRequete($requete); |
for ($i = 0; $i <= $fin ; $i += $pas) { |
$requete = "SELECT * FROM cel_obs_images LIMIT $i,$pas "; |
$tableau_liaisons = $this->bdd->requeter($requete); |
if (is_array($tableau_liaisons)) { |
$requete = 'INSERT INTO '.self::$bdd_cel_migration.'.cel_obs_images '. |
'(id_image, id_observation, date_liaison) '. |
'VALUES '; |
$sous_requete = array(); |
foreach ($tableau_liaisons as &$liaison) { |
$liaisonsNouvelles = array(); |
foreach ($tableau_liaisons as $liaison) { |
$mail_utilisateur = $liaison['coi_ce_utilisateur']; |
$id_obs = $liaison['coi_ce_observation']; |
if (isset($this->tableau_observations[$mail_utilisateur][$id_obs])) { |
$id_obs = $this->tableau_observations[$mail_utilisateur][$id_obs]; |
$sous_requete[] = '('.$this->proteger($liaison['coi_ce_image']).','. |
$this->proteger($id_obs).','. |
$this->proteger($liaison['coi_date_liaison']). |
')'; |
$ordre_obs = $liaison['coi_ce_observation']; |
if (isset($this->tableau_observations[$mail_utilisateur][$ordre_obs])) { |
$id_obs = $this->bdd->proteger($this->tableau_observations[$mail_utilisateur][$ordre_obs]); |
$id_image = $this->bdd->proteger($liaison['coi_ce_image']); |
$date_liaison = $this->bdd->proteger($liaison['coi_date_liaison']); |
$liaisonsNouvelles[] = "($id_image, $id_obs, $date_liaison)"; |
} else { |
// cas d'une observation inexistante, la liaison est ignorée |
$liaisons_obs_inexistantes++; |
} |
} |
$sous_requete = implode(',', $sous_requete); |
$requete .= $sous_requete; |
$migration_liaison = $this->executerRequeteSimple($requete); |
} |
if (count($liaisonsNouvelles) != 0) { |
$sousRequete = implode(',', $liaisonsNouvelles); |
$requete = 'INSERT INTO '.self::$bdd_cel_migration.'.cel_obs_images '. |
'(id_image, id_observation, date_liaison) '. |
"VALUES $sousRequete "; |
$migration_liaison = $this->executerRequeteSimple($requete); |
if (!$migration_liaison) { |
echo 'La migration des liaisons obs images de '.$i.' à '.($i+$pas).' a échoué ! '."\n<br />"; |
} else { |
$this->afficherAvancement('Migration des liaisons obs images (par '.$pas.' )'); |
if (!$migration_liaison) { |
echo 'La migration des liaisons obs images de '.$i.' à '.($i+$pas).' a échoué ! '."\n<br />"; |
} else { |
$this->script->afficherAvancement('Migration des liaisons obs images (par '.$pas.' )'); |
} |
} |
} |
} |
echo "\n\n"; |
echo $liaisons_obs_inexistantes ? $liaisons_obs_inexistantes." liaisons image obs ont été ignorées car les obs sont absentes" : '' ; |
echo "\n"; |
echo "\n---------------------------------------------------------------- OK\n\n"; |
echo $liaisons_obs_inexistantes ? $liaisons_obs_inexistantes." liaisons image obs ont été ignorées car les obs sont absentes\n" : '' ; |
} |
private function mettreANullPrenomNomVide() { |
1061,11 → 1022,11 |
$requete = "UPDATE $bdd.cel_images ". |
'SET prenom_utilisateur = NULL '. |
"WHERE prenom_utilisateur = '' "; |
$this->executer($requete); |
$this->bdd->executer($requete); |
$requete = "UPDATE $bdd.cel_images ". |
'SET nom_utilisateur = NULL '. |
"WHERE nom_utilisateur = '' "; |
$this->executer($requete); |
'SET nom_utilisateur = NULL '. |
"WHERE nom_utilisateur = '' "; |
$this->bdd->executer($requete); |
} |
} |