Subversion Repositories eFlore/Applications.cel

Compare Revisions

Ignore whitespace Rev 1205 → Rev 1224

/trunk/jrest/scripts/InventoryMaintenance.php
File deleted
/trunk/jrest/scripts/MigrationMotsCles.php
2,22 → 2,25
// declare(encoding='UTF-8');
/**
* Script de migration des Mots Clés de la version 1 de la base de données du CEL à la v2.
* Utilisation : /opt/lampp/bin/php cli.php MigrationMotsCles
*
* @category php 5.2
* @package Cel/Scripts
* @author Aurélien PERONNET <aurelien@tela-botanica.org>
* @author Aurelien PERONNET <aurelien@tela-botanica.org>
* @author Jean-Pascal MILCENT <jpm@tela-botanica.org>
* @copyright Copyright (c) 2012, Tela Botanica (accueil@tela-botanica.org)
* @license http://www.cecill.info/licences/Licence_CeCILL_V2-fr.txt Licence CECILL
* @license http://www.gnu.org/licenses/gpl.html Licence GNU-GPL
* @version $Id$
* @license http://www.cecill.info/licences/Licence_CeCILL_V2-fr.txt Licence CECILL
* @license http://www.gnu.org/licenses/gpl.html Licence GNU-GPL
* @version $Id$
*/
class MigrationMotsCles extends Cel {
class MigrationMotsCles {
 
const SEPARATEUR_MOT_CLE_TEXTE = ',';
const truncate = true; //Doit on vider les tables de destination ?
const dry_run = false;
 
private $bdd = null;
private $script = null;
private $nouvellesTables = array('cel_mots_cles_obs', 'cel_mots_cles_images', 'cel_images_mots_cles', 'cel_obs_mots_cles');
public static $bdd_cel_migration;
public static $bdd_utilisateurs;
29,30 → 32,34
*/
private static $avancement = array();
 
/**
* Méthode appelée avec une requête de type GET.
*/
public function getElement($params) {
if (!isset($this->config['database_cel']['database_migration']) || $this->config['database_cel']['database_migration'] == '') {
public function __construct(Conteneur $conteneur) {
$bddMigration = $conteneur->getParametre('database_cel.database_migration');
if ($bddMigration == null || $bddMigration == '') {
echo 'Attention la variable de configuration database_migration dans la section database_cel, contenant la base de données d\'arrivée, doit être remplie '."\n";
exit;
}
 
if (!isset($this->config['database_ident']['database']) || $this->config['database_ident']['database'] == '') {
$bddIdentification = $conteneur->getParametre('database_ident.database');
if ($bddIdentification == null || $bddIdentification == '') {
echo 'Attention la variable de configuration database dans la section database_ident, contenant la base de données utilisateurs, doit être remplie '."\n";
exit;
}
 
self::$bdd_cel_migration = $this->config['database_cel']['database_migration'];
self::$bdd_utilisateurs = $this->config['database_ident']['database'];
self::$bdd_cel_migration = $conteneur->getParametre('database_cel.database_migration');
self::$bdd_utilisateurs = $conteneur->getParametre('database_ident.database');
$this->bdd = $conteneur->getBdd();
$this->script = $conteneur->getScript();
}
 
/**
* Méthode appelée pour executer le script.
*/
public function executer($params) {
echo "--MIGRATION DES MOTS CLES --------------------------------------\n";
if (self::truncate) {
echo "-------------------------------------------------------------------\n";
echo " ETAPE 0. Vider les tables ... \n\n";
echo " ETAPE 0. Vider les tables ... \n";
echo "-------------------------------------------------------------------\n";
$this->viderTables();
echo "---------------------------------------------------------------- OK\n";
}
 
echo "-------------------------------------------------------------------\n";
59,20 → 66,18
echo " ETAPE 1. Paramétrage ... \n";
echo "-------------------------------------------------------------------\n";
$this->getUtilisateurs();
echo "\n"."\n"."\n";
 
echo "-------------------------------------------------------------------\n";
echo " ETAPE 2. Migration des mots clés ... \n";
echo "-------------------------------------------------------------------\n";
$this->migrerTableMotsClesObs();
echo "\n---------------------------------------------------------------- OK\n";
$this->migrerTableMotsClesImages();
echo "\n"."\n"."\n";
 
echo "-------------------------------------------------------------------\n";
echo " ETAPE 3. Migration des liaisons mots clés ... \n";
echo "-------------------------------------------------------------------\n";
$this->migrerLiaisonsMotsClesObs();
$this->migrerLiaisonsMotsClesImages();
echo "\n"."\n"."\n";
 
echo "-------------------------------------------------------------------\n";
echo " ETAPE 4. Génération des index des mots clés ... \n";
80,7 → 85,6
$this->genererIndexTexteMotsClesObs();
$this->genererIndexTexteMotsClesImages();
$this->mettreANullMotsClesTxtVide();
echo "\n"."\n"."\n";
}
 
private function viderTables() {
87,18 → 91,18
foreach ($this->nouvellesTables as $nomTable) {
echo 'Vider la table '.$nomTable.'...';
$requete = 'TRUNCATE TABLE '.self::$bdd_cel_migration.'.'.$nomTable;
$resultat = $this->executerRequete($requete);
$resultat = $this->bdd->executer($requete);
echo "ok \n";
}
}
 
public function executerRequeteSimple($requete) {
private function executerRequeteSimple($requete) {
// Fonction de commodité pour afficher les requetes au lieu de les executer
if (self::dry_run) {
echo str_replace('),','),'."\n", $requete);
return true;
} else {
return parent::executerRequeteSimple($requete);
return $this->bdd->executer($requete);
}
 
}
105,19 → 109,17
 
 
private function getUtilisateurs() {
echo "\n-------------------------------------------------------------------\n";
echo "--SELECTION DES UTILISATEURS---------------------------------------\n\n";
echo "SELECTION DES UTILISATEURS\n";
 
$requete = 'SELECT U_ID as id, U_MAIL as mail, U_NAME as nom, U_SURNAME as prenom, U_PASSWD as pass '.
'FROM '.self::$bdd_utilisateurs.'.annuaire_tela';
$tableau_utilisateurs = $this->executerRequete($requete);
$tableau_utilisateurs = $this->bdd->requeter($requete);
 
foreach( $tableau_utilisateurs as &$utilisateur) {
$this->tableau_utilisateurs[$utilisateur['mail']] = $utilisateur;
}
 
echo sizeof($this->tableau_utilisateurs)." utilisateurs sélectionnés";
echo "\n-----------------------------------------------------------------OK\n";
echo count($this->tableau_utilisateurs)." utilisateurs sélectionnés \n";
}
 
private function migrerTableMotsClesObs() {
129,19 → 131,19
}
 
private function migrerTableMotsCles($image_ou_obs) {
echo "--MIGRATION DES MOTS CLES $image_ou_obs ---------------------------------\n";
echo "MIGRATION DES MOTS CLES $image_ou_obs\n";
$pas = 1;
 
//limite des mots clés
$requeteNbMotsCles = 'SELECT count(*) as nb FROM cel_mots_cles_'.$image_ou_obs;
$resultatNbMotsCles = $this->executerRequete($requeteNbMotsCles);
$nbMotsCles = (int) $resultatNbMotsCles[0]['nb'];
$nbMotsCles = (int) $this->bdd->requeter($requeteNbMotsCles, Bdd::SQL_RETOUR_COLONNE);
 
for ($i = 0; $i < $nbMotsCles; $i += $pas) {
$requete = 'SELECT * '.
'FROM cel_mots_cles_'.$image_ou_obs.' '.
'ORDER BY cmc_niveau '.
"LIMIT $i,$pas ";
$arbres_mots_cles = $this->executerRequete($requete);
$arbres_mots_cles = $this->bdd->requeter($requete);
 
if (count($arbres_mots_cles) > 0) {
$champ_parent = ($image_ou_obs == "obs") ? 'ce_mot_cle_obs_parent' : 'ce_mot_cle_image_parent';
161,53 → 163,25
if (!$migration) {
echo "La migration des mots cles $image_ou_obs a échoué ! "."\n";
} else {
$this->afficherAvancement("Migration des mots clés $image_ou_obs (par $pas)");
$this->script->afficherAvancement("Migration des mots clés $image_ou_obs (par $pas)");
}
}
}
echo "\n";
}
 
/**
* Utiliser cette méthode dans une boucle pour afficher un message suivi du nombre de tour de boucle effectué.
* Vous devrez vous même gérer le retour à la ligne à la sortie de la boucle.
*
* @param string le message d'information.
* @param int le nombre de départ à afficher.
* @return void le message est affiché dans la console.
*/
protected function afficherAvancement($message, $depart = 0) {
if (! isset(self::$avancement[$message])) {
self::$avancement[$message] = $depart;
echo "$message : ";
 
$actuel =& self::$avancement[$message];
echo $actuel++;
} else {
$actuel =& self::$avancement[$message];
 
// Cas du passage de 99 (= 2 caractères) à 100 (= 3 caractères)
$passage = 0;
if (strlen((string) ($actuel - 1)) < strlen((string) ($actuel))) {
$passage = 1;
}
 
echo str_repeat(chr(8), (strlen((string) $actuel) - $passage));
echo $actuel++;
}
}
 
private function construireSousRequeteInsertionArbresMotsCles($prefixe, $ligne) {
$id_proprietaire_mot_cle = $ligne[$prefixe.'id_proprietaire'];
$id_proprietaire_mot_cle = $this->renvoyerIdPourMigration($id_proprietaire_mot_cle);
 
$sous_requete = '('.$this->proteger($ligne[$prefixe.'id_mot_cle_utilisateur']).','.
$this->proteger($id_proprietaire_mot_cle).','.
$this->proteger($ligne[$prefixe.'mot_cle']).','.
$this->proteger($ligne[$prefixe.'id_mot_cle_general']).','.
$this->proteger($ligne[$prefixe.'bg']).','.
$this->proteger($ligne[$prefixe.'bd']).','.
$this->proteger($ligne[$prefixe.'niveau']).','.
$this->proteger($ligne[$prefixe.'id_parent']).
$sous_requete = '('.$this->bdd->proteger($ligne[$prefixe.'id_mot_cle_utilisateur']).','.
$this->bdd->proteger($id_proprietaire_mot_cle).','.
$this->bdd->proteger($ligne[$prefixe.'mot_cle']).','.
$this->bdd->proteger($ligne[$prefixe.'id_mot_cle_general']).','.
$this->bdd->proteger($ligne[$prefixe.'bg']).','.
$this->bdd->proteger($ligne[$prefixe.'bd']).','.
$this->bdd->proteger($ligne[$prefixe.'niveau']).','.
$this->bdd->proteger($ligne[$prefixe.'id_parent']).
')';
return $sous_requete;
}
229,9 → 203,9
return $retour;
}
 
public function mailValide($mail) {
private function mailValide($mail) {
// vérification bidon mais ça suffit pour ici
return !(strpos('@',$mail) === false);
return !(strpos($mail, '@') === false);
}
 
private function migrerLiaisonsMotsClesObs() {
242,7 → 216,7
' AND mots_cles != "null" '.
' AND mots_cles IS NOT NULL '.
'ORDER BY identifiant ';
$mots_cles_obs = $this->executerRequete($requete);
$mots_cles_obs = $this->bdd->requeter($requete);
 
$requete = 'INSERT INTO '.self::$bdd_cel_migration.'.cel_obs_mots_cles '.
'(id_observation, id_mot_cle_obs, id_utilisateur) '.
253,7 → 227,7
if (!$insertion) {
echo 'La migration des mots cles obs a échoué ! '."\n";
} else {
echo "Migration des mots cles obs : OK\n\n";
echo "Migration des mots cles obs : OK\n";
}
}
 
265,7 → 239,7
' AND ci_meta_mots_cles != "null" '.
' AND ci_meta_mots_cles IS NOT NULL '.
'ORDER BY ci_ce_utilisateur';
$mots_cles_images = $this->executerRequete($requete);
$mots_cles_images = $this->bdd->requeter($requete);
 
$requete = 'INSERT INTO '.self::$bdd_cel_migration.'.cel_images_mots_cles '.
'(id_image, id_mot_cle_image, id_utilisateur) '.
277,7 → 251,7
if (!$insertion) {
echo 'La migration des mots cles images a échoué ! '."\n";
} else {
echo "Migration des mots cles images : OK\n\n";
echo "Migration des mots cles images : OK\n";
}
}
 
286,9 → 260,9
foreach ($tableau_mots_cles as $element) {
$mots_cles_ids = $this->parserMotsCles($element['mots_cles'], $separateur);
foreach ($mots_cles_ids as $mot_cle_id) {
$id = $this->proteger($element['id']);
$id_mot_cle = $this->proteger($mot_cle_id);
$id_utilisateur = $this->proteger($this->renvoyerIdPourMigration($element['id_utilisateur']));
$id = $this->bdd->proteger($element['id']);
$id_mot_cle = $this->bdd->proteger($mot_cle_id);
$id_utilisateur = $this->bdd->proteger($this->renvoyerIdPourMigration($element['id_utilisateur']));
$sous_requete[] = "($id, $id_mot_cle, $id_utilisateur)";
}
}
335,7 → 309,7
private function genererIndexTexteMotsClesObs() {
$requete = 'SELECT DISTINCT id_observation, id_utilisateur '.
'FROM '.self::$bdd_cel_migration.'.cel_obs_mots_cles ';
$obs_a_mots_cles = $this->requeter($requete);
$obs_a_mots_cles = $this->bdd->requeter($requete);
 
foreach ($obs_a_mots_cles as $obs) {
$mots_cles_texte = $this->obtenirMotsClesTexte($obs['id_observation'], $obs['id_utilisateur'], 'obs');
342,16 → 316,16
if (is_array($mots_cles_texte) && count($mots_cles_texte) > 0) {
$mots_cles_texte_chaine = implode(',', $mots_cles_texte);
$mise_a_jour_index = $this->executerRequeteMiseAJourMotCleTexte($mots_cles_texte_chaine, $obs['id_observation'], $obs['id_utilisateur'], 'obs');
$this->afficherAvancement('Génération des index mots clés obs (par 1)');
$this->script->afficherAvancement('Génération des index mots clés obs (par 1)');
}
}
echo "\n-----------------------------------------------------------------OK\n";
echo "\n";
}
 
private function genererIndexTexteMotsClesImages() {
$requete = 'SELECT DISTINCT id_image, id_utilisateur '.
'FROM '.self::$bdd_cel_migration.'.cel_images_mots_cles ';
$images_a_mots_cles = $this->requeter($requete);
$images_a_mots_cles = $this->bdd->requeter($requete);
 
foreach ($images_a_mots_cles as $image) {
$mots_cles_texte = $this->obtenirMotsClesTexte($image['id_image'], $image['id_utilisateur'], 'images');
359,10 → 333,10
if (is_array($mots_cles_texte) && count($mots_cles_texte) > 0) {
$mots_cles_texte_chaine = implode(',', $mots_cles_texte);
$mise_a_jour_index = $this->executerRequeteMiseAJourMotCleTexte($mots_cles_texte_chaine, $image['id_image'], $image['id_utilisateur'], 'images');
$this->afficherAvancement('Génération des index mots clés images (par 1)');
$this->script->afficherAvancement('Génération des index mots clés images (par 1)');
}
}
echo "\n-----------------------------------------------------------------OK\n";
echo "\n";
}
 
private function obtenirMotsClesTexte($id_image_ou_obs, $id_utilisateur, $mode) {
369,8 → 343,8
$bdd = self::$bdd_cel_migration;
$champ_id_mot_cle = ($mode == 'obs') ? 'id_mot_cle_obs' : 'id_mot_cle_image';
$champ_id_obs_ou_img = ($mode == 'obs') ? 'id_observation' : 'id_image';
$id_image_ou_obs = $this->proteger($id_image_ou_obs);
$id_utilisateur = $this->proteger($id_utilisateur);
$id_image_ou_obs = $this->bdd->proteger($id_image_ou_obs);
$id_utilisateur = $this->bdd->proteger($id_utilisateur);
 
$requete = 'SELECT mot_cle '.
"FROM $bdd.cel_mots_cles_$mode AS a ".
378,7 → 352,7
" ON (a.$champ_id_mot_cle = b.$champ_id_mot_cle AND a.id_utilisateur = b.id_utilisateur) ".
"WHERE b.$champ_id_obs_ou_img = $id_image_ou_obs ".
" AND a.id_utilisateur = $id_utilisateur ";
$resultats = $this->requeter($requete);
$resultats = $this->bdd->requeter($requete);
 
$mots_cles = array();
foreach ($resultats as $resultat) {
392,16 → 366,16
$bdd = self::$bdd_cel_migration;
$table = ($mode_image_ou_obs == 'obs') ? 'cel_obs' : 'cel_images';
$chp_id_obs_ou_img = ($mode_image_ou_obs == 'obs') ? 'id_observation' : 'id_image';
$id_image_ou_obs = $this->proteger($id_image_ou_obs);
$mots_cles_texte = $this->proteger($mots_cles_texte_chaine);
$ce_utilisateur = $this->proteger($id_utilisateur);
$id_image_ou_obs = $this->bdd->proteger($id_image_ou_obs);
$mots_cles_texte = $this->bdd->proteger($mots_cles_texte_chaine);
$ce_utilisateur = $this->bdd->proteger($id_utilisateur);
 
$requete = "UPDATE $bdd.$table ".
"SET mots_cles_texte = $mots_cles_texte ".
"WHERE $chp_id_obs_ou_img = $id_image_ou_obs ".
" AND ce_utilisateur = $id_utilisateur ";
" AND ce_utilisateur = $ce_utilisateur ";
 
return $this->executer($requete);
return $this->bdd->executer($requete);
}
 
private function mettreANullMotsClesTxtVide() {
412,7 → 386,7
$requete = "UPDATE $bdd.$table ".
'SET mots_cles_texte = NULL '.
"WHERE mots_cles_texte = '' ";
$this->executer($requete);
$this->bdd->executer($requete);
}
}
}
/trunk/jrest/scripts/ImagesMaintenance.php
New file
0,0 → 1,120
<?php
// declare(encoding='UTF-8');
/**
* Réalise la maintenance des images.
* Action :
* - suppression_images_orphelines : supprime les images qui ne sont plus dans la bdd.
* Utilisation : /opt/lampp/bin/php cli.php ImagesMaintenance suppression_images_orphelines
*
* @category php 5.2
* @package Cel/Scripts
* @author Aurelien PERONNET <aurelien@tela-botanica.org>
* @author Jean-Pascal MILCENT <jpm@tela-botanica.org>
* @copyright Copyright (c) 2012, Tela Botanica (accueil@tela-botanica.org)
* @license http://www.cecill.info/licences/Licence_CeCILL_V2-fr.txt Licence CECILL
* @license http://www.gnu.org/licenses/gpl.html Licence GNU-GPL
* @version $Id$
*/
class ImagesMaintenance {
 
private $bdd = null;
private $script = null;
private $chemin_base_images = '';
private $nbFichiersSupprimes = 0;
private $espaceLibere = 0;
 
public function __construct(Conteneur $conteneur) {
$this->chemin_base_images = $conteneur->getParametre('cel.chemin_images');
$this->bdd = $conteneur->getBdd();
$this->script = $conteneur->getScript();
}
 
public function executer($arguments) {
if (isset($arguments[0]) == false) {
throw new Exception("Veuillez indiquer l'action à réaliser en paramètre.", E_USER_ERROR);
}
$action = $arguments[0];
switch ($action) {
case 'suppression_images_orphelines' :
$this->supprimerFichiersImagesOrphelins();
break;
}
}
 
private function supprimerFichiersImagesOrphelins() {
$profondeur = 1;
$this->itererRecursivement($this->chemin_base_images, $profondeur);
 
print "Suppression des images orphelines effectuées\n";
$fichiersSupprimes = $this->nbFichiersSupprimes;
print "Fichiers orphelins détectés et supprimés : $fichiersSupprimes\n";
$espaceLibere = $this->convertirOctets($this->espaceLibere);
print "Espace disque économisé : $espaceLibere \n";
}
 
private function itererRecursivement($dossier, $profondeur) {
$dossiersAIgnorer = array('export');
$iterateur = new DirectoryIterator($dossier);
foreach ($iterateur as $element) {
if ($element->isDot() || in_array($element->getBasename(), $dossiersAIgnorer)) {
continue;
}
 
$indentation = str_repeat("\t", ($profondeur - 1));
if ($element->isDir()) {
$profondeur_dossier_fils = $profondeur + 1;
print "$indentation Analyse dossier : {$element->getPathname()}\n";
$this->itererRecursivement($element->getPathname(), $profondeur_dossier_fils);
} else {
print "$indentation Vérif fichier : {$element->getBasename()}\n";
$existe = $this->verifierPresenceImageDansBdd($element);
if ($existe == false) {
$this->supprimerFichierImage($element);
}
}
}
}
 
private function verifierPresenceImageDansBdd($element) {
$existe = true;
$nom_fichier = $element->getFilename();
if (preg_match('/^([0-9]{3})_([0-9]{3})_([0-9]{3})_[^.]+[.](jpg|xml)$/', $nom_fichier, $match)) {
$id_image = $match[1].$match[2].$match[3];
$id_image = ltrim($id_image, '0');
 
$requete = 'SELECT COUNT(ci_id_image) AS image_existe '.
'FROM cel_images '.
"WHERE ci_id_image = $id_image ";
 
$imageExiste = $this->bdd->requeter($requete, Bdd::SQL_RETOUR_COLONNE);
if ($imageExiste < 1) {
print "Image $id_image introuvable dans la base de données\n";
$existe = false;
}
}
return $existe;
}
 
private function supprimerFichierImage($element) {
$fichier = $element->getPathname();
$fichierNom = $element->getBasename();
if (file_exists($fichier)) {
$this->espaceLibere += $element->getSize();
if (unlink($fichier) === false) {
throw new Exception("Problème lors de la suppression du fichier : $fichier \n", E_USER_ERROR);
} else {
$this->nbFichiersSupprimes++;
print "Suppression du fichier : $fichierNom\n";
}
} else {
throw new Exception("Problème le fichier n'existe pas : $fichier\n", E_USER_ERROR);
}
}
 
private function convertirOctets($taille) {
$units = array('B', 'KB', 'MB', 'GB', 'TB');
for ($i = 0; $taille >= 1024 && $i < 4; $i++) $taille /= 1024;
return round($taille, 2).' '.$units[$i];
}
}
?>
/trunk/jrest/scripts/ExtracteurMeta.php
2,21 → 2,24
// declare(encoding='UTF-8');
/**
* Script d'extration des métadonnées des images pour intégration dans la BDD v2.
* Utilisation : /opt/lampp/bin/php cli.php ExtracteurMeta
*
* @category php 5.2
* @package Cel/Scripts
* @author Aurelien PERONNET <aurelien@tela-botanica.org>
* @author Jean-Pascal MILCENT <jpm@tela-botanica.org>
* @copyright Copyright (c) 2012, Tela Botanica (accueil@tela-botanica.org)
* @license http://www.cecill.info/licences/Licence_CeCILL_V2-fr.txt Licence CECILL
* @license http://www.gnu.org/licenses/gpl.html Licence GNU-GPL
* @version $Id$
* @license http://www.cecill.info/licences/Licence_CeCILL_V2-fr.txt Licence CECILL
* @license http://www.gnu.org/licenses/gpl.html Licence GNU-GPL
* @version $Id$
*/
class ExtracteurMeta {
 
const DROIT = 0705;
 
public $config;
public $bdd;
private $chemin_images = '';
private $bdd = null;
private $script = null;
 
private $idImg = null;
private $metaComplet = null;
27,61 → 30,73
private $metaAutres = null;
 
 
public function __construct($config, Conteneur $conteneur = null) {
// Tableau contenant la config de Jrest
$this->config = $config;
 
$conteneur = is_null($conteneur) ? new Conteneur($this->config) : $conteneur;
public function __construct(Conteneur $conteneur) {
$this->chemin_images = $conteneur->getParametre('cel.chemin_images');
$this->bdd = $conteneur->getBdd();
$this->script = $conteneur->getScript();
}
 
public function executer($arguments) {
$this->idImg = $arguments[0];
echo "EXTRACTION des MÉTADONNÉES\n";
echo "EXTRACTION des MÉTADONNÉES\n";
echo "Vérification config : ".$this->verifierConfig()."\n";
 
$cheminImage = $this->obtenirCheminImageOriginale($this->idImg);
$cmd = "exiftool -X -file:comment $cheminImage";
$metaFile = $this->executerCommandeSysteme($cmd);
$images = $this->obtenirImagesEnBdd();
foreach ($images as $img) {
$this->idImg = $img['id_image'];
 
$remplacement = 'NON';
if ($this->neccessiterRemplacement($metaFile) === true) {
$remplacement = 'OUI';
$cheminImage = $this->obtenirCheminImageOriginale($this->idImg);
if (file_exists($cheminImage)) {clear
$cmd = "exiftool -X -file:comment $cheminImage";
$metaFile = $this->executerCommandeSysteme($cmd);
 
$cmd = "exiftool -X -D -U -b -c '%.6f' -d '%Y-%m-%d %H:%M:%S' -All $cheminImage";
$this->metaComplet = $this->executerCommandeSysteme($cmd);
if ($this->neccessiterRemplacement($metaFile) === true) {
//print "Remplacement : {$this->idImg} \n";
 
$cmd = "exiftool -X -D -c '%.6f' -d '%Y-%m-%d %H:%M:%S' -exif:all $cheminImage";
$this->exif = $this->executerCommandeSysteme($cmd);
$cmd = "exiftool -X -D -U -b -c '%.6f' -d '%Y-%m-%d %H:%M:%S' -All $cheminImage";
$this->metaComplet = $this->executerCommandeSysteme($cmd);
 
$cmd = "exiftool -X -D -c '%.6f' -d '%Y-%m-%d %H:%M:%S' -iptc:all $cheminImage";
$this->iptc = $this->executerCommandeSysteme($cmd);
$cmd = "exiftool -X -D -c '%.6f' -d '%Y-%m-%d %H:%M:%S' -exif:all $cheminImage";
$this->exif = $this->executerCommandeSysteme($cmd);
 
$cmd = "exiftool -X -D -c '%.6f' -d '%Y-%m-%d %H:%M:%S' -xmp:all $cheminImage";
$this->xmp = $this->executerCommandeSysteme($cmd);
$cmd = "exiftool -X -D -c '%.6f' -d '%Y-%m-%d %H:%M:%S' -iptc:all $cheminImage";
$this->iptc = $this->executerCommandeSysteme($cmd);
 
$cmd = "exiftool -X -D -c '%.6f' -d '%Y-%m-%d %H:%M:%S' -makernotes:all $cheminImage";
$this->makerNotes = $this->executerCommandeSysteme($cmd);
$cmd = "exiftool -X -D -c '%.6f' -d '%Y-%m-%d %H:%M:%S' -xmp:all $cheminImage";
$this->xmp = $this->executerCommandeSysteme($cmd);
 
$cmd = "exiftool -X -D -c '%.6f' -d '%Y-%m-%d %H:%M:%S' --exif:all --iptc:all --xmp:all --makernotes:all $cheminImage";
$this->metaAutres = $this->executerCommandeSysteme($cmd);
$cmd = "exiftool -X -D -c '%.6f' -d '%Y-%m-%d %H:%M:%S' -makernotes:all $cheminImage";
$this->makerNotes = $this->executerCommandeSysteme($cmd);
 
$this->ecrireFichierRdf();
$this->mettreAJourBdd();
$cmd = "exiftool -X -D -c '%.6f' -d '%Y-%m-%d %H:%M:%S' --exif:all --iptc:all --xmp:all --makernotes:all $cheminImage";
$this->metaAutres = $this->executerCommandeSysteme($cmd);
 
$this->ecrireFichierRdf();
$this->mettreAJourBdd();
}
} else {
//print "Fichier image '{$this->idImg}' introuvable\n";
}
$this->script->afficherAvancement("Analyse des images");
}
echo "Remplacement : $remplacement \n";
print "\n";
}
 
private function verifierConfig() {
if (empty($this->config['cel']['chemin_images'])) {
$message = "Vous devez indiquer le dossier contenant la hiérarchie des images dans le paramètre : ".
"[cel] chemin_images";
$code = (string) E_USER_ERROR;
throw new Exception($message);
}
return 'OK';
private function verifierConfig() {
if (empty($this->chemin_images)) {
$message = "Vous devez indiquer le dossier contenant la hiérarchie des images dans le paramètre : ".
"[cel] chemin_images";
$code = (string) E_USER_ERROR;
throw new Exception($message);
}
return 'OK';
}
 
private function obtenirImagesEnBdd() {
$requete = 'SELECT id_image FROM cel_images ';
$images = $this->bdd->requeter($requete);
return $images;
}
 
private function executerCommandeSysteme($commande) {
$handle = popen($commande, 'r');
$metaXml = '';
92,17 → 107,17
return $metaXml;
}
 
private function obtenirCheminImageRDF($id_image) {
return $this->obtenirCheminImage($id_image, 'RDF', 'xml');
private function obtenirCheminImageRDF() {
return $this->obtenirCheminImage('RDF', 'xml');
}
 
private function obtenirCheminImageOriginale($id_image) {
return $this->obtenirCheminImage($id_image, 'O');
private function obtenirCheminImageOriginale() {
return $this->obtenirCheminImage('O');
}
 
private function obtenirCheminImage($id_image, $format, $extension = 'jpg') {
$nom = $this->convertirIdBddVersNomFichier($id_image, $format, $extension);
$cheminDossier = $this->obtenirDossierPourFormat($id_image, $format);
private function obtenirCheminImage($format, $extension = 'jpg') {
$nom = $this->convertirIdBddVersNomFichier($format, $extension);
$cheminDossier = $this->obtenirDossierPourFormat($format);
if (file_exists($cheminDossier) === false) {
$this->creerDossier($cheminDossier);
}
109,22 → 124,19
return $cheminDossier.'/'.$nom;
}
 
private function convertirIdBddVersNomFichier($id, $format, $extension) {
$id_avec_zeros = sprintf('%09s', $id) ;
private function convertirIdBddVersNomFichier($format, $extension) {
$id_avec_zeros = sprintf('%09s', $this->idImg) ;
$id_avec_zeros_underscores = wordwrap($id_avec_zeros, 3 , '_', true) ;
$nom_fichier = $id_avec_zeros_underscores.'_'.$format.'.'.$extension;
return $nom_fichier;
}
 
private function obtenirDossierPourFormat($id, $format) {
$chemin_base = $this->config['cel']['chemin_images'];
$chemin_sur_serveur = $chemin_base;
 
$id = sprintf('%09s', $id);
private function obtenirDossierPourFormat($format) {
$id = sprintf('%09s', $this->idImg);
$id = wordwrap($id, 3 , '_', true);
list($dossierNiveau1, $dossierNiveau2) = explode('_', $id);
 
$chemin_sur_serveur_final = $chemin_sur_serveur.'/'.$dossierNiveau1.'/'.$dossierNiveau2.'/'.$format;
$chemin_sur_serveur_final = $this->chemin_images.'/'.$dossierNiveau1.'/'.$dossierNiveau2.'/'.$format;
return $chemin_sur_serveur_final;
}
 
/trunk/jrest/scripts/MigrationObs.php
2,23 → 2,26
// declare(encoding='UTF-8');
/**
* Script de migration des Observations de la version 1 de la base de données du CEL à la v2.
* Utilisation : /opt/lampp/bin/php cli.php MigrationObs
*
* @category php 5.2
* @package Cel/Scripts
* @author Aurélien PERONNET <aurelien@tela-botanica.org>
* @author Aurelien PERONNET <aurelien@tela-botanica.org>
* @author Jean-Pascal MILCENT <jpm@tela-botanica.org>
* @copyright Copyright (c) 2012, Tela Botanica (accueil@tela-botanica.org)
* @license http://www.cecill.info/licences/Licence_CeCILL_V2-fr.txt Licence CECILL
* @license http://www.gnu.org/licenses/gpl.html Licence GNU-GPL
* @version $Id$
* @license http://www.cecill.info/licences/Licence_CeCILL_V2-fr.txt Licence CECILL
* @license http://www.gnu.org/licenses/gpl.html Licence GNU-GPL
* @version $Id$
*/
class MigrationObs extends Cel {
class MigrationObs {
 
const truncate = true; //Doit on vider les tables de destination ?
const dry_run = false;
const PATTERN_LAT = '/^[+-]?(?:[1-9][0-9]|[0-9])(?:[.][0-9]+|)$/';
const PATTERN_LNG = '/^[+-]?(?:1[0-8][0-9]|[1-9][0-9]|[0-9])(?:[.][0-9]+|)$/';
 
 
private $bdd = null;
private $script = null;
public static $bdd_cel_migration;
public static $bdd_utilisateurs;
private $communesOubliees = array();
38,7 → 41,7
'ce_utilisateur' => 'traiterIdentifiantUtilisateur',
'prenom_utilisateur' => 'traiterPrenomUtilisateur',
'nom_utilisateur' => 'traiterNomUtilisateur',
'courriel_utilisateur' => 'identifiant',
'courriel_utilisateur' => 'traiterCourrielUtilisateur',
'nom_sel' => 'nom_sel',
'nom_sel_nn' => 'num_nom_sel',
'nom_ret' => 'nom_ret',
91,141 → 94,108
'coord_y' => 'longitude',
'ref_geo' => 'geodatum'
);
 
public function __construct(Conteneur $conteneur) {
$bddMigration = $conteneur->getParametre('database_cel.database_migration');
if ($bddMigration == null || $bddMigration == '') {
echo 'Attention la variable de configuration database_migration dans la section database_cel, contenant la base de données d\'arrivée, doit être remplie '."\n";
exit;
}
$bddIdentification = $conteneur->getParametre('database_ident.database');
if ($bddIdentification == null || $bddIdentification == '') {
echo 'Attention la variable de configuration database dans la section database_ident, contenant la base de données utilisateurs, doit être remplie '."\n";
exit;
}
 
self::$bdd_cel_migration = $conteneur->getParametre('database_cel.database_migration');
self::$bdd_utilisateurs = $conteneur->getParametre('database_ident.database');
 
$this->bdd = $conteneur->getBdd();
$this->script = $conteneur->getScript();
}
 
/**
* Méthode appelée avec une requête de type GET.
/**
* Méthode appelée pour executer le script.
*/
public function getElement($params) {
 
if(!isset($this->config['database_cel']['database_migration']) || $this->config['database_cel']['database_migration'] == '') {
echo 'Attention la variable de configuration database_migration dans la section database_cel, contenant la base de données d\'arrivée, doit être remplie '."\n";
exit;
}
 
if(!isset($this->config['database_ident']['database']) || $this->config['database_ident']['database'] == '') {
echo 'Attention la variable de configuration database dans la section database_ident, contenant la base de données utilisateurs, doit être remplie '."\n";
exit;
}
 
self::$bdd_cel_migration = $this->config['database_cel']['database_migration'];
self::$bdd_utilisateurs = $this->config['database_ident']['database'];
 
public function executer($params) {
echo "--MIGRATION DES OBSERVATIONS --------------------------------------\n";
//1. TEMPORAIRE : vider les tables de destinations
if (self::truncate) {
echo "-------------------------------------------------------------------\n\n";
echo " ETAPE 0. Vider les tables ... \n\n";
echo "-------------------------------------------------------------------\n\n";
echo "-------------------------------------------------------------------\n";
echo " ETAPE 0. Vider les tables ... \n";
echo "-------------------------------------------------------------------\n";
$nouvellesTables = array('cel_obs', 'cel_utilisateurs_infos', 'cel_zones_geo');
foreach ($nouvellesTables as $nomTable) {
echo 'Vider la table '.$nomTable.'...';
$requeteTruncate = 'TRUNCATE TABLE '.self::$bdd_cel_migration.'.'.$nomTable;
$resultatTruncate = $this->executerRequete($requeteTruncate);
$resultatTruncate = $this->bdd->executer($requeteTruncate);
echo "ok \n";
}
 
echo "\n---------------------------------------------------------------- OK\n\n";
}
 
echo "-------------------------------------------------------------------\n\n";
echo " ETAPE 1. Paramétrage ... \n\n";
echo "-------------------------------------------------------------------\n\n";
echo "-------------------------------------------------------------------\n";
echo " ETAPE 1. Paramétrage ... \n";
echo "-------------------------------------------------------------------\n";
$this->getUtilisateurs();
$this->getMotsCles();
 
echo "-------------------------------------------------------------------\n\n";
echo " ETAPE 2. Migration des utilisateurs ... \n\n";
echo "-------------------------------------------------------------------\n\n";
echo "-------------------------------------------------------------------\n";
echo " ETAPE 2. Migration des utilisateurs ... \n";
echo "-------------------------------------------------------------------\n";
$this->migrerUtilisateurs();
 
 
echo "-------------------------------------------------------------------\n\n";
echo " ETAPE 3. Migration des zone géographiques ... \n\n";
echo "-------------------------------------------------------------------\n\n";
echo "-------------------------------------------------------------------\n";
echo " ETAPE 3. Migration des zone géographiques ... \n";
echo "-------------------------------------------------------------------\n";
$this->migrerZonesGeo();
 
echo "-------------------------------------------------------------------\n\n";
echo " ETAPE 4. Migration des observations ... \n\n";
echo "-------------------------------------------------------------------\n\n";
echo "-------------------------------------------------------------------\n";
echo " ETAPE 4. Migration des observations ... \n";
echo "-------------------------------------------------------------------\n";
$this->migrerObs();
$this->mettreANullPrenomNomVide();
$this->ordonnerObs();
echo "\n"."\n"."\n";
$this->ordonnerObs();
}
 
public function executerRequeteSimple($requete) {
private function executerRequeteSimple($requete) {
// Fonction de commodité pour afficher les requetes au lieu de les executer
if (self::dry_run) {
echo str_replace('),','),'."\n", $requete);
return true;
} else {
return parent::executerRequeteSimple($requete);
return $this->bdd->executer($requete);
}
}
 
private function getUtilisateurs() {
echo "\n-------------------------------------------------------------------\n";
echo "--SELECTION DES UTILISATEURS---------------------------------------\n\n";
echo "SELECTION DES UTILISATEURS\n";
 
$requete = 'SELECT DISTINCT u_id AS id, u_mail AS mail, u_name AS nom, u_surname AS prenom, u_passwd AS pass '.
'FROM cel_inventory INNER JOIN '.self::$bdd_utilisateurs.'.annuaire_tela ON (u_mail = identifiant) ';
$tableau_utilisateurs = $this->executerRequete($requete);
$tableau_utilisateurs = $this->bdd->requeter($requete);
 
foreach( $tableau_utilisateurs as &$utilisateur) {
$this->tableau_utilisateurs[$utilisateur['mail']] = $utilisateur;
}
 
echo sizeof($this->tableau_utilisateurs)." utilisateurs sélectionnés";
echo "\n-----------------------------------------------------------------OK\n";
echo sizeof($this->tableau_utilisateurs)." utilisateurs sélectionnés\n";
}
 
private function getMotsCles() {
echo "\n-------------------------------------------------------------------\n";
echo "--SELECTION DES MOTS-CLES -----------------------------------------\n\n";
echo "SELECTION DES MOTS-CLES \n";
 
$requete = 'SELECT cmc_id_proprietaire as id_utilisateur, cmc_id_mot_cle_utilisateur as id_mot_cle, '.
'cmc_mot_cle as mot_cle '.
'FROM cel_mots_cles_obs ';
$tableau_mots_cles = $this->executerRequete($requete);
$tableau_mots_cles = $this->bdd->requeter($requete);
 
foreach( $tableau_mots_cles as &$mot_cle) {
$this->tableau_mots_cles[$mot_cle['id_utilisateur']][$mot_cle['id_mot_cle']] = $mot_cle;
}
 
echo sizeof($this->tableau_mots_cles)." mots-clés sélectionnés";
echo "\n-----------------------------------------------------------------OK\n";
 
echo sizeof($this->tableau_mots_cles)." mots-clés sélectionnés\n";
}
 
/**
* Utiliser cette méthode dans une boucle pour afficher un message suivi du nombre de tour de boucle effectué.
* Vous devrez vous même gérer le retour à la ligne à la sortie de la boucle.
*
* @param string le message d'information.
* @param int le nombre de départ à afficher.
* @return void le message est affiché dans la console.
*/
protected function afficherAvancement($message, $depart = 0) {
if (! isset(self::$avancement[$message])) {
self::$avancement[$message] = $depart;
echo "$message : ";
 
$actuel =& self::$avancement[$message];
echo $actuel++;
} else {
$actuel =& self::$avancement[$message];
 
// Cas du passage de 99 (= 2 caractères) à 100 (= 3 caractères)
$passage = 0;
if (strlen((string) ($actuel - 1)) < strlen((string) ($actuel))) {
$passage = 1;
}
 
echo str_repeat(chr(8), (strlen((string) $actuel) - $passage));
echo $actuel++;
}
}
 
private function migrerUtilisateurs() {
$requete = 'INSERT INTO '.self::$bdd_cel_migration.'.cel_utilisateurs_infos '.
'(id_utilisateur) '.
233,7 → 203,7
 
$sous_requete = array();
foreach ($this->tableau_utilisateurs as $id => &$utilisateur) {
$sous_requete[] = '('.$this->proteger($utilisateur['id']).')';
$sous_requete[] = '('.$this->bdd->proteger($utilisateur['id']).')';
}
$requete .= implode(',', $sous_requete);
 
244,18 → 214,16
} else {
exit('Erreur lors de la migration des utilisateurs '."\n");
}
echo "\n---------------------------------------------------------------- OK\n\n";
 
echo "\n";
}
 
private function migrerZonesGeo() {
 
$pas = 5000;
 
//SELECTIONNER LE NOMBRE DE ZONE GEO
$requete_nombreZonesGeo = 'SELECT count(*) as nb FROM locations';
$resultatNbZonesGeo = $this->executerRequete($requete_nombreZonesGeo);
$nbZones = (int) $resultatNbZonesGeo[0]['nb'];
$resultatNbZonesGeo = $this->bdd->requeter($requete_nombreZonesGeo, Bdd::SQL_RETOUR_COLONNE);
$nbZones = (int) $resultatNbZonesGeo;
 
$nbTotal = 0;
for($i = 0; $i <= $nbZones ; $i += $pas) {
262,7 → 230,7
 
$requete_selection_zones_geo = 'SELECT * FROM locations LIMIT '.$i.', '.$pas;
 
$zones_geo = $this->executerRequete($requete_selection_zones_geo);
$zones_geo = $this->bdd->requeter($requete_selection_zones_geo);
 
$requete_insertion_nouvelles_zones_geo = 'INSERT INTO '.self::$bdd_cel_migration.'.cel_zones_geo '.
'(id_zone_geo, code, nom, utm_secteur, utm_x, utm_y, wgs84_latitude, wgs84_longitude, date_modification) '.
279,16 → 247,16
$indice_tableau_localites = $this->construireIndiceTableauLocalites($zone_geo['name'], $zone_geo['insee_code']);
$this->tableau_zones_geo[$indice_tableau_localites] = $zone_geo;
 
$sous_requete_insertion_valeurs .= '('.$this->proteger($zone_geo['nouveau_code_geo']).','.
$this->proteger($zone_geo['insee_code']).','.
$this->proteger($zone_geo['name']).','.
$this->proteger($zone_geo['sector']).','.
$this->proteger($zone_geo['x_utm']).','.
$this->proteger($zone_geo['y_utm']).','.
$this->proteger($lat_long['lat']).','.
$this->proteger($lat_long['long']).','.
$this->proteger($zone_geo['update_date']).
'),';
$sous_requete_insertion_valeurs .= '('.$this->bdd->proteger($zone_geo['nouveau_code_geo']).','.
$this->bdd->proteger($zone_geo['insee_code']).','.
$this->bdd->proteger($zone_geo['name']).','.
$this->bdd->proteger($zone_geo['sector']).','.
$this->bdd->proteger($zone_geo['x_utm']).','.
$this->bdd->proteger($zone_geo['y_utm']).','.
$this->bdd->proteger($lat_long['lat']).','.
$this->bdd->proteger($lat_long['long']).','.
$this->bdd->proteger($zone_geo['update_date']).
'),';
}
 
$sous_requete_insertion_valeurs = rtrim($sous_requete_insertion_valeurs,',');
303,12 → 271,12
 
if ($migration_zones_geo) {
$nbTotal ++;
$this->afficherAvancement('Migration des zones (par '.$pas.')', $nbTotal);
$this->script->afficherAvancement('Migration des zones (par '.$pas.')', $nbTotal);
} else {
exit('Erreur lors de la migration des zones géo '.$i.' à '.($i+$pas)."\n");
}
}
echo "\n---------------------------------------------------------------- OK\n\n";
echo "\n";
}
 
private function convertirUtmVersLatLong($x, $y, $sector) {
330,13 → 298,14
 
//Selectionner le nombre d'observations
$requeteNbObs = "SELECT COUNT(*) as nb FROM cel_inventory";
$resultatNbObs = $this->executerRequete($requeteNbObs);
$fin = $resultatNbObs[0]['nb'];
$fin = $this->bdd->requeter($requeteNbObs, Bdd::SQL_RETOUR_COLONNE);
 
for ($i = $debut; $i < $fin ; $i += $pas) {
$requete_selection_obs = 'SELECT * FROM cel_inventory '.
'ORDER BY identifiant LIMIT '.$i.','.$pas;
$observations = $this->requeter($requete_selection_obs);
$requete_selection_obs = 'SELECT * '.
'FROM cel_inventory '.
'ORDER BY identifiant '.
'LIMIT '.$i.','.$pas;
$observations = $this->bdd->requeter($requete_selection_obs);
 
$requete_insertion_observations = 'INSERT IGNORE INTO '.self::$bdd_cel_migration.'.cel_obs (';
 
359,21 → 328,21
 
$migration_observations = $this->executerRequeteSimple($requete_insertion_observations);
} else {
echo 'Fin de migration des observations '."\n"."\n";
echo "Fin de migration des observations\n";
return;
}
 
if ($migration_observations) {
$nbTotal ++;
$this->afficherAvancement('Migration des observations (par '.$pas.')', $nbTotal);
$this->script->afficherAvancement('Migration des observations (par '.$pas.')', $nbTotal);
} else {
exit('Erreur lors de la migration des observation de '.$i.' à '.($i+$pas)."\n");
}
}
}
echo "\n";
if (sizeof($this->communesOubliees) > 0) {
echo "\nxxxxxxxxx communes oubliées : ".sizeof($this->communesOubliees)." xxxxxxxxx \\n";
echo "xxxxxxxxx Communes ignorées : ".sizeof($this->communesOubliees)." xxxxxxxxx \n";
}
echo "\n---------------------------------------------------------------- OK\n\n";
}
 
private function ordonnerObs() {
407,7 → 376,7
 
private function protegerSiNonNull($valeur) {
if ($valeur != 'NULL') {
$valeur = $this->proteger($valeur);
$valeur = $this->bdd->proteger($valeur);
}
return $valeur;
}
425,11 → 394,11
}
 
private function traiterLat(&$observation) {
if ($this->etreNull($observation['coord_x'])) {
if ($this->bdd->etreNull($observation['coord_x'])) {
$observation['coord_x'] = 'NULL';
} else if (preg_match(self::PATTERN_LAT, $observation['coord_x']) == false) {
$latNote = 'Latitude éronnée : '.$observation['coord_x'];
if ($this->etreNull($observation['commentaire'])) {
if ($this->bdd->etreNull($observation['commentaire'])) {
$observation['commentaire'] = $latNote;
} else {
$observation['commentaire'] .= "\n".$latNote;
441,11 → 410,11
}
 
private function traiterLng(&$observation) {
if ($this->etreNull($observation['coord_y'])) {
if ($this->bdd->etreNull($observation['coord_y'])) {
$observation['coord_y'] = 'NULL';
} else if (preg_match(self::PATTERN_LNG, $observation['coord_y']) == false) {
$lngNote = 'Longitude éronnée : '.$observation['coord_y'];
if ($this->etreNull($observation['commentaire'])) {
if ($this->bdd->etreNull($observation['commentaire'])) {
$observation['commentaire'] = $lngNote;
} else {
$observation['commentaire'] .= "\n".$lngNote;
534,7 → 503,7
private function traiterNomUtilisateur($ligne_observation) {
$mail_observation = $ligne_observation['identifiant'];
 
$retour = '';
$retour = 'NULL';
if (isset($this->tableau_utilisateurs[$mail_observation])) {
$nom = $this->tableau_utilisateurs[$mail_observation]['nom'];
$retour = self::formaterMotEnMajuscule($nom);
541,6 → 510,17
}
return $retour;
}
 
private function traiterCourrielUtilisateur($observation) {
$courriel = $observation['identifiant'];
 
$retour = 'NULL';
if ($this->mailValide($courriel)) {
$retour = $courriel;
}
return $retour;
}
 
 
public static function formaterMotPremiereLettreChaqueMotEnMajuscule($chaine, $encodage= 'UTF-8') {
$chaine = str_replace('-', ' - ', $chaine);
609,7 → 589,7
$nom = str_replace(' ','_',$nom);
$nom = str_replace('-','_',$nom);
$nom = str_replace(' ','_',$nom);
$indice = strtolower($nom).substr($id,0,2);
$indice = strtolower($nom).substr($id, 0, 2);
 
return $indice;
}
626,13 → 606,15
if ($this->mailValide($utilisateur)) {
$retour = md5($utilisateur);
}
} else if ($utilisateur == '') {
$retour = 'NULL';
}
return $retour;
}
 
public function mailValide($mail) {
private function mailValide($mail) {
// vérification bidon mais ça suffit pour ici
return !(strpos('@', $mail) === false);
return !(strpos($mail, '@') === false);
}
 
private function mettreANullPrenomNomVide() {
640,11 → 622,11
$requete = "UPDATE $bdd.cel_obs ".
'SET prenom_utilisateur = NULL '.
"WHERE prenom_utilisateur = '' ";
$this->executer($requete);
$this->bdd->executer($requete);
 
$requete = "UPDATE $bdd.cel_obs ".
'SET nom_utilisateur = NULL '.
"WHERE nom_utilisateur = '' ";
$this->executer($requete);
$this->bdd->executer($requete);
}
}
/trunk/jrest/scripts/MigrationImages.php
2,17 → 2,18
// declare(encoding='UTF-8');
/**
* Script de migration des Images de la version 1 de la base de données du CEL à la v2.
* Utilisation : /opt/lampp/bin/php cli.php MigrationImages
*
* @category php 5.2
* @package Cel/Scripts
* @author Aurélien PERONNET <aurelien@tela-botanica.org>
* @author Aurelien PERONNET <aurelien@tela-botanica.org>
* @author Jean-Pascal MILCENT <jpm@tela-botanica.org>
* @copyright Copyright (c) 2012, Tela Botanica (accueil@tela-botanica.org)
* @license http://www.cecill.info/licences/Licence_CeCILL_V2-fr.txt Licence CECILL
* @license http://www.gnu.org/licenses/gpl.html Licence GNU-GPL
* @version $Id$
* @license http://www.cecill.info/licences/Licence_CeCILL_V2-fr.txt Licence CECILL
* @license http://www.gnu.org/licenses/gpl.html Licence GNU-GPL
* @version $Id$
*/
class MigrationImages extends Cel {
class MigrationImages {
 
const dry_run = false;
const truncate = true; //Doit on vider les tables de destination ?
19,6 → 20,8
const separateur_champs_metadonnees = ';';
const separateur_valeurs_metadonnees = ':';
 
private $bdd = null;
private $script = null;
public static $bdd_cel_migration;
public static $bdd_utilisateurs;
private $cle_id_metadonnees = array();
640,170 → 643,134
'2#255' => array('id' => '255', 'tag' => 'CatalogSets', 'categorie' => 'ApplicationRecord')
);
 
/**
* Méthode appelée avec une requête de type GET.
*/
public function getElement($params) {
if (!isset($this->config['database_cel']['database_migration']) || $this->config['database_cel']['database_migration'] == '') {
public function __construct(Conteneur $conteneur) {
$bddMigration = $conteneur->getParametre('database_cel.database_migration');
if ($bddMigration == null || $bddMigration == '') {
echo 'Attention la variable de configuration database_migration dans la section database_cel, contenant la base de données d\'arrivée, doit être remplie '."\n";
exit;
}
if (!isset($this->config['database_ident']['database']) || $this->config['database_ident']['database'] == '') {
$bddIdentification = $conteneur->getParametre('database_ident.database');
if ($bddIdentification == null || $bddIdentification == '') {
echo 'Attention la variable de configuration database dans la section database_ident, contenant la base de données utilisateurs, doit être remplie '."\n";
exit;
}
}
 
self::$bdd_cel_migration = $conteneur->getParametre('database_cel.database_migration');
self::$bdd_utilisateurs = $conteneur->getParametre('database_ident.database');
 
$this->bdd = $conteneur->getBdd();
$this->script = $conteneur->getScript();
 
self::$bdd_cel_migration = $this->config['database_cel']['database_migration'];
self::$bdd_utilisateurs = $this->config['database_ident']['database'];
 
$this->cle_id_metadonnees = array_merge($this->ids_tags_exif, $this->ids_tags_iptc);
 
$this->cle_id_metadonnees = array_merge($this->ids_tags_exif, $this->ids_tags_iptc);
}
 
/**
* Méthode appelée pour executer le script.
*/
public function executer($params) {
echo "--MIGRATION DES IMAGES --------------------------------------\n";
//1. TEMPORAIRE : vider les tables de destinations
if (self::truncate) {
echo "-------------------------------------------------------------------\n\n";
echo " ETAPE 0. Vider les tables ... \n\n";
echo "-------------------------------------------------------------------\n\n";
echo "-------------------------------------------------------------------\n";
echo " ETAPE 0. Vider les tables ... \n";
echo "-------------------------------------------------------------------\n";
$nouvellesTables = array('cel_images', 'cel_obs_images');
foreach ($nouvellesTables as $nomTable) {
echo 'Vider la table '.$nomTable.'...';
$requeteTruncate = 'TRUNCATE TABLE '.self::$bdd_cel_migration.'.'.$nomTable;
$resultatTruncate = $this->executerRequete($requeteTruncate);
$resultatTruncate = $this->bdd->executer($requeteTruncate);
echo "ok \n";
}
 
echo "\n---------------------------------------------------------------- OK\n\n";
}
 
echo "-------------------------------------------------------------------\n\n";
echo " ETAPE 1. Paramétrage ... \n\n";
echo "-------------------------------------------------------------------\n\n";
echo "-------------------------------------------------------------------\n";
echo " ETAPE 1. Paramétrage ... \n";
echo "-------------------------------------------------------------------\n";
$this->getUtilisateurs();
$this->getObservations();
 
echo "-------------------------------------------------------------------\n\n";
echo " ETAPE 2. Migration des images ... \n\n";
echo "-------------------------------------------------------------------\n\n";
echo "-------------------------------------------------------------------\n";
echo " ETAPE 2. Migration des images ... \n";
echo "-------------------------------------------------------------------\n";
$this->migrerImages();
$this->mettreANullPrenomNomVide();
$this->ordonnerImages();
echo "\n"."\n"."\n";
 
echo "-------------------------------------------------------------------\n\n";
echo " ETAPE 3. migration des liaisons obs images ... \n\n";
echo "-------------------------------------------------------------------\n\n";
echo "-------------------------------------------------------------------\n";
echo " ETAPE 3. migration des liaisons obs images ... \n";
echo "-------------------------------------------------------------------\n";
$this->migrerLiaisonsObsImages();
echo "\n"."\n"."\n";
}
 
private function getUtilisateurs() {
echo "\n-------------------------------------------------------------------\n";
echo "--SELECTION DES UTILISATEURS---------------------------------------\n\n";
echo "SELECTION DES UTILISATEURS\n";
 
$requete = 'SELECT U_ID as id, U_MAIL as mail, U_NAME as nom, U_SURNAME as prenom, U_PASSWD as pass '.
'FROM '.self::$bdd_utilisateurs.'.annuaire_tela';
$tableau_utilisateurs = $this->executerRequete($requete);
$tableau_utilisateurs = $this->bdd->requeter($requete);
 
foreach ($tableau_utilisateurs as &$utilisateur) {
$this->tableau_utilisateurs[$utilisateur['mail']] = $utilisateur;
}
 
echo sizeof($this->tableau_utilisateurs)." utilisateurs sélectionnés";
echo "\n-----------------------------------------------------------------OK\n";
echo sizeof($this->tableau_utilisateurs)." utilisateurs sélectionnés\n";
}
 
private function getObservations() {
$pas = 5000;
$nObs = 'SELECT COUNT(*) AS nb FROM cel_inventory';
$resultatNbObs = $this->executerRequete($nObs);
$nbObs = $resultatNbObs[0]['nb'];
$resultatNbObs = $this->bdd->requeter($nObs, Bdd::SQL_RETOUR_COLONNE);
$nbObs = $resultatNbObs;
$maxLimite = $nbObs + $pas;
 
for ($i = 0; $i < $maxLimite; $i += $pas ) {
$requete_selection_observations = 'SELECT id, ordre, identifiant FROM cel_inventory LIMIT '.$i.", $pas";
$tableau_observations = $this->executerRequete($requete_selection_observations);
$requete_selection_observations = "SELECT id, ordre, identifiant FROM cel_inventory LIMIT $i,$pas ";
$tableau_observations = $this->bdd->requeter($requete_selection_observations);
foreach ($tableau_observations as &$obs) {
$this->tableau_observations[$obs['identifiant']][$obs['ordre']] = $obs['id'];
}
$this->afficherAvancement('Selection des observations (par '.$pas.' )');
$this->script->afficherAvancement('Selection des observations (par '.$pas.' )');
}
echo "\n\n";
echo "\n";
}
 
private function migrerImages() {
$debut = 0;
$pas = 100;
 
//Selectionner le nombre d'images
$requeteNbImg = "SELECT COUNT(*) as nb FROM cel_images";
$resultatNbImg = $this->executerRequete($requeteNbImg);
$fin = $resultatNbImg[0]['nb'];
$fin = $this->bdd->requeter($requeteNbImg, BDD::SQL_RETOUR_COLONNE);
$maxLimite = $fin + $pas;
 
for ($i = $debut; $i <= $maxLimite ; $i += $pas) {
$requete = 'SELECT * '.
'FROM cel_images '.
'ORDER BY ci_id_image ASC LIMIT '.$i.','.$pas;
 
$images = @$this->requeter($requete);
$requete = 'INSERT INTO '.self::$bdd_cel_migration.'.cel_images (';
foreach ($this->tableau_nouveau_ancien as $nouveau_champ => $ancien_champ) {
$requete .= $nouveau_champ.',';
}
$requete = rtrim($requete, ',').') VALUES ';
 
for ($i = 0; $i <= $maxLimite ; $i += $pas) {
$requete = "SELECT * FROM cel_images ORDER BY ci_id_image ASC LIMIT $i,$pas ";
$images = $this->bdd->requeter($requete);
if (is_array($images)) {
$nb_images_a_traiter = count($images);
$imagesNouvelles = array();
foreach ($images as $image) {
$nouvelle_image = $this->traiterLigneImage($image);
$nouvelle_image = array_map(array($this, 'protegerSiNonNull'), $nouvelle_image);
$requete .= '('.join(',', array_values($nouvelle_image)).'),';
$image = $this->traiterLigneImage($image);
$image = array_map(array($this, 'protegerSiNonNull'), $image);
$imagesNouvelles[] = '('.implode(',', array_values($image)).')';
}
 
$requete = rtrim($requete, ',');
$bdd = self::$bdd_cel_migration;
$champs = implode(', ', array_keys($this->tableau_nouveau_ancien));
$values = implode(',', $imagesNouvelles);
$requete = "INSERT INTO $bdd.cel_images ($champs) VALUES $values ";
$migration_images = $this->executerRequeteSimple($requete);
 
if (!$migration_images) {
echo 'la migration des images '.$i.' à '.($i + $nb_images_a_traiter).' a échoué '."\n";
echo 'La migration des images '.$i.' à '.($i + count($images)).' a échoué '."\n";
file_put_contents('/home/jpm/requete.sql', $requete);
} else {
$this->afficherAvancement('Migration des images (par '.$pas.' )');
$this->script->afficherAvancement('Migration des images (par '.$pas.' )');
}
}
 
if (count($images) < $pas) {
echo "\n---------------------------------------------------------------- OK\n\n";
echo "\n";
return;
}
}
}
 
/**
* Utiliser cette méthode dans une boucle pour afficher un message suivi du nombre de tour de boucle effectué.
* Vous devrez vous même gérer le retour à la ligne à la sortie de la boucle.
*
* @param string le message d'information.
* @param int le nombre de départ à afficher.
* @return void le message est affiché dans la console.
*/
protected function afficherAvancement($message, $depart = 0) {
if (! isset(self::$avancement[$message])) {
self::$avancement[$message] = $depart;
echo "$message : ";
 
$actuel =& self::$avancement[$message];
echo $actuel++;
} else {
$actuel =& self::$avancement[$message];
 
// Cas du passage de 99 (= 2 caractères) à 100 (= 3 caractères)
$passage = 0;
if (strlen((string) ($actuel - 1)) < strlen((string) ($actuel))) {
$passage = 1;
}
echo str_repeat(chr(8), (strlen((string) $actuel) - $passage));
echo $actuel++;
}
}
 
private function ordonnerImages() {
811,13 → 778,13
$this->executerRequeteSimple($requete);
}
 
public function executerRequeteSimple($requete) {
private function executerRequeteSimple($requete) {
// Fonction de commodité pour afficher les requetes au lieu de les executer
if (self::dry_run) {
echo str_replace('),','),'."\n", $requete)."\n";
return true;
} else {
return parent::executerRequeteSimple($requete);
return $this->bdd->executer($requete);
}
}
 
846,7 → 813,7
 
private function protegerSiNonNull($valeur) {
if ($valeur != 'NULL') {
$valeur = $this->proteger($valeur);
$valeur = $this->bdd->proteger($valeur);
}
return $valeur;
}
874,9 → 841,9
return $retour;
}
 
public function mailValide($mail) {
private function mailValide($mail) {
// vérification bidon mais ça suffit pour ici
return !(strpos('@',$mail) === false);
return !(strpos($mail, '@') === false);
}
 
private function traiterPrenomUtilisateur($ligne_image) {
1003,57 → 970,51
}
 
private function migrerLiaisonsObsImages() {
$debut = 0;
$pas = 500;
 
$liaisons_obs_inexistantes = 0;
 
//Selectionner le nombre de liaisons
$requeteNbImgObs = "SELECT COUNT(*) AS nb FROM cel_obs_images";
$resultatNbImgObs = $this->executerRequete($requeteNbImgObs);
$fin = $resultatNbImgObs[0]['nb'];
$fin = $this->bdd->requeter($requeteNbImgObs, Bdd::SQL_RETOUR_COLONNE);
echo "Nbre de liaisons à migrer : $fin\n";
 
for ($i = $debut; $i <= $fin ; $i += $pas) {
$requete = 'SELECT * FROM cel_obs_images LIMIT '.$i.','.$pas;
$tableau_liaisons = $this->executerRequete($requete);
for ($i = 0; $i <= $fin ; $i += $pas) {
$requete = "SELECT * FROM cel_obs_images LIMIT $i,$pas ";
$tableau_liaisons = $this->bdd->requeter($requete);
 
if (is_array($tableau_liaisons)) {
$requete = 'INSERT INTO '.self::$bdd_cel_migration.'.cel_obs_images '.
'(id_image, id_observation, date_liaison) '.
'VALUES ';
 
$sous_requete = array();
foreach ($tableau_liaisons as &$liaison) {
$liaisonsNouvelles = array();
foreach ($tableau_liaisons as $liaison) {
$mail_utilisateur = $liaison['coi_ce_utilisateur'];
$id_obs = $liaison['coi_ce_observation'];
 
if (isset($this->tableau_observations[$mail_utilisateur][$id_obs])) {
$id_obs = $this->tableau_observations[$mail_utilisateur][$id_obs];
 
$sous_requete[] = '('.$this->proteger($liaison['coi_ce_image']).','.
$this->proteger($id_obs).','.
$this->proteger($liaison['coi_date_liaison']).
')';
$ordre_obs = $liaison['coi_ce_observation'];
if (isset($this->tableau_observations[$mail_utilisateur][$ordre_obs])) {
$id_obs = $this->bdd->proteger($this->tableau_observations[$mail_utilisateur][$ordre_obs]);
$id_image = $this->bdd->proteger($liaison['coi_ce_image']);
$date_liaison = $this->bdd->proteger($liaison['coi_date_liaison']);
$liaisonsNouvelles[] = "($id_image, $id_obs, $date_liaison)";
} else {
// cas d'une observation inexistante, la liaison est ignorée
$liaisons_obs_inexistantes++;
}
}
$sous_requete = implode(',', $sous_requete);
$requete .= $sous_requete;
$migration_liaison = $this->executerRequeteSimple($requete);
}
if (count($liaisonsNouvelles) != 0) {
$sousRequete = implode(',', $liaisonsNouvelles);
 
$requete = 'INSERT INTO '.self::$bdd_cel_migration.'.cel_obs_images '.
'(id_image, id_observation, date_liaison) '.
"VALUES $sousRequete ";
$migration_liaison = $this->executerRequeteSimple($requete);
 
if (!$migration_liaison) {
echo 'La migration des liaisons obs images de '.$i.' à '.($i+$pas).' a échoué ! '."\n<br />";
} else {
$this->afficherAvancement('Migration des liaisons obs images (par '.$pas.' )');
if (!$migration_liaison) {
echo 'La migration des liaisons obs images de '.$i.' à '.($i+$pas).' a échoué ! '."\n<br />";
} else {
$this->script->afficherAvancement('Migration des liaisons obs images (par '.$pas.' )');
}
}
}
}
echo "\n\n";
echo $liaisons_obs_inexistantes ? $liaisons_obs_inexistantes." liaisons image obs ont été ignorées car les obs sont absentes" : '' ;
echo "\n";
echo "\n---------------------------------------------------------------- OK\n\n";
echo $liaisons_obs_inexistantes ? $liaisons_obs_inexistantes." liaisons image obs ont été ignorées car les obs sont absentes\n" : '' ;
}
 
private function mettreANullPrenomNomVide() {
1061,11 → 1022,11
$requete = "UPDATE $bdd.cel_images ".
'SET prenom_utilisateur = NULL '.
"WHERE prenom_utilisateur = '' ";
$this->executer($requete);
$this->bdd->executer($requete);
 
$requete = "UPDATE $bdd.cel_images ".
'SET nom_utilisateur = NULL '.
"WHERE nom_utilisateur = '' ";
$this->executer($requete);
'SET nom_utilisateur = NULL '.
"WHERE nom_utilisateur = '' ";
$this->bdd->executer($requete);
}
}