Subversion Repositories eFlore/Applications.cel

Compare Revisions

Ignore whitespace Rev 1200 → Rev 1224

/trunk/jrest/scripts/MigrationObs.php
2,23 → 2,26
// declare(encoding='UTF-8');
/**
* Script de migration des Observations de la version 1 de la base de données du CEL à la v2.
* Utilisation : /opt/lampp/bin/php cli.php MigrationObs
*
* @category php 5.2
* @package Cel/Scripts
* @author Aurélien PERONNET <aurelien@tela-botanica.org>
* @author Aurelien PERONNET <aurelien@tela-botanica.org>
* @author Jean-Pascal MILCENT <jpm@tela-botanica.org>
* @copyright Copyright (c) 2012, Tela Botanica (accueil@tela-botanica.org)
* @license http://www.cecill.info/licences/Licence_CeCILL_V2-fr.txt Licence CECILL
* @license http://www.gnu.org/licenses/gpl.html Licence GNU-GPL
* @version $Id$
* @license http://www.cecill.info/licences/Licence_CeCILL_V2-fr.txt Licence CECILL
* @license http://www.gnu.org/licenses/gpl.html Licence GNU-GPL
* @version $Id$
*/
class MigrationObs extends Cel {
class MigrationObs {
 
const truncate = true; //Doit on vider les tables de destination ?
const dry_run = false;
const PATTERN_LAT = '/^[+-]?(?:[1-9][0-9]|[0-9])(?:[.][0-9]+|)$/';
const PATTERN_LNG = '/^[+-]?(?:1[0-8][0-9]|[1-9][0-9]|[0-9])(?:[.][0-9]+|)$/';
 
 
private $bdd = null;
private $script = null;
public static $bdd_cel_migration;
public static $bdd_utilisateurs;
private $communesOubliees = array();
38,7 → 41,7
'ce_utilisateur' => 'traiterIdentifiantUtilisateur',
'prenom_utilisateur' => 'traiterPrenomUtilisateur',
'nom_utilisateur' => 'traiterNomUtilisateur',
'courriel_utilisateur' => 'identifiant',
'courriel_utilisateur' => 'traiterCourrielUtilisateur',
'nom_sel' => 'nom_sel',
'nom_sel_nn' => 'num_nom_sel',
'nom_ret' => 'nom_ret',
91,141 → 94,108
'coord_y' => 'longitude',
'ref_geo' => 'geodatum'
);
 
public function __construct(Conteneur $conteneur) {
$bddMigration = $conteneur->getParametre('database_cel.database_migration');
if ($bddMigration == null || $bddMigration == '') {
echo 'Attention la variable de configuration database_migration dans la section database_cel, contenant la base de données d\'arrivée, doit être remplie '."\n";
exit;
}
$bddIdentification = $conteneur->getParametre('database_ident.database');
if ($bddIdentification == null || $bddIdentification == '') {
echo 'Attention la variable de configuration database dans la section database_ident, contenant la base de données utilisateurs, doit être remplie '."\n";
exit;
}
 
self::$bdd_cel_migration = $conteneur->getParametre('database_cel.database_migration');
self::$bdd_utilisateurs = $conteneur->getParametre('database_ident.database');
 
$this->bdd = $conteneur->getBdd();
$this->script = $conteneur->getScript();
}
 
/**
* Méthode appelée avec une requête de type GET.
/**
* Méthode appelée pour executer le script.
*/
public function getElement($params) {
 
if(!isset($this->config['database_cel']['database_migration']) || $this->config['database_cel']['database_migration'] == '') {
echo 'Attention la variable de configuration database_migration dans la section database_cel, contenant la base de données d\'arrivée, doit être remplie '."\n";
exit;
}
 
if(!isset($this->config['database_ident']['database']) || $this->config['database_ident']['database'] == '') {
echo 'Attention la variable de configuration database dans la section database_ident, contenant la base de données utilisateurs, doit être remplie '."\n";
exit;
}
 
self::$bdd_cel_migration = $this->config['database_cel']['database_migration'];
self::$bdd_utilisateurs = $this->config['database_ident']['database'];
 
public function executer($params) {
echo "--MIGRATION DES OBSERVATIONS --------------------------------------\n";
//1. TEMPORAIRE : vider les tables de destinations
if (self::truncate) {
echo "-------------------------------------------------------------------\n\n";
echo " ETAPE 0. Vider les tables ... \n\n";
echo "-------------------------------------------------------------------\n\n";
echo "-------------------------------------------------------------------\n";
echo " ETAPE 0. Vider les tables ... \n";
echo "-------------------------------------------------------------------\n";
$nouvellesTables = array('cel_obs', 'cel_utilisateurs_infos', 'cel_zones_geo');
foreach ($nouvellesTables as $nomTable) {
echo 'Vider la table '.$nomTable.'...';
$requeteTruncate = 'TRUNCATE TABLE '.self::$bdd_cel_migration.'.'.$nomTable;
$resultatTruncate = $this->executerRequete($requeteTruncate);
$resultatTruncate = $this->bdd->executer($requeteTruncate);
echo "ok \n";
}
 
echo "\n---------------------------------------------------------------- OK\n\n";
}
 
echo "-------------------------------------------------------------------\n\n";
echo " ETAPE 1. Paramétrage ... \n\n";
echo "-------------------------------------------------------------------\n\n";
echo "-------------------------------------------------------------------\n";
echo " ETAPE 1. Paramétrage ... \n";
echo "-------------------------------------------------------------------\n";
$this->getUtilisateurs();
$this->getMotsCles();
 
echo "-------------------------------------------------------------------\n\n";
echo " ETAPE 2. Migration des utilisateurs ... \n\n";
echo "-------------------------------------------------------------------\n\n";
echo "-------------------------------------------------------------------\n";
echo " ETAPE 2. Migration des utilisateurs ... \n";
echo "-------------------------------------------------------------------\n";
$this->migrerUtilisateurs();
 
 
echo "-------------------------------------------------------------------\n\n";
echo " ETAPE 3. Migration des zone géographiques ... \n\n";
echo "-------------------------------------------------------------------\n\n";
echo "-------------------------------------------------------------------\n";
echo " ETAPE 3. Migration des zone géographiques ... \n";
echo "-------------------------------------------------------------------\n";
$this->migrerZonesGeo();
 
echo "-------------------------------------------------------------------\n\n";
echo " ETAPE 4. Migration des observations ... \n\n";
echo "-------------------------------------------------------------------\n\n";
echo "-------------------------------------------------------------------\n";
echo " ETAPE 4. Migration des observations ... \n";
echo "-------------------------------------------------------------------\n";
$this->migrerObs();
$this->mettreANullPrenomNomVide();
$this->ordonnerObs();
echo "\n"."\n"."\n";
$this->ordonnerObs();
}
 
public function executerRequeteSimple($requete) {
private function executerRequeteSimple($requete) {
// Fonction de commodité pour afficher les requetes au lieu de les executer
if (self::dry_run) {
echo str_replace('),','),'."\n", $requete);
return true;
} else {
return parent::executerRequeteSimple($requete);
return $this->bdd->executer($requete);
}
}
 
private function getUtilisateurs() {
echo "\n-------------------------------------------------------------------\n";
echo "--SELECTION DES UTILISATEURS---------------------------------------\n\n";
echo "SELECTION DES UTILISATEURS\n";
 
$requete = 'SELECT DISTINCT u_id AS id, u_mail AS mail, u_name AS nom, u_surname AS prenom, u_passwd AS pass '.
'FROM cel_inventory INNER JOIN '.self::$bdd_utilisateurs.'.annuaire_tela ON (u_mail = identifiant) ';
$tableau_utilisateurs = $this->executerRequete($requete);
$tableau_utilisateurs = $this->bdd->requeter($requete);
 
foreach( $tableau_utilisateurs as &$utilisateur) {
$this->tableau_utilisateurs[$utilisateur['mail']] = $utilisateur;
}
 
echo sizeof($this->tableau_utilisateurs)." utilisateurs sélectionnés";
echo "\n-----------------------------------------------------------------OK\n";
echo sizeof($this->tableau_utilisateurs)." utilisateurs sélectionnés\n";
}
 
private function getMotsCles() {
echo "\n-------------------------------------------------------------------\n";
echo "--SELECTION DES MOTS-CLES -----------------------------------------\n\n";
echo "SELECTION DES MOTS-CLES \n";
 
$requete = 'SELECT cmc_id_proprietaire as id_utilisateur, cmc_id_mot_cle_utilisateur as id_mot_cle, '.
'cmc_mot_cle as mot_cle '.
'FROM cel_mots_cles_obs ';
$tableau_mots_cles = $this->executerRequete($requete);
$tableau_mots_cles = $this->bdd->requeter($requete);
 
foreach( $tableau_mots_cles as &$mot_cle) {
$this->tableau_mots_cles[$mot_cle['id_utilisateur']][$mot_cle['id_mot_cle']] = $mot_cle;
}
 
echo sizeof($this->tableau_mots_cles)." mots-clés sélectionnés";
echo "\n-----------------------------------------------------------------OK\n";
 
echo sizeof($this->tableau_mots_cles)." mots-clés sélectionnés\n";
}
 
/**
* Utiliser cette méthode dans une boucle pour afficher un message suivi du nombre de tour de boucle effectué.
* Vous devrez vous même gérer le retour à la ligne à la sortie de la boucle.
*
* @param string le message d'information.
* @param int le nombre de départ à afficher.
* @return void le message est affiché dans la console.
*/
protected function afficherAvancement($message, $depart = 0) {
if (! isset(self::$avancement[$message])) {
self::$avancement[$message] = $depart;
echo "$message : ";
 
$actuel =& self::$avancement[$message];
echo $actuel++;
} else {
$actuel =& self::$avancement[$message];
 
// Cas du passage de 99 (= 2 caractères) à 100 (= 3 caractères)
$passage = 0;
if (strlen((string) ($actuel - 1)) < strlen((string) ($actuel))) {
$passage = 1;
}
 
echo str_repeat(chr(8), (strlen((string) $actuel) - $passage));
echo $actuel++;
}
}
 
private function migrerUtilisateurs() {
$requete = 'INSERT INTO '.self::$bdd_cel_migration.'.cel_utilisateurs_infos '.
'(id_utilisateur) '.
233,7 → 203,7
 
$sous_requete = array();
foreach ($this->tableau_utilisateurs as $id => &$utilisateur) {
$sous_requete[] = '('.$this->proteger($utilisateur['id']).')';
$sous_requete[] = '('.$this->bdd->proteger($utilisateur['id']).')';
}
$requete .= implode(',', $sous_requete);
 
244,18 → 214,16
} else {
exit('Erreur lors de la migration des utilisateurs '."\n");
}
echo "\n---------------------------------------------------------------- OK\n\n";
 
echo "\n";
}
 
private function migrerZonesGeo() {
 
$pas = 5000;
 
//SELECTIONNER LE NOMBRE DE ZONE GEO
$requete_nombreZonesGeo = 'SELECT count(*) as nb FROM locations';
$resultatNbZonesGeo = $this->executerRequete($requete_nombreZonesGeo);
$nbZones = (int) $resultatNbZonesGeo[0]['nb'];
$resultatNbZonesGeo = $this->bdd->requeter($requete_nombreZonesGeo, Bdd::SQL_RETOUR_COLONNE);
$nbZones = (int) $resultatNbZonesGeo;
 
$nbTotal = 0;
for($i = 0; $i <= $nbZones ; $i += $pas) {
262,7 → 230,7
 
$requete_selection_zones_geo = 'SELECT * FROM locations LIMIT '.$i.', '.$pas;
 
$zones_geo = $this->executerRequete($requete_selection_zones_geo);
$zones_geo = $this->bdd->requeter($requete_selection_zones_geo);
 
$requete_insertion_nouvelles_zones_geo = 'INSERT INTO '.self::$bdd_cel_migration.'.cel_zones_geo '.
'(id_zone_geo, code, nom, utm_secteur, utm_x, utm_y, wgs84_latitude, wgs84_longitude, date_modification) '.
279,16 → 247,16
$indice_tableau_localites = $this->construireIndiceTableauLocalites($zone_geo['name'], $zone_geo['insee_code']);
$this->tableau_zones_geo[$indice_tableau_localites] = $zone_geo;
 
$sous_requete_insertion_valeurs .= '('.$this->proteger($zone_geo['nouveau_code_geo']).','.
$this->proteger($zone_geo['insee_code']).','.
$this->proteger($zone_geo['name']).','.
$this->proteger($zone_geo['sector']).','.
$this->proteger($zone_geo['x_utm']).','.
$this->proteger($zone_geo['y_utm']).','.
$this->proteger($lat_long['lat']).','.
$this->proteger($lat_long['long']).','.
$this->proteger($zone_geo['update_date']).
'),';
$sous_requete_insertion_valeurs .= '('.$this->bdd->proteger($zone_geo['nouveau_code_geo']).','.
$this->bdd->proteger($zone_geo['insee_code']).','.
$this->bdd->proteger($zone_geo['name']).','.
$this->bdd->proteger($zone_geo['sector']).','.
$this->bdd->proteger($zone_geo['x_utm']).','.
$this->bdd->proteger($zone_geo['y_utm']).','.
$this->bdd->proteger($lat_long['lat']).','.
$this->bdd->proteger($lat_long['long']).','.
$this->bdd->proteger($zone_geo['update_date']).
'),';
}
 
$sous_requete_insertion_valeurs = rtrim($sous_requete_insertion_valeurs,',');
303,12 → 271,12
 
if ($migration_zones_geo) {
$nbTotal ++;
$this->afficherAvancement('Migration des zones (par '.$pas.')', $nbTotal);
$this->script->afficherAvancement('Migration des zones (par '.$pas.')', $nbTotal);
} else {
exit('Erreur lors de la migration des zones géo '.$i.' à '.($i+$pas)."\n");
}
}
echo "\n---------------------------------------------------------------- OK\n\n";
echo "\n";
}
 
private function convertirUtmVersLatLong($x, $y, $sector) {
330,13 → 298,14
 
//Selectionner le nombre d'observations
$requeteNbObs = "SELECT COUNT(*) as nb FROM cel_inventory";
$resultatNbObs = $this->executerRequete($requeteNbObs);
$fin = $resultatNbObs[0]['nb'];
$fin = $this->bdd->requeter($requeteNbObs, Bdd::SQL_RETOUR_COLONNE);
 
for ($i = $debut; $i < $fin ; $i += $pas) {
$requete_selection_obs = 'SELECT * FROM cel_inventory '.
'ORDER BY identifiant LIMIT '.$i.','.$pas;
$observations = $this->requeter($requete_selection_obs);
$requete_selection_obs = 'SELECT * '.
'FROM cel_inventory '.
'ORDER BY identifiant '.
'LIMIT '.$i.','.$pas;
$observations = $this->bdd->requeter($requete_selection_obs);
 
$requete_insertion_observations = 'INSERT IGNORE INTO '.self::$bdd_cel_migration.'.cel_obs (';
 
359,21 → 328,21
 
$migration_observations = $this->executerRequeteSimple($requete_insertion_observations);
} else {
echo 'Fin de migration des observations '."\n"."\n";
echo "Fin de migration des observations\n";
return;
}
 
if ($migration_observations) {
$nbTotal ++;
$this->afficherAvancement('Migration des observations (par '.$pas.')', $nbTotal);
$this->script->afficherAvancement('Migration des observations (par '.$pas.')', $nbTotal);
} else {
exit('Erreur lors de la migration des observation de '.$i.' à '.($i+$pas)."\n");
}
}
}
echo "\n";
if (sizeof($this->communesOubliees) > 0) {
echo "\nxxxxxxxxx communes oubliées : ".sizeof($this->communesOubliees)." xxxxxxxxx \\n";
echo "xxxxxxxxx Communes ignorées : ".sizeof($this->communesOubliees)." xxxxxxxxx \n";
}
echo "\n---------------------------------------------------------------- OK\n\n";
}
 
private function ordonnerObs() {
407,7 → 376,7
 
private function protegerSiNonNull($valeur) {
if ($valeur != 'NULL') {
$valeur = $this->proteger($valeur);
$valeur = $this->bdd->proteger($valeur);
}
return $valeur;
}
425,11 → 394,11
}
 
private function traiterLat(&$observation) {
if ($this->etreNull($observation['coord_x'])) {
if ($this->bdd->etreNull($observation['coord_x'])) {
$observation['coord_x'] = 'NULL';
} else if (preg_match(self::PATTERN_LAT, $observation['coord_x']) == false) {
$latNote = 'Latitude éronnée : '.$observation['coord_x'];
if ($this->etreNull($observation['commentaire'])) {
if ($this->bdd->etreNull($observation['commentaire'])) {
$observation['commentaire'] = $latNote;
} else {
$observation['commentaire'] .= "\n".$latNote;
441,11 → 410,11
}
 
private function traiterLng(&$observation) {
if ($this->etreNull($observation['coord_y'])) {
if ($this->bdd->etreNull($observation['coord_y'])) {
$observation['coord_y'] = 'NULL';
} else if (preg_match(self::PATTERN_LNG, $observation['coord_y']) == false) {
$lngNote = 'Longitude éronnée : '.$observation['coord_y'];
if ($this->etreNull($observation['commentaire'])) {
if ($this->bdd->etreNull($observation['commentaire'])) {
$observation['commentaire'] = $lngNote;
} else {
$observation['commentaire'] .= "\n".$lngNote;
534,7 → 503,7
private function traiterNomUtilisateur($ligne_observation) {
$mail_observation = $ligne_observation['identifiant'];
 
$retour = '';
$retour = 'NULL';
if (isset($this->tableau_utilisateurs[$mail_observation])) {
$nom = $this->tableau_utilisateurs[$mail_observation]['nom'];
$retour = self::formaterMotEnMajuscule($nom);
541,6 → 510,17
}
return $retour;
}
 
private function traiterCourrielUtilisateur($observation) {
$courriel = $observation['identifiant'];
 
$retour = 'NULL';
if ($this->mailValide($courriel)) {
$retour = $courriel;
}
return $retour;
}
 
 
public static function formaterMotPremiereLettreChaqueMotEnMajuscule($chaine, $encodage= 'UTF-8') {
$chaine = str_replace('-', ' - ', $chaine);
609,7 → 589,7
$nom = str_replace(' ','_',$nom);
$nom = str_replace('-','_',$nom);
$nom = str_replace(' ','_',$nom);
$indice = strtolower($nom).substr($id,0,2);
$indice = strtolower($nom).substr($id, 0, 2);
 
return $indice;
}
626,13 → 606,15
if ($this->mailValide($utilisateur)) {
$retour = md5($utilisateur);
}
} else if ($utilisateur == '') {
$retour = 'NULL';
}
return $retour;
}
 
public function mailValide($mail) {
private function mailValide($mail) {
// vérification bidon mais ça suffit pour ici
return !(strpos('@', $mail) === false);
return !(strpos($mail, '@') === false);
}
 
private function mettreANullPrenomNomVide() {
640,11 → 622,11
$requete = "UPDATE $bdd.cel_obs ".
'SET prenom_utilisateur = NULL '.
"WHERE prenom_utilisateur = '' ";
$this->executer($requete);
$this->bdd->executer($requete);
 
$requete = "UPDATE $bdd.cel_obs ".
'SET nom_utilisateur = NULL '.
"WHERE nom_utilisateur = '' ";
$this->executer($requete);
$this->bdd->executer($requete);
}
}