2,23 → 2,26 |
// declare(encoding='UTF-8'); |
/** |
* Script de migration des Observations de la version 1 de la base de données du CEL à la v2. |
* Utilisation : /opt/lampp/bin/php cli.php MigrationObs |
* |
* @category php 5.2 |
* @package Cel/Scripts |
* @author Aurélien PERONNET <aurelien@tela-botanica.org> |
* @author Aurelien PERONNET <aurelien@tela-botanica.org> |
* @author Jean-Pascal MILCENT <jpm@tela-botanica.org> |
* @copyright Copyright (c) 2012, Tela Botanica (accueil@tela-botanica.org) |
* @license http://www.cecill.info/licences/Licence_CeCILL_V2-fr.txt Licence CECILL |
* @license http://www.gnu.org/licenses/gpl.html Licence GNU-GPL |
* @version $Id$ |
* @license http://www.cecill.info/licences/Licence_CeCILL_V2-fr.txt Licence CECILL |
* @license http://www.gnu.org/licenses/gpl.html Licence GNU-GPL |
* @version $Id$ |
*/ |
class MigrationObs extends Cel { |
class MigrationObs { |
|
const truncate = true; //Doit on vider les tables de destination ? |
const dry_run = false; |
const PATTERN_LAT = '/^[+-]?(?:[1-9][0-9]|[0-9])(?:[.][0-9]+|)$/'; |
const PATTERN_LNG = '/^[+-]?(?:1[0-8][0-9]|[1-9][0-9]|[0-9])(?:[.][0-9]+|)$/'; |
|
|
private $bdd = null; |
private $script = null; |
public static $bdd_cel_migration; |
public static $bdd_utilisateurs; |
private $communesOubliees = array(); |
38,7 → 41,7 |
'ce_utilisateur' => 'traiterIdentifiantUtilisateur', |
'prenom_utilisateur' => 'traiterPrenomUtilisateur', |
'nom_utilisateur' => 'traiterNomUtilisateur', |
'courriel_utilisateur' => 'identifiant', |
'courriel_utilisateur' => 'traiterCourrielUtilisateur', |
'nom_sel' => 'nom_sel', |
'nom_sel_nn' => 'num_nom_sel', |
'nom_ret' => 'nom_ret', |
91,141 → 94,108 |
'coord_y' => 'longitude', |
'ref_geo' => 'geodatum' |
); |
|
public function __construct(Conteneur $conteneur) { |
$bddMigration = $conteneur->getParametre('database_cel.database_migration'); |
if ($bddMigration == null || $bddMigration == '') { |
echo 'Attention la variable de configuration database_migration dans la section database_cel, contenant la base de données d\'arrivée, doit être remplie '."\n"; |
exit; |
} |
$bddIdentification = $conteneur->getParametre('database_ident.database'); |
if ($bddIdentification == null || $bddIdentification == '') { |
echo 'Attention la variable de configuration database dans la section database_ident, contenant la base de données utilisateurs, doit être remplie '."\n"; |
exit; |
} |
|
self::$bdd_cel_migration = $conteneur->getParametre('database_cel.database_migration'); |
self::$bdd_utilisateurs = $conteneur->getParametre('database_ident.database'); |
|
$this->bdd = $conteneur->getBdd(); |
$this->script = $conteneur->getScript(); |
} |
|
/** |
* Méthode appelée avec une requête de type GET. |
/** |
* Méthode appelée pour executer le script. |
*/ |
public function getElement($params) { |
|
if(!isset($this->config['database_cel']['database_migration']) || $this->config['database_cel']['database_migration'] == '') { |
echo 'Attention la variable de configuration database_migration dans la section database_cel, contenant la base de données d\'arrivée, doit être remplie '."\n"; |
exit; |
} |
|
if(!isset($this->config['database_ident']['database']) || $this->config['database_ident']['database'] == '') { |
echo 'Attention la variable de configuration database dans la section database_ident, contenant la base de données utilisateurs, doit être remplie '."\n"; |
exit; |
} |
|
self::$bdd_cel_migration = $this->config['database_cel']['database_migration']; |
self::$bdd_utilisateurs = $this->config['database_ident']['database']; |
|
public function executer($params) { |
echo "--MIGRATION DES OBSERVATIONS --------------------------------------\n"; |
//1. TEMPORAIRE : vider les tables de destinations |
if (self::truncate) { |
echo "-------------------------------------------------------------------\n\n"; |
echo " ETAPE 0. Vider les tables ... \n\n"; |
echo "-------------------------------------------------------------------\n\n"; |
echo "-------------------------------------------------------------------\n"; |
echo " ETAPE 0. Vider les tables ... \n"; |
echo "-------------------------------------------------------------------\n"; |
$nouvellesTables = array('cel_obs', 'cel_utilisateurs_infos', 'cel_zones_geo'); |
foreach ($nouvellesTables as $nomTable) { |
echo 'Vider la table '.$nomTable.'...'; |
$requeteTruncate = 'TRUNCATE TABLE '.self::$bdd_cel_migration.'.'.$nomTable; |
$resultatTruncate = $this->executerRequete($requeteTruncate); |
$resultatTruncate = $this->bdd->executer($requeteTruncate); |
echo "ok \n"; |
} |
|
echo "\n---------------------------------------------------------------- OK\n\n"; |
} |
|
echo "-------------------------------------------------------------------\n\n"; |
echo " ETAPE 1. Paramétrage ... \n\n"; |
echo "-------------------------------------------------------------------\n\n"; |
echo "-------------------------------------------------------------------\n"; |
echo " ETAPE 1. Paramétrage ... \n"; |
echo "-------------------------------------------------------------------\n"; |
$this->getUtilisateurs(); |
$this->getMotsCles(); |
|
echo "-------------------------------------------------------------------\n\n"; |
echo " ETAPE 2. Migration des utilisateurs ... \n\n"; |
echo "-------------------------------------------------------------------\n\n"; |
echo "-------------------------------------------------------------------\n"; |
echo " ETAPE 2. Migration des utilisateurs ... \n"; |
echo "-------------------------------------------------------------------\n"; |
$this->migrerUtilisateurs(); |
|
|
echo "-------------------------------------------------------------------\n\n"; |
echo " ETAPE 3. Migration des zone géographiques ... \n\n"; |
echo "-------------------------------------------------------------------\n\n"; |
echo "-------------------------------------------------------------------\n"; |
echo " ETAPE 3. Migration des zone géographiques ... \n"; |
echo "-------------------------------------------------------------------\n"; |
$this->migrerZonesGeo(); |
|
echo "-------------------------------------------------------------------\n\n"; |
echo " ETAPE 4. Migration des observations ... \n\n"; |
echo "-------------------------------------------------------------------\n\n"; |
echo "-------------------------------------------------------------------\n"; |
echo " ETAPE 4. Migration des observations ... \n"; |
echo "-------------------------------------------------------------------\n"; |
$this->migrerObs(); |
$this->mettreANullPrenomNomVide(); |
$this->ordonnerObs(); |
echo "\n"."\n"."\n"; |
$this->ordonnerObs(); |
} |
|
public function executerRequeteSimple($requete) { |
private function executerRequeteSimple($requete) { |
// Fonction de commodité pour afficher les requetes au lieu de les executer |
if (self::dry_run) { |
echo str_replace('),','),'."\n", $requete); |
return true; |
} else { |
return parent::executerRequeteSimple($requete); |
return $this->bdd->executer($requete); |
} |
} |
|
private function getUtilisateurs() { |
echo "\n-------------------------------------------------------------------\n"; |
echo "--SELECTION DES UTILISATEURS---------------------------------------\n\n"; |
echo "SELECTION DES UTILISATEURS\n"; |
|
$requete = 'SELECT DISTINCT u_id AS id, u_mail AS mail, u_name AS nom, u_surname AS prenom, u_passwd AS pass '. |
'FROM cel_inventory INNER JOIN '.self::$bdd_utilisateurs.'.annuaire_tela ON (u_mail = identifiant) '; |
$tableau_utilisateurs = $this->executerRequete($requete); |
$tableau_utilisateurs = $this->bdd->requeter($requete); |
|
foreach( $tableau_utilisateurs as &$utilisateur) { |
$this->tableau_utilisateurs[$utilisateur['mail']] = $utilisateur; |
} |
|
echo sizeof($this->tableau_utilisateurs)." utilisateurs sélectionnés"; |
echo "\n-----------------------------------------------------------------OK\n"; |
echo sizeof($this->tableau_utilisateurs)." utilisateurs sélectionnés\n"; |
} |
|
private function getMotsCles() { |
echo "\n-------------------------------------------------------------------\n"; |
echo "--SELECTION DES MOTS-CLES -----------------------------------------\n\n"; |
echo "SELECTION DES MOTS-CLES \n"; |
|
$requete = 'SELECT cmc_id_proprietaire as id_utilisateur, cmc_id_mot_cle_utilisateur as id_mot_cle, '. |
'cmc_mot_cle as mot_cle '. |
'FROM cel_mots_cles_obs '; |
$tableau_mots_cles = $this->executerRequete($requete); |
$tableau_mots_cles = $this->bdd->requeter($requete); |
|
foreach( $tableau_mots_cles as &$mot_cle) { |
$this->tableau_mots_cles[$mot_cle['id_utilisateur']][$mot_cle['id_mot_cle']] = $mot_cle; |
} |
|
echo sizeof($this->tableau_mots_cles)." mots-clés sélectionnés"; |
echo "\n-----------------------------------------------------------------OK\n"; |
|
echo sizeof($this->tableau_mots_cles)." mots-clés sélectionnés\n"; |
} |
|
/** |
* Utiliser cette méthode dans une boucle pour afficher un message suivi du nombre de tour de boucle effectué. |
* Vous devrez vous même gérer le retour à la ligne à la sortie de la boucle. |
* |
* @param string le message d'information. |
* @param int le nombre de départ à afficher. |
* @return void le message est affiché dans la console. |
*/ |
protected function afficherAvancement($message, $depart = 0) { |
if (! isset(self::$avancement[$message])) { |
self::$avancement[$message] = $depart; |
echo "$message : "; |
|
$actuel =& self::$avancement[$message]; |
echo $actuel++; |
} else { |
$actuel =& self::$avancement[$message]; |
|
// Cas du passage de 99 (= 2 caractères) à 100 (= 3 caractères) |
$passage = 0; |
if (strlen((string) ($actuel - 1)) < strlen((string) ($actuel))) { |
$passage = 1; |
} |
|
echo str_repeat(chr(8), (strlen((string) $actuel) - $passage)); |
echo $actuel++; |
} |
} |
|
private function migrerUtilisateurs() { |
$requete = 'INSERT INTO '.self::$bdd_cel_migration.'.cel_utilisateurs_infos '. |
'(id_utilisateur) '. |
233,7 → 203,7 |
|
$sous_requete = array(); |
foreach ($this->tableau_utilisateurs as $id => &$utilisateur) { |
$sous_requete[] = '('.$this->proteger($utilisateur['id']).')'; |
$sous_requete[] = '('.$this->bdd->proteger($utilisateur['id']).')'; |
} |
$requete .= implode(',', $sous_requete); |
|
244,18 → 214,16 |
} else { |
exit('Erreur lors de la migration des utilisateurs '."\n"); |
} |
echo "\n---------------------------------------------------------------- OK\n\n"; |
|
echo "\n"; |
} |
|
private function migrerZonesGeo() { |
|
$pas = 5000; |
|
//SELECTIONNER LE NOMBRE DE ZONE GEO |
$requete_nombreZonesGeo = 'SELECT count(*) as nb FROM locations'; |
$resultatNbZonesGeo = $this->executerRequete($requete_nombreZonesGeo); |
$nbZones = (int) $resultatNbZonesGeo[0]['nb']; |
$resultatNbZonesGeo = $this->bdd->requeter($requete_nombreZonesGeo, Bdd::SQL_RETOUR_COLONNE); |
$nbZones = (int) $resultatNbZonesGeo; |
|
$nbTotal = 0; |
for($i = 0; $i <= $nbZones ; $i += $pas) { |
262,7 → 230,7 |
|
$requete_selection_zones_geo = 'SELECT * FROM locations LIMIT '.$i.', '.$pas; |
|
$zones_geo = $this->executerRequete($requete_selection_zones_geo); |
$zones_geo = $this->bdd->requeter($requete_selection_zones_geo); |
|
$requete_insertion_nouvelles_zones_geo = 'INSERT INTO '.self::$bdd_cel_migration.'.cel_zones_geo '. |
'(id_zone_geo, code, nom, utm_secteur, utm_x, utm_y, wgs84_latitude, wgs84_longitude, date_modification) '. |
279,16 → 247,16 |
$indice_tableau_localites = $this->construireIndiceTableauLocalites($zone_geo['name'], $zone_geo['insee_code']); |
$this->tableau_zones_geo[$indice_tableau_localites] = $zone_geo; |
|
$sous_requete_insertion_valeurs .= '('.$this->proteger($zone_geo['nouveau_code_geo']).','. |
$this->proteger($zone_geo['insee_code']).','. |
$this->proteger($zone_geo['name']).','. |
$this->proteger($zone_geo['sector']).','. |
$this->proteger($zone_geo['x_utm']).','. |
$this->proteger($zone_geo['y_utm']).','. |
$this->proteger($lat_long['lat']).','. |
$this->proteger($lat_long['long']).','. |
$this->proteger($zone_geo['update_date']). |
'),'; |
$sous_requete_insertion_valeurs .= '('.$this->bdd->proteger($zone_geo['nouveau_code_geo']).','. |
$this->bdd->proteger($zone_geo['insee_code']).','. |
$this->bdd->proteger($zone_geo['name']).','. |
$this->bdd->proteger($zone_geo['sector']).','. |
$this->bdd->proteger($zone_geo['x_utm']).','. |
$this->bdd->proteger($zone_geo['y_utm']).','. |
$this->bdd->proteger($lat_long['lat']).','. |
$this->bdd->proteger($lat_long['long']).','. |
$this->bdd->proteger($zone_geo['update_date']). |
'),'; |
} |
|
$sous_requete_insertion_valeurs = rtrim($sous_requete_insertion_valeurs,','); |
303,12 → 271,12 |
|
if ($migration_zones_geo) { |
$nbTotal ++; |
$this->afficherAvancement('Migration des zones (par '.$pas.')', $nbTotal); |
$this->script->afficherAvancement('Migration des zones (par '.$pas.')', $nbTotal); |
} else { |
exit('Erreur lors de la migration des zones géo '.$i.' à '.($i+$pas)."\n"); |
} |
} |
echo "\n---------------------------------------------------------------- OK\n\n"; |
echo "\n"; |
} |
|
private function convertirUtmVersLatLong($x, $y, $sector) { |
330,13 → 298,14 |
|
//Selectionner le nombre d'observations |
$requeteNbObs = "SELECT COUNT(*) as nb FROM cel_inventory"; |
$resultatNbObs = $this->executerRequete($requeteNbObs); |
$fin = $resultatNbObs[0]['nb']; |
$fin = $this->bdd->requeter($requeteNbObs, Bdd::SQL_RETOUR_COLONNE); |
|
for ($i = $debut; $i < $fin ; $i += $pas) { |
$requete_selection_obs = 'SELECT * FROM cel_inventory '. |
'ORDER BY identifiant LIMIT '.$i.','.$pas; |
$observations = $this->requeter($requete_selection_obs); |
$requete_selection_obs = 'SELECT * '. |
'FROM cel_inventory '. |
'ORDER BY identifiant '. |
'LIMIT '.$i.','.$pas; |
$observations = $this->bdd->requeter($requete_selection_obs); |
|
$requete_insertion_observations = 'INSERT IGNORE INTO '.self::$bdd_cel_migration.'.cel_obs ('; |
|
359,21 → 328,21 |
|
$migration_observations = $this->executerRequeteSimple($requete_insertion_observations); |
} else { |
echo 'Fin de migration des observations '."\n"."\n"; |
echo "Fin de migration des observations\n"; |
return; |
} |
|
if ($migration_observations) { |
$nbTotal ++; |
$this->afficherAvancement('Migration des observations (par '.$pas.')', $nbTotal); |
$this->script->afficherAvancement('Migration des observations (par '.$pas.')', $nbTotal); |
} else { |
exit('Erreur lors de la migration des observation de '.$i.' à '.($i+$pas)."\n"); |
} |
} |
} |
echo "\n"; |
if (sizeof($this->communesOubliees) > 0) { |
echo "\nxxxxxxxxx communes oubliées : ".sizeof($this->communesOubliees)." xxxxxxxxx \\n"; |
echo "xxxxxxxxx Communes ignorées : ".sizeof($this->communesOubliees)." xxxxxxxxx \n"; |
} |
echo "\n---------------------------------------------------------------- OK\n\n"; |
} |
|
private function ordonnerObs() { |
407,7 → 376,7 |
|
private function protegerSiNonNull($valeur) { |
if ($valeur != 'NULL') { |
$valeur = $this->proteger($valeur); |
$valeur = $this->bdd->proteger($valeur); |
} |
return $valeur; |
} |
425,11 → 394,11 |
} |
|
private function traiterLat(&$observation) { |
if ($this->etreNull($observation['coord_x'])) { |
if ($this->bdd->etreNull($observation['coord_x'])) { |
$observation['coord_x'] = 'NULL'; |
} else if (preg_match(self::PATTERN_LAT, $observation['coord_x']) == false) { |
$latNote = 'Latitude éronnée : '.$observation['coord_x']; |
if ($this->etreNull($observation['commentaire'])) { |
if ($this->bdd->etreNull($observation['commentaire'])) { |
$observation['commentaire'] = $latNote; |
} else { |
$observation['commentaire'] .= "\n".$latNote; |
441,11 → 410,11 |
} |
|
private function traiterLng(&$observation) { |
if ($this->etreNull($observation['coord_y'])) { |
if ($this->bdd->etreNull($observation['coord_y'])) { |
$observation['coord_y'] = 'NULL'; |
} else if (preg_match(self::PATTERN_LNG, $observation['coord_y']) == false) { |
$lngNote = 'Longitude éronnée : '.$observation['coord_y']; |
if ($this->etreNull($observation['commentaire'])) { |
if ($this->bdd->etreNull($observation['commentaire'])) { |
$observation['commentaire'] = $lngNote; |
} else { |
$observation['commentaire'] .= "\n".$lngNote; |
534,7 → 503,7 |
private function traiterNomUtilisateur($ligne_observation) { |
$mail_observation = $ligne_observation['identifiant']; |
|
$retour = ''; |
$retour = 'NULL'; |
if (isset($this->tableau_utilisateurs[$mail_observation])) { |
$nom = $this->tableau_utilisateurs[$mail_observation]['nom']; |
$retour = self::formaterMotEnMajuscule($nom); |
541,6 → 510,17 |
} |
return $retour; |
} |
|
private function traiterCourrielUtilisateur($observation) { |
$courriel = $observation['identifiant']; |
|
$retour = 'NULL'; |
if ($this->mailValide($courriel)) { |
$retour = $courriel; |
} |
return $retour; |
} |
|
|
public static function formaterMotPremiereLettreChaqueMotEnMajuscule($chaine, $encodage= 'UTF-8') { |
$chaine = str_replace('-', ' - ', $chaine); |
609,7 → 589,7 |
$nom = str_replace(' ','_',$nom); |
$nom = str_replace('-','_',$nom); |
$nom = str_replace(' ','_',$nom); |
$indice = strtolower($nom).substr($id,0,2); |
$indice = strtolower($nom).substr($id, 0, 2); |
|
return $indice; |
} |
626,13 → 606,15 |
if ($this->mailValide($utilisateur)) { |
$retour = md5($utilisateur); |
} |
} else if ($utilisateur == '') { |
$retour = 'NULL'; |
} |
return $retour; |
} |
|
public function mailValide($mail) { |
private function mailValide($mail) { |
// vérification bidon mais ça suffit pour ici |
return !(strpos('@', $mail) === false); |
return !(strpos($mail, '@') === false); |
} |
|
private function mettreANullPrenomNomVide() { |
640,11 → 622,11 |
$requete = "UPDATE $bdd.cel_obs ". |
'SET prenom_utilisateur = NULL '. |
"WHERE prenom_utilisateur = '' "; |
$this->executer($requete); |
$this->bdd->executer($requete); |
|
$requete = "UPDATE $bdd.cel_obs ". |
'SET nom_utilisateur = NULL '. |
"WHERE nom_utilisateur = '' "; |
$this->executer($requete); |
$this->bdd->executer($requete); |
} |
} |