1198 |
jpm |
1 |
<?php
|
|
|
2 |
// declare(encoding='UTF-8');
|
|
|
3 |
/**
|
|
|
4 |
* Script de migration des Observations de la version 1 de la base de données du CEL à la v2.
|
|
|
5 |
*
|
|
|
6 |
* @category php 5.2
|
|
|
7 |
* @package Cel/Scripts
|
|
|
8 |
* @author Aurélien PERONNET <aurelien@tela-botanica.org>
|
|
|
9 |
* @author Jean-Pascal MILCENT <jpm@tela-botanica.org>
|
|
|
10 |
* @copyright Copyright (c) 2012, Tela Botanica (accueil@tela-botanica.org)
|
|
|
11 |
* @license http://www.cecill.info/licences/Licence_CeCILL_V2-fr.txt Licence CECILL
|
|
|
12 |
* @license http://www.gnu.org/licenses/gpl.html Licence GNU-GPL
|
|
|
13 |
* @version $Id$
|
|
|
14 |
*/
|
1149 |
gduche |
15 |
class MigrationObs extends Cel {
|
1184 |
jpm |
16 |
|
1189 |
jpm |
17 |
const truncate = true; //Doit on vider les tables de destination ?
|
|
|
18 |
const dry_run = false;
|
|
|
19 |
const PATTERN_LAT = '/^[+-]?(?:[1-9][0-9]|[0-9])(?:[.][0-9]+|)$/';
|
|
|
20 |
const PATTERN_LNG = '/^[+-]?(?:1[0-8][0-9]|[1-9][0-9]|[0-9])(?:[.][0-9]+|)$/';
|
|
|
21 |
|
1158 |
aurelien |
22 |
public static $bdd_cel_migration;
|
|
|
23 |
public static $bdd_utilisateurs;
|
1189 |
jpm |
24 |
private $communesOubliees = array();
|
|
|
25 |
private $tableau_utilisateurs = array();
|
|
|
26 |
private $tableau_mots_cles = array();
|
|
|
27 |
private $tableau_zones_geo = array();
|
1184 |
jpm |
28 |
|
1149 |
gduche |
29 |
/** Tableau associatif permettant de stocker l'avancement dans une boucle.
|
|
|
30 |
* La clé est un md5 du message à afficher au démarrage de la boucle.
|
|
|
31 |
* @var array
|
|
|
32 |
*/
|
|
|
33 |
private static $avancement = array();
|
1184 |
jpm |
34 |
|
1149 |
gduche |
35 |
private $tableau_nouveau_ancien = array(
|
|
|
36 |
'id_observation' => 'id',
|
|
|
37 |
'ordre' => 'ordre',
|
|
|
38 |
'ce_utilisateur' => 'traiterIdentifiantUtilisateur',
|
|
|
39 |
'prenom_utilisateur' => 'traiterPrenomUtilisateur',
|
|
|
40 |
'nom_utilisateur' => 'traiterNomUtilisateur',
|
|
|
41 |
'courriel_utilisateur' => 'identifiant',
|
|
|
42 |
'nom_sel' => 'nom_sel',
|
|
|
43 |
'nom_sel_nn' => 'num_nom_sel',
|
|
|
44 |
'nom_ret' => 'nom_ret',
|
|
|
45 |
'nom_ret_nn' => 'num_nom_ret',
|
|
|
46 |
'nt' => 'num_taxon',
|
|
|
47 |
'famille' => 'famille',
|
|
|
48 |
'nom_referentiel' => 'traiterReferentiel',
|
|
|
49 |
'ce_zone_geo' => 'traiterIdentifiantZoneGeo',
|
|
|
50 |
'zone_geo' => 'location',
|
|
|
51 |
'lieudit' => 'lieudit',
|
|
|
52 |
'station' => 'station',
|
|
|
53 |
'milieu' => 'milieu',
|
1189 |
jpm |
54 |
'latitude' => 'traiterLat',
|
|
|
55 |
'longitude' => 'traiterLng',
|
1186 |
jpm |
56 |
'geodatum' => 'traiterGeodatum',
|
1149 |
gduche |
57 |
'date_observation' => 'date_observation',
|
|
|
58 |
'mots_cles_texte' => 'traiterMotsClesTexte',
|
|
|
59 |
'commentaire' => 'commentaire',
|
|
|
60 |
'transmission' => 'transmission',
|
|
|
61 |
'date_creation' => 'date_creation',
|
|
|
62 |
'date_modification' => 'date_modification',
|
|
|
63 |
'date_transmission' => 'date_transmission'
|
|
|
64 |
);
|
1184 |
jpm |
65 |
|
1149 |
gduche |
66 |
private $tableau_ancien_nouveau = array(
|
|
|
67 |
'id' => 'id_observation',
|
|
|
68 |
'identifiant' => '',
|
|
|
69 |
'prenom_utilisateur' => 'prenom_utilisateur',
|
|
|
70 |
'nom_utilisateur' => 'nom_utilisateur',
|
|
|
71 |
'ordre' => 'ordre',
|
|
|
72 |
'nom_sel' => 'nom_sel',
|
|
|
73 |
'num_nom_sel' => 'nom_sel_nn',
|
|
|
74 |
'nom_ret' => 'nom_ret',
|
|
|
75 |
'num_nom_ret' => 'nom_ret_nn',
|
|
|
76 |
'num_taxon' => 'nt',
|
|
|
77 |
'famille' => 'famille',
|
|
|
78 |
'location' => '',
|
|
|
79 |
'id_location' => '',
|
|
|
80 |
'date_observation' => 'date_observation',
|
|
|
81 |
'lieu_dit' => 'lieudit',
|
|
|
82 |
'station' => 'station',
|
|
|
83 |
'milieu' => 'milieu',
|
|
|
84 |
'commentaire' => 'commentaire',
|
|
|
85 |
'transmission' => 'transmission',
|
|
|
86 |
'date_creation' => 'date_creation',
|
|
|
87 |
'date_modification' => 'date_modification',
|
|
|
88 |
'date_transmission' => 'date_transmission',
|
|
|
89 |
'mots_cles' => '',
|
|
|
90 |
'coord_x' => 'latitude',
|
|
|
91 |
'coord_y' => 'longitude',
|
|
|
92 |
'ref_geo' => 'geodatum'
|
|
|
93 |
);
|
|
|
94 |
|
|
|
95 |
/**
|
|
|
96 |
* Méthode appelée avec une requête de type GET.
|
|
|
97 |
*/
|
|
|
98 |
public function getElement($params) {
|
1184 |
jpm |
99 |
|
1158 |
aurelien |
100 |
if(!isset($this->config['database_cel']['database_migration']) || $this->config['database_cel']['database_migration'] == '') {
|
|
|
101 |
echo 'Attention la variable de configuration database_migration dans la section database_cel, contenant la base de données d\'arrivée, doit être remplie '."\n";
|
|
|
102 |
exit;
|
|
|
103 |
}
|
1184 |
jpm |
104 |
|
1158 |
aurelien |
105 |
if(!isset($this->config['database_ident']['database']) || $this->config['database_ident']['database'] == '') {
|
|
|
106 |
echo 'Attention la variable de configuration database dans la section database_ident, contenant la base de données utilisateurs, doit être remplie '."\n";
|
|
|
107 |
exit;
|
|
|
108 |
}
|
1184 |
jpm |
109 |
|
1158 |
aurelien |
110 |
self::$bdd_cel_migration = $this->config['database_cel']['database_migration'];
|
|
|
111 |
self::$bdd_utilisateurs = $this->config['database_ident']['database'];
|
1184 |
jpm |
112 |
|
1149 |
gduche |
113 |
echo "--MIGRATION DES OBSERVATIONS --------------------------------------\n";
|
|
|
114 |
//1. TEMPORAIRE : vider les tables de destinations
|
|
|
115 |
if (self::truncate) {
|
|
|
116 |
echo "-------------------------------------------------------------------\n\n";
|
|
|
117 |
echo " ETAPE 0. Vider les tables ... \n\n";
|
|
|
118 |
echo "-------------------------------------------------------------------\n\n";
|
1189 |
jpm |
119 |
$nouvellesTables = array('cel_obs', 'cel_utilisateurs_infos', 'cel_zones_geo');
|
1149 |
gduche |
120 |
foreach ($nouvellesTables as $nomTable) {
|
|
|
121 |
echo 'Vider la table '.$nomTable.'...';
|
1158 |
aurelien |
122 |
$requeteTruncate = 'TRUNCATE TABLE '.self::$bdd_cel_migration.'.'.$nomTable;
|
1149 |
gduche |
123 |
$resultatTruncate = $this->executerRequete($requeteTruncate);
|
|
|
124 |
echo "ok \n";
|
|
|
125 |
}
|
1184 |
jpm |
126 |
|
1149 |
gduche |
127 |
echo "\n---------------------------------------------------------------- OK\n\n";
|
|
|
128 |
}
|
1184 |
jpm |
129 |
|
1149 |
gduche |
130 |
echo "-------------------------------------------------------------------\n\n";
|
|
|
131 |
echo " ETAPE 1. Paramétrage ... \n\n";
|
|
|
132 |
echo "-------------------------------------------------------------------\n\n";
|
|
|
133 |
$this->getUtilisateurs();
|
|
|
134 |
$this->getMotsCles();
|
1184 |
jpm |
135 |
|
1149 |
gduche |
136 |
echo "-------------------------------------------------------------------\n\n";
|
|
|
137 |
echo " ETAPE 2. Migration des utilisateurs ... \n\n";
|
|
|
138 |
echo "-------------------------------------------------------------------\n\n";
|
|
|
139 |
$this->migrerUtilisateurs();
|
1184 |
jpm |
140 |
|
1149 |
gduche |
141 |
echo "-------------------------------------------------------------------\n\n";
|
|
|
142 |
echo " ETAPE 3. Migration des zone géographiques ... \n\n";
|
|
|
143 |
echo "-------------------------------------------------------------------\n\n";
|
|
|
144 |
$this->migrerZonesGeo();
|
1184 |
jpm |
145 |
|
1149 |
gduche |
146 |
echo "-------------------------------------------------------------------\n\n";
|
|
|
147 |
echo " ETAPE 4. Migration des observations ... \n\n";
|
|
|
148 |
echo "-------------------------------------------------------------------\n\n";
|
|
|
149 |
$this->migrerObs();
|
1184 |
jpm |
150 |
$this->ordonnerObs();
|
1149 |
gduche |
151 |
echo "\n"."\n"."\n";
|
|
|
152 |
}
|
1184 |
jpm |
153 |
|
1149 |
gduche |
154 |
public function executerRequeteSimple($requete) {
|
|
|
155 |
// Fonction de commodité pour afficher les requetes au lieu de les executer
|
|
|
156 |
if (self::dry_run) {
|
1184 |
jpm |
157 |
echo str_replace('),','),'."\n", $requete);
|
1149 |
gduche |
158 |
return true;
|
|
|
159 |
} else {
|
|
|
160 |
return parent::executerRequeteSimple($requete);
|
|
|
161 |
}
|
|
|
162 |
}
|
1184 |
jpm |
163 |
|
1149 |
gduche |
164 |
private function getUtilisateurs() {
|
|
|
165 |
echo "\n-------------------------------------------------------------------\n";
|
|
|
166 |
echo "--SELECTION DES UTILISATEURS---------------------------------------\n\n";
|
1184 |
jpm |
167 |
|
1189 |
jpm |
168 |
$requete = 'SELECT DISTINCT u_id AS id, u_mail AS mail, u_name AS nom, u_surname AS prenom, u_passwd AS pass '.
|
|
|
169 |
'FROM cel_inventory INNER JOIN '.self::$bdd_utilisateurs.'.annuaire_tela ON (u_mail = identifiant) ';
|
1184 |
jpm |
170 |
$tableau_utilisateurs = $this->executerRequete($requete);
|
|
|
171 |
|
1149 |
gduche |
172 |
foreach( $tableau_utilisateurs as &$utilisateur) {
|
|
|
173 |
$this->tableau_utilisateurs[$utilisateur['mail']] = $utilisateur;
|
|
|
174 |
}
|
1184 |
jpm |
175 |
|
1149 |
gduche |
176 |
echo sizeof($this->tableau_utilisateurs)." utilisateurs sélectionnés";
|
|
|
177 |
echo "\n-----------------------------------------------------------------OK\n";
|
|
|
178 |
}
|
1184 |
jpm |
179 |
|
1149 |
gduche |
180 |
private function getMotsCles() {
|
|
|
181 |
echo "\n-------------------------------------------------------------------\n";
|
|
|
182 |
echo "--SELECTION DES MOTS-CLES -----------------------------------------\n\n";
|
|
|
183 |
|
1184 |
jpm |
184 |
$requete = 'SELECT cmc_id_proprietaire as id_utilisateur, cmc_id_mot_cle_utilisateur as id_mot_cle, '.
|
|
|
185 |
'cmc_mot_cle as mot_cle '.
|
|
|
186 |
'FROM cel_mots_cles_obs ';
|
|
|
187 |
$tableau_mots_cles = $this->executerRequete($requete);
|
|
|
188 |
|
1149 |
gduche |
189 |
foreach( $tableau_mots_cles as &$mot_cle) {
|
|
|
190 |
$this->tableau_mots_cles[$mot_cle['id_utilisateur']][$mot_cle['id_mot_cle']] = $mot_cle;
|
|
|
191 |
}
|
1184 |
jpm |
192 |
|
1149 |
gduche |
193 |
echo sizeof($this->tableau_mots_cles)." mots-clés sélectionnés";
|
|
|
194 |
echo "\n-----------------------------------------------------------------OK\n";
|
1184 |
jpm |
195 |
|
1149 |
gduche |
196 |
}
|
1184 |
jpm |
197 |
|
|
|
198 |
/**
|
1149 |
gduche |
199 |
* Utiliser cette méthode dans une boucle pour afficher un message suivi du nombre de tour de boucle effectué.
|
1184 |
jpm |
200 |
* Vous devrez vous même gérer le retour à la ligne à la sortie de la boucle.
|
|
|
201 |
*
|
1149 |
gduche |
202 |
* @param string le message d'information.
|
|
|
203 |
* @param int le nombre de départ à afficher.
|
|
|
204 |
* @return void le message est affiché dans la console.
|
|
|
205 |
*/
|
|
|
206 |
protected function afficherAvancement($message, $depart = 0) {
|
|
|
207 |
if (! isset(self::$avancement[$message])) {
|
|
|
208 |
self::$avancement[$message] = $depart;
|
|
|
209 |
echo "$message : ";
|
1184 |
jpm |
210 |
|
1149 |
gduche |
211 |
$actuel =& self::$avancement[$message];
|
|
|
212 |
echo $actuel++;
|
|
|
213 |
} else {
|
|
|
214 |
$actuel =& self::$avancement[$message];
|
1184 |
jpm |
215 |
|
1149 |
gduche |
216 |
// Cas du passage de 99 (= 2 caractères) à 100 (= 3 caractères)
|
|
|
217 |
$passage = 0;
|
|
|
218 |
if (strlen((string) ($actuel - 1)) < strlen((string) ($actuel))) {
|
1184 |
jpm |
219 |
$passage = 1;
|
1149 |
gduche |
220 |
}
|
1184 |
jpm |
221 |
|
1149 |
gduche |
222 |
echo str_repeat(chr(8), (strlen((string) $actuel) - $passage));
|
|
|
223 |
echo $actuel++;
|
|
|
224 |
}
|
|
|
225 |
}
|
1184 |
jpm |
226 |
|
1149 |
gduche |
227 |
private function migrerUtilisateurs() {
|
1189 |
jpm |
228 |
$requete = 'INSERT INTO '.self::$bdd_cel_migration.'.cel_utilisateurs_infos '.
|
|
|
229 |
'(id_utilisateur) '.
|
|
|
230 |
'VALUES ';
|
1184 |
jpm |
231 |
|
1189 |
jpm |
232 |
$sous_requete = array();
|
|
|
233 |
foreach ($this->tableau_utilisateurs as $id => &$utilisateur) {
|
|
|
234 |
$sous_requete[] = '('.$this->proteger($utilisateur['id']).')';
|
|
|
235 |
}
|
|
|
236 |
$requete .= implode(',', $sous_requete);
|
1184 |
jpm |
237 |
|
1189 |
jpm |
238 |
$migration_utilisateurs = $this->executerRequeteSimple($requete);
|
|
|
239 |
|
|
|
240 |
if ($migration_utilisateurs) {
|
|
|
241 |
echo "Migration utilisateurs : ".count($sous_requete);
|
|
|
242 |
} else {
|
|
|
243 |
exit('Erreur lors de la migration des utilisateurs '."\n");
|
1149 |
gduche |
244 |
}
|
|
|
245 |
echo "\n---------------------------------------------------------------- OK\n\n";
|
1184 |
jpm |
246 |
|
1149 |
gduche |
247 |
}
|
1184 |
jpm |
248 |
|
1149 |
gduche |
249 |
private function migrerZonesGeo() {
|
1184 |
jpm |
250 |
|
1149 |
gduche |
251 |
$pas = 5000;
|
1184 |
jpm |
252 |
|
1149 |
gduche |
253 |
//SELECTIONNER LE NOMBRE DE ZONE GEO
|
|
|
254 |
$requete_nombreZonesGeo = 'SELECT count(*) as nb FROM locations';
|
|
|
255 |
$resultatNbZonesGeo = $this->executerRequete($requete_nombreZonesGeo);
|
|
|
256 |
$nbZones = (int) $resultatNbZonesGeo[0]['nb'];
|
1184 |
jpm |
257 |
|
1149 |
gduche |
258 |
$nbTotal = 0;
|
|
|
259 |
for($i = 0; $i <= $nbZones ; $i += $pas) {
|
1184 |
jpm |
260 |
|
1149 |
gduche |
261 |
$requete_selection_zones_geo = 'SELECT * FROM locations LIMIT '.$i.', '.$pas;
|
1184 |
jpm |
262 |
|
1149 |
gduche |
263 |
$zones_geo = $this->executerRequete($requete_selection_zones_geo);
|
1184 |
jpm |
264 |
|
1158 |
aurelien |
265 |
$requete_insertion_nouvelles_zones_geo = 'INSERT INTO '.self::$bdd_cel_migration.'.cel_zones_geo '.
|
1149 |
gduche |
266 |
'(id_zone_geo, code, nom, utm_secteur, utm_x, utm_y, wgs84_latitude, wgs84_longitude, date_modification) '.
|
|
|
267 |
'VALUES ';
|
1184 |
jpm |
268 |
|
1149 |
gduche |
269 |
$sous_requete_insertion_valeurs = '';
|
1184 |
jpm |
270 |
|
|
|
271 |
if(count($zones_geo) > 0) {
|
1149 |
gduche |
272 |
foreach($zones_geo as $zone_geo) {
|
1184 |
jpm |
273 |
|
1149 |
gduche |
274 |
$zone_geo['nouveau_code_geo'] = 'INSEE-C:'.$zone_geo['insee_code'];
|
|
|
275 |
$lat_long = $this->convertirUtmVersLatLong($zone_geo['x_utm'],$zone_geo['y_utm'],$zone_geo['sector']);
|
1184 |
jpm |
276 |
|
1149 |
gduche |
277 |
$indice_tableau_localites = $this->construireIndiceTableauLocalites($zone_geo['name'], $zone_geo['insee_code']);
|
|
|
278 |
$this->tableau_zones_geo[$indice_tableau_localites] = $zone_geo;
|
1184 |
jpm |
279 |
|
1149 |
gduche |
280 |
$sous_requete_insertion_valeurs .= '('.$this->proteger($zone_geo['nouveau_code_geo']).','.
|
|
|
281 |
$this->proteger($zone_geo['insee_code']).','.
|
|
|
282 |
$this->proteger($zone_geo['name']).','.
|
|
|
283 |
$this->proteger($zone_geo['sector']).','.
|
|
|
284 |
$this->proteger($zone_geo['x_utm']).','.
|
|
|
285 |
$this->proteger($zone_geo['y_utm']).','.
|
|
|
286 |
$this->proteger($lat_long['lat']).','.
|
|
|
287 |
$this->proteger($lat_long['long']).','.
|
|
|
288 |
$this->proteger($zone_geo['update_date']).
|
|
|
289 |
'),';
|
|
|
290 |
}
|
1184 |
jpm |
291 |
|
1149 |
gduche |
292 |
$sous_requete_insertion_valeurs = rtrim($sous_requete_insertion_valeurs,',');
|
1184 |
jpm |
293 |
|
1149 |
gduche |
294 |
$requete_insertion_nouvelles_zones_geo .= $sous_requete_insertion_valeurs;
|
1184 |
jpm |
295 |
|
1149 |
gduche |
296 |
$migration_zones_geo = $this->executerRequeteSimple($requete_insertion_nouvelles_zones_geo);
|
|
|
297 |
} else {
|
|
|
298 |
echo 'Fin de migration des zones géo '."\n";
|
1184 |
jpm |
299 |
return;
|
1149 |
gduche |
300 |
}
|
1184 |
jpm |
301 |
|
1149 |
gduche |
302 |
if ($migration_zones_geo) {
|
1184 |
jpm |
303 |
$nbTotal ++;
|
1149 |
gduche |
304 |
$this->afficherAvancement('Migration des zones (par '.$pas.')', $nbTotal);
|
|
|
305 |
} else {
|
|
|
306 |
exit('Erreur lors de la migration des zones géo '.$i.' à '.($i+$pas)."\n");
|
|
|
307 |
}
|
|
|
308 |
}
|
|
|
309 |
echo "\n---------------------------------------------------------------- OK\n\n";
|
|
|
310 |
}
|
1184 |
jpm |
311 |
|
1149 |
gduche |
312 |
private function convertirUtmVersLatLong($x, $y, $sector) {
|
|
|
313 |
$lat_long = array();
|
1184 |
jpm |
314 |
|
1149 |
gduche |
315 |
$convertisseur = new gPoint();
|
|
|
316 |
$convertisseur->setUTM($x, $y, $sector);
|
|
|
317 |
$convertisseur->convertTMtoLL();
|
|
|
318 |
$lat_long['lat'] = str_replace(',','.',$convertisseur->Lat());
|
|
|
319 |
$lat_long['long'] = str_replace(',','.',$convertisseur->Long());
|
1184 |
jpm |
320 |
|
1149 |
gduche |
321 |
return $lat_long;
|
|
|
322 |
}
|
1184 |
jpm |
323 |
|
1149 |
gduche |
324 |
private function migrerObs() {
|
|
|
325 |
$debut = 0;
|
|
|
326 |
$pas = 1000;
|
|
|
327 |
$nbTotal = 0;
|
1184 |
jpm |
328 |
|
1149 |
gduche |
329 |
//Selectionner le nombre d'observations
|
|
|
330 |
$requeteNbObs = "SELECT COUNT(*) as nb FROM cel_inventory";
|
|
|
331 |
$resultatNbObs = $this->executerRequete($requeteNbObs);
|
|
|
332 |
$fin = $resultatNbObs[0]['nb'];
|
1184 |
jpm |
333 |
|
1149 |
gduche |
334 |
for ($i = $debut; $i < $fin ; $i += $pas) {
|
|
|
335 |
$requete_selection_obs = 'SELECT * FROM cel_inventory '.
|
|
|
336 |
'ORDER BY identifiant LIMIT '.$i.','.$pas;
|
|
|
337 |
$observations = $this->requeter($requete_selection_obs);
|
1184 |
jpm |
338 |
|
1158 |
aurelien |
339 |
$requete_insertion_observations = 'INSERT IGNORE INTO '.self::$bdd_cel_migration.'.cel_obs (';
|
1184 |
jpm |
340 |
|
1149 |
gduche |
341 |
foreach ($this->tableau_nouveau_ancien as $nouveau_champ => $ancien_champ) {
|
|
|
342 |
$requete_insertion_observations .= $nouveau_champ.',';
|
1184 |
jpm |
343 |
}
|
|
|
344 |
|
1149 |
gduche |
345 |
$requete_insertion_observations = rtrim($requete_insertion_observations, ',');
|
|
|
346 |
$requete_insertion_observations = $requete_insertion_observations.') VALUES ';
|
1184 |
jpm |
347 |
|
|
|
348 |
if (count($observations) > 0) {
|
1149 |
gduche |
349 |
foreach($observations as $observation) {
|
|
|
350 |
$nouvelle_observation = $this->traiterLigneObservation($observation);
|
1184 |
jpm |
351 |
|
1189 |
jpm |
352 |
$nouvelle_observation = array_map(array($this, 'protegerSiNonNull'), $nouvelle_observation);
|
|
|
353 |
$requete_insertion_observations .= '('.join(',', array_values($nouvelle_observation)).'),';
|
1149 |
gduche |
354 |
}
|
1184 |
jpm |
355 |
|
1149 |
gduche |
356 |
$requete_insertion_observations = rtrim($requete_insertion_observations, ',');
|
1184 |
jpm |
357 |
|
1149 |
gduche |
358 |
$migration_observations = $this->executerRequeteSimple($requete_insertion_observations);
|
|
|
359 |
} else {
|
|
|
360 |
echo 'Fin de migration des observations '."\n"."\n";
|
1184 |
jpm |
361 |
return;
|
1149 |
gduche |
362 |
}
|
1184 |
jpm |
363 |
|
1149 |
gduche |
364 |
if ($migration_observations) {
|
1184 |
jpm |
365 |
$nbTotal ++;
|
1149 |
gduche |
366 |
$this->afficherAvancement('Migration des observations (par '.$pas.')', $nbTotal);
|
|
|
367 |
} else {
|
|
|
368 |
exit('Erreur lors de la migration des observation de '.$i.' à '.($i+$pas)."\n");
|
|
|
369 |
}
|
|
|
370 |
}
|
|
|
371 |
if (sizeof($this->communesOubliees) > 0) {
|
1158 |
aurelien |
372 |
echo "\nxxxxxxxxx communes oubliées : ".sizeof($this->communesOubliees)." xxxxxxxxx \\n";
|
1149 |
gduche |
373 |
}
|
|
|
374 |
echo "\n---------------------------------------------------------------- OK\n\n";
|
|
|
375 |
}
|
1184 |
jpm |
376 |
|
|
|
377 |
private function ordonnerObs() {
|
1186 |
jpm |
378 |
$requete = 'ALTER TABLE '.self::$bdd_cel_migration.'.cel_obs ORDER BY id_observation';
|
1184 |
jpm |
379 |
$this->executerRequeteSimple($requete);
|
|
|
380 |
}
|
|
|
381 |
|
1149 |
gduche |
382 |
private function traiterLigneObservation($obs) {
|
|
|
383 |
$nouvelle_obs = array();
|
1184 |
jpm |
384 |
foreach($this->tableau_nouveau_ancien as $nouveau_champ_obs => $ancien_champ_obs) {
|
1149 |
gduche |
385 |
if ($this->estUnChampATraiter($ancien_champ_obs)) {
|
1186 |
jpm |
386 |
if (method_exists($this, $ancien_champ_obs)) {
|
1149 |
gduche |
387 |
$nouvelle_obs[$nouveau_champ_obs] = $this->$ancien_champ_obs($obs);
|
|
|
388 |
} else {
|
|
|
389 |
$nouvelle_obs[$nouveau_champ_obs] = '';
|
|
|
390 |
}
|
|
|
391 |
} else {
|
1186 |
jpm |
392 |
if ($obs[$ancien_champ_obs] == '000null' || $obs[$ancien_champ_obs] == 'null' || trim($obs[$ancien_champ_obs]) == '') {
|
1158 |
aurelien |
393 |
$obs[$ancien_champ_obs] = 'NULL';
|
|
|
394 |
}
|
1184 |
jpm |
395 |
|
1186 |
jpm |
396 |
if (($ancien_champ_obs == 'coord_x' || $ancien_champ_obs == 'coord_y') && ($obs[$ancien_champ_obs] == '0' || $obs[$ancien_champ_obs] == 0)) {
|
1158 |
aurelien |
397 |
$obs[$ancien_champ_obs] = 'NULL';
|
|
|
398 |
}
|
1184 |
jpm |
399 |
|
1149 |
gduche |
400 |
$nouvelle_obs[$nouveau_champ_obs] = $obs[$ancien_champ_obs];
|
|
|
401 |
}
|
|
|
402 |
}
|
|
|
403 |
return $nouvelle_obs;
|
|
|
404 |
}
|
1184 |
jpm |
405 |
|
1158 |
aurelien |
406 |
private function protegerSiNonNull($valeur) {
|
1186 |
jpm |
407 |
if ($valeur != 'NULL') {
|
1158 |
aurelien |
408 |
$valeur = $this->proteger($valeur);
|
|
|
409 |
}
|
|
|
410 |
return $valeur;
|
|
|
411 |
}
|
1184 |
jpm |
412 |
|
1149 |
gduche |
413 |
private function estUnChampATraiter($champ) {
|
|
|
414 |
return strpos($champ,'traiter') !== false;
|
|
|
415 |
}
|
1184 |
jpm |
416 |
|
1149 |
gduche |
417 |
private function traiterReferentiel($observation) {
|
1186 |
jpm |
418 |
$retour = 'NULL';
|
|
|
419 |
if ($observation['num_nom_sel'] != '' && $observation['num_nom_sel'] != '0') {
|
|
|
420 |
$retour = 'bdnff:4.02';
|
|
|
421 |
}
|
|
|
422 |
return $retour;
|
1149 |
gduche |
423 |
}
|
1184 |
jpm |
424 |
|
1189 |
jpm |
425 |
private function traiterLat(&$observation) {
|
|
|
426 |
if ($this->etreNull($observation['coord_x'])) {
|
|
|
427 |
$observation['coord_x'] = 'NULL';
|
|
|
428 |
} else if (preg_match(self::PATTERN_LAT, $observation['coord_x']) == false) {
|
|
|
429 |
$latNote = 'Latitude éronnée : '.$observation['coord_x'];
|
|
|
430 |
if ($this->etreNull($observation['commentaire'])) {
|
|
|
431 |
$observation['commentaire'] = $latNote;
|
|
|
432 |
} else {
|
|
|
433 |
$observation['commentaire'] .= "\n".$latNote;
|
|
|
434 |
}
|
|
|
435 |
$observation['coord_x'] = 'NULL';
|
|
|
436 |
}
|
|
|
437 |
$retour = $observation['coord_x'];
|
|
|
438 |
return $retour;
|
|
|
439 |
}
|
|
|
440 |
|
|
|
441 |
private function traiterLng(&$observation) {
|
|
|
442 |
if ($this->etreNull($observation['coord_y'])) {
|
|
|
443 |
$observation['coord_y'] = 'NULL';
|
|
|
444 |
} else if (preg_match(self::PATTERN_LNG, $observation['coord_y']) == false) {
|
|
|
445 |
$lngNote = 'Longitude éronnée : '.$observation['coord_y'];
|
|
|
446 |
if ($this->etreNull($observation['commentaire'])) {
|
|
|
447 |
$observation['commentaire'] = $lngNote;
|
|
|
448 |
} else {
|
|
|
449 |
$observation['commentaire'] .= "\n".$lngNote;
|
|
|
450 |
}
|
|
|
451 |
$observation['coord_y'] = 'NULL';
|
|
|
452 |
}
|
|
|
453 |
$retour = $observation['coord_y'];
|
|
|
454 |
return $retour;
|
|
|
455 |
}
|
|
|
456 |
|
1186 |
jpm |
457 |
private function traiterGeodatum($observation) {
|
|
|
458 |
$retour = 'NULL';
|
|
|
459 |
if ($observation['coord_x'] != 'NULL' && $observation['coord_y'] != 'NULL') {
|
|
|
460 |
$retour = 'WGS84';
|
|
|
461 |
}
|
|
|
462 |
return $retour;
|
|
|
463 |
}
|
|
|
464 |
|
1149 |
gduche |
465 |
private function traiterMotsClesTexte($ligne_observation) {
|
|
|
466 |
$mail_observation = $ligne_observation['identifiant'];
|
1184 |
jpm |
467 |
$retour = $ligne_observation['mots_cles'];
|
1149 |
gduche |
468 |
if (isset($this->tableau_mots_cles[$mail_observation])) {
|
|
|
469 |
$mots_cles_tableau = $this->parserMotsCles($mail_observation, $ligne_observation['mots_cles'], ';');
|
1186 |
jpm |
470 |
$retour = join(',', $mots_cles_tableau);
|
|
|
471 |
$retour = ltrim($retour, ',,') ;
|
1149 |
gduche |
472 |
}
|
1184 |
jpm |
473 |
|
1149 |
gduche |
474 |
return $retour;
|
1184 |
jpm |
475 |
}
|
|
|
476 |
|
1149 |
gduche |
477 |
private function parserMotsCles($utilisateur, $mot_cles, $separateur = ',') {
|
|
|
478 |
$tableau_mots_cles = explode($separateur,$mot_cles);
|
|
|
479 |
$tableau_mots_cles_formates = array();
|
1184 |
jpm |
480 |
|
1186 |
jpm |
481 |
foreach ($tableau_mots_cles as $mot_cle) {
|
1184 |
jpm |
482 |
|
1149 |
gduche |
483 |
$mot_cle = str_replace($separateur.$separateur,'',$mot_cle);
|
|
|
484 |
$mot_cle = str_replace('null','',$mot_cle);
|
1184 |
jpm |
485 |
|
1149 |
gduche |
486 |
if ($this->estUnIdentifiantMotCle($mot_cle)) {
|
1184 |
jpm |
487 |
|
1149 |
gduche |
488 |
// certains mots clés mal formatés contiennent des virgules
|
|
|
489 |
if (strpos($mot_cle,',') !== false) {
|
|
|
490 |
$tab_mot_cle_mal_formate = explode(',',$mot_cle);
|
1184 |
jpm |
491 |
|
1149 |
gduche |
492 |
foreach ($tab_mot_cle_mal_formate as $mot_cle_mal_formate) {
|
|
|
493 |
if ($this->estUnIdentifiantMotCle($mot_cle_mal_formate)) {
|
|
|
494 |
$tableau_mots_cles_formates[$mot_cle_mal_formate] = $this->tableau_mots_cles[$utilisateur][$mot_cle_mal_formate]['mot_cle'];
|
|
|
495 |
}
|
1184 |
jpm |
496 |
}
|
1149 |
gduche |
497 |
} else {
|
|
|
498 |
// on met le mot clé dans sa propre case afin d'éviter
|
1184 |
jpm |
499 |
// facilement les doublons provoqués par de mauvais formatages
|
|
|
500 |
if (isset($this->tableau_mots_cles[$utilisateur][$mot_cle]) && trim($this->tableau_mots_cles[$utilisateur][$mot_cle]['mot_cle']) != '') {
|
1149 |
gduche |
501 |
$tableau_mots_cles_formates[$mot_cle] = $this->tableau_mots_cles[$utilisateur][$mot_cle]['mot_cle'];
|
|
|
502 |
}
|
|
|
503 |
}
|
|
|
504 |
|
|
|
505 |
}
|
|
|
506 |
}
|
1184 |
jpm |
507 |
|
1149 |
gduche |
508 |
return $tableau_mots_cles_formates;
|
|
|
509 |
}
|
1184 |
jpm |
510 |
|
1149 |
gduche |
511 |
private function estUnIdentifiantMotCle($chaine) {
|
|
|
512 |
return trim($chaine) != '' && preg_match('/[0-9A-Z]+\.[0-9A-Z]+/i', $chaine) ;
|
|
|
513 |
}
|
1184 |
jpm |
514 |
|
1149 |
gduche |
515 |
private function traiterIdentifiantUtilisateur($ligne_observation) {
|
|
|
516 |
$mail_observation = $ligne_observation['identifiant'];
|
1181 |
aurelien |
517 |
$retour = $this->renvoyerIdPourMigration($mail_observation);
|
1149 |
gduche |
518 |
return $retour;
|
|
|
519 |
}
|
1184 |
jpm |
520 |
|
1149 |
gduche |
521 |
private function traiterPrenomUtilisateur($ligne_observation) {
|
|
|
522 |
$mail_observation = $ligne_observation['identifiant'];
|
1184 |
jpm |
523 |
|
|
|
524 |
$retour = '';
|
1149 |
gduche |
525 |
if (isset($this->tableau_utilisateurs[$mail_observation])) {
|
1184 |
jpm |
526 |
$prenom = $this->tableau_utilisateurs[$mail_observation]['prenom'];
|
|
|
527 |
$retour = self::formaterMotPremiereLettreChaqueMotEnMajuscule($prenom);
|
1149 |
gduche |
528 |
}
|
|
|
529 |
return $retour;
|
|
|
530 |
}
|
1184 |
jpm |
531 |
|
1149 |
gduche |
532 |
private function traiterNomUtilisateur($ligne_observation) {
|
|
|
533 |
$mail_observation = $ligne_observation['identifiant'];
|
1184 |
jpm |
534 |
|
|
|
535 |
$retour = '';
|
1149 |
gduche |
536 |
if (isset($this->tableau_utilisateurs[$mail_observation])) {
|
1184 |
jpm |
537 |
$nom = $this->tableau_utilisateurs[$mail_observation]['nom'];
|
|
|
538 |
$retour = self::formaterMotEnMajuscule($nom);
|
1149 |
gduche |
539 |
}
|
|
|
540 |
return $retour;
|
|
|
541 |
}
|
1184 |
jpm |
542 |
|
|
|
543 |
public static function formaterMotPremiereLettreChaqueMotEnMajuscule($chaine, $encodage= 'UTF-8') {
|
|
|
544 |
$chaine = str_replace('-', ' - ', $chaine);
|
|
|
545 |
$chaine = mb_strtolower($chaine, $encodage);
|
|
|
546 |
$chaine = mb_convert_case($chaine, MB_CASE_TITLE, $encodage);
|
|
|
547 |
$chaine = str_replace(' - ', '-', $chaine);
|
|
|
548 |
return $chaine;
|
|
|
549 |
}
|
|
|
550 |
|
|
|
551 |
public static function formaterMotEnMajuscule($chaine, $encodage= 'UTF-8') {
|
|
|
552 |
return mb_convert_case($chaine, MB_CASE_UPPER, $encodage);
|
|
|
553 |
}
|
|
|
554 |
|
1149 |
gduche |
555 |
private function traiterZoneGeo($ligne_observation) {
|
1184 |
jpm |
556 |
|
1149 |
gduche |
557 |
$zone_geo = $ligne_observation['location'];
|
1184 |
jpm |
558 |
|
|
|
559 |
if ($ligne_observation['id_location'] != null && !is_numeric($ligne_observation['id_location']) && $ligne_observation['id_location'] != '000null') {
|
1149 |
gduche |
560 |
$id_zone_geo_ancienne = $ligne_observation['id_location'];
|
1184 |
jpm |
561 |
if ($zone_geo != '') {
|
1149 |
gduche |
562 |
$id_zone_geo_ancienne = '('.$id_zone_geo_ancienne.')';
|
|
|
563 |
}
|
1184 |
jpm |
564 |
|
1149 |
gduche |
565 |
$zone_geo .= $id_zone_geo_ancienne;
|
1184 |
jpm |
566 |
} else if ($ligne_observation['location'] == null || $ligne_observation['location'] == "" || $ligne_observation['location'] == "000null") {
|
|
|
567 |
|
|
|
568 |
if ($ligne_observation['id_location'] != '' && $ligne_observation['id_location'] != '000null') {
|
1158 |
aurelien |
569 |
$id_zone_geo_ancienne = $ligne_observation['id_location'];
|
|
|
570 |
$id_zone_geo_ancienne = $id_zone_geo_ancienne;
|
|
|
571 |
$zone_geo = $id_zone_geo_ancienne;
|
|
|
572 |
} else {
|
|
|
573 |
$zones_geo = 'NULL';
|
|
|
574 |
}
|
1149 |
gduche |
575 |
}
|
1184 |
jpm |
576 |
|
1149 |
gduche |
577 |
return $zone_geo;
|
|
|
578 |
}
|
1184 |
jpm |
579 |
|
1149 |
gduche |
580 |
private function traiterIdentifiantZoneGeo($ligne_observation) {
|
|
|
581 |
$id_zone_geo = '';
|
1184 |
jpm |
582 |
|
|
|
583 |
if ($ligne_observation['id_location'] != '' && $ligne_observation['id_location'] != '000null') {
|
1149 |
gduche |
584 |
$indice = $this->construireIndiceTableauLocalites($ligne_observation['location'], $ligne_observation['id_location']);
|
1184 |
jpm |
585 |
if (isset($this->tableau_zones_geo[$indice])) {
|
1149 |
gduche |
586 |
$id_zone_geo = $this->tableau_zones_geo[$indice]['nouveau_code_geo'];
|
|
|
587 |
} else {
|
1184 |
jpm |
588 |
if ($ligne_observation['location'] != "000null") {
|
1149 |
gduche |
589 |
$this->communesOubliees[$indice] = false;
|
|
|
590 |
}
|
|
|
591 |
}
|
1158 |
aurelien |
592 |
} else {
|
|
|
593 |
$id_zone_geo = 'NULL';
|
1149 |
gduche |
594 |
}
|
1184 |
jpm |
595 |
|
1149 |
gduche |
596 |
return $id_zone_geo;
|
|
|
597 |
}
|
1184 |
jpm |
598 |
|
1149 |
gduche |
599 |
private function construireIndiceTableauLocalites($nom, $id) {
|
|
|
600 |
$nom = htmlentities($nom, ENT_NOQUOTES, 'UTF-8');
|
1184 |
jpm |
601 |
|
1149 |
gduche |
602 |
$nom = preg_replace('#&([A-za-z])(?:acute|cedil|circ|grave|orn|ring|slash|th|tilde|uml);#', '\1', $nom);
|
|
|
603 |
$nom = preg_replace('#&([A-za-z]{2})(?:lig);#', '\1', $nom); // pour les ligatures e.g. 'œ'
|
|
|
604 |
$nom = preg_replace('#&[^;]+;#', '', $nom); // supprime les autres caractères
|
1184 |
jpm |
605 |
|
1149 |
gduche |
606 |
$nom = str_replace("'",'_',$nom);
|
|
|
607 |
$nom = str_replace(' ','_',$nom);
|
|
|
608 |
$nom = str_replace('-','_',$nom);
|
|
|
609 |
$nom = str_replace(' ','_',$nom);
|
|
|
610 |
$indice = strtolower($nom).substr($id,0,2);
|
1184 |
jpm |
611 |
|
1149 |
gduche |
612 |
return $indice;
|
1184 |
jpm |
613 |
}
|
|
|
614 |
|
|
|
615 |
// Par défaut, on garde l'utilisateur tel quel (cas de la chaine de session des utilisateur anonymes)
|
1181 |
aurelien |
616 |
private function renvoyerIdPourMigration($utilisateur) {
|
|
|
617 |
$retour = $utilisateur;
|
|
|
618 |
// si le mail correspond a un utilisateur de la bdd
|
|
|
619 |
if (isset($this->tableau_utilisateurs[$utilisateur])) {
|
1184 |
jpm |
620 |
// on renvoie son id
|
|
|
621 |
$retour = $this->tableau_utilisateurs[$utilisateur]['id'];
|
|
|
622 |
} else if ($utilisateur != '') {
|
|
|
623 |
// sinon si c'est un mail inconnu, on garde le md5
|
|
|
624 |
if ($this->mailValide($utilisateur)) {
|
|
|
625 |
$retour = md5($utilisateur);
|
|
|
626 |
}
|
1181 |
aurelien |
627 |
}
|
|
|
628 |
return $retour;
|
|
|
629 |
}
|
1184 |
jpm |
630 |
|
1181 |
aurelien |
631 |
public function mailValide($mail) {
|
|
|
632 |
// vérification bidon mais ça suffit pour ici
|
1184 |
jpm |
633 |
return !(strpos('@', $mail) === false);
|
1181 |
aurelien |
634 |
}
|
1149 |
gduche |
635 |
}
|