Subversion Repositories eFlore/Applications.cel

Rev

Rev 2936 | Rev 3297 | Go to most recent revision | Details | Compare with Previous | Last modification | View Log | RSS feed

Rev Author Line No. Line
2893 delphine 1
<?php
2
// declare(encoding='UTF-8');
3
/**
4
 * Classe de nettoyage de la base de données du CEL.
5
 * Suppression des antislash
6
 * Remplacement des chaines vides par des NULL
7
 * Unifier les référentiels : pas de nom de version, majuscule...
8
 * Unifier les certitudes
9
 * Supprimer les INSEE-C: non rempli, les dates 0000-00
10
 *
11
 * Utilisation :
12
 * - <code>/opt/lamp/bin/php cli.php nettoyage -a (voir méthode executer)</code>
13
 *
14
 * @category   CEL
15
 * @package    Scripts
16
 * @subpackage Nettoyage
17
 * @author     Delphine CAUQUIL <delphine@tela-botanica.org>
18
 * @license    GPL v3 <http://www.gnu.org/licenses/gpl.txt>
19
 * @license    CECILL v2 <http://www.cecill.info/licences/Licence_CeCILL_V2-en.txt>
20
 * @copyright  1999-2016 Tela Botanica <accueil@tela-botanica.org>
21
 */
22
class Nettoyage extends Script {
23
 
24
	protected $bdd;
2936 delphine 25
	protected $colonnes;
2893 delphine 26
 
27
 
28
	public function __construct($script_nom, $parametres_cli) {
29
		parent::__construct($script_nom, $parametres_cli);
30
		$this->bdd = new Bdd();
31
	}
32
 
33
	public function executer() {
34
		$cmd = $this->getParametre('a');
3258 delphine 35
		$requete_colonnes = "SELECT column_name FROM information_schema.columns WHERE table_name = 'tb_nettoye_cel.cel_obs' AND table_schema='tb_cel';";
2936 delphine 36
		$this->colonnes = $this->bdd->recupererTous($requete_colonnes);
2893 delphine 37
		try {
38
			switch ($cmd) {
39
				case 'tout' :
2936 delphine 40
					$this->supprimerRetourLigne();
2893 delphine 41
					$this->supprimerAntislash();
2936 delphine 42
					$this->supprimerGuillement();
3258 delphine 43
					$this->unifierNull();
2893 delphine 44
					$this->unifierNomReferentiel();
45
					$this->unifierCertitude();
3258 delphine 46
					$this->supprimerCertitudeAutre();
47
					$this->unifierUtilisateur();
48
					$this->verifierCodeInsee();
2893 delphine 49
					$this->verifierGeodatum();
3258 delphine 50
					$this->analyserMotsCles();
51
					$this->supprimerInfosLiesObsInexistante();
2893 delphine 52
					$this->unifierNull();
53
					break;
54
				case 'supprimerAntislash' :
55
					$this->supprimerAntislash();
56
					break;
57
				case 'unifierNomReferentiel' :
58
					$this->unifierNomReferentiel();
59
					break;
60
				case 'unifierCertitude' :
61
					$this->unifierCertitude();
62
					break;
3258 delphine 63
				case 'supprimerCertitudeAutre' : // après unifier certitude si les autres valeurs sont bien à supprimer
64
				    $this->supprimerCertitudeAutre();
65
				    break;
66
				case 'analyserMotsCles' : // après unifier certitude si les autres valeurs sont bien à supprimer
67
				    $this->analyserMotsCles();
68
				    break;
2893 delphine 69
				case 'verifierGeodatum' :
70
					$this->verifierGeodatum();
71
					break;
3258 delphine 72
				case 'verifierCodeInsee' :
73
				    $this->verifierCodeInsee();
74
				    break;
2893 delphine 75
				case 'unifierNull' : // lancer en dernier pour bien réussir
76
					$this->unifierNull();
77
					break;
3258 delphine 78
				case 'supprimerInfosLiesObsInexistante' :
79
				    $this->supprimerInfosLiesObsInexistante();
80
				    break;
81
				case 'unifierUtilisateur' :
82
				    $this->unifierUtilisateur();
83
				    break;
2893 delphine 84
				default :
85
					$msg = "Erreur : la commande '$cmd' n'existe pas!\n".
86
						"Commandes existantes : regenererMotsClesTexteObs, regenererMotsClesTexteImages"
87
							. ", regenererMotsClesTexteObsTout, regenererMotsClesTexteImagesTout"
88
							. ", viderMotsClesTexteImagesSansMotsCles, viderMotsClesTexteObsSansMotsCles"
89
							. ", regenererChampsTailleImage, reparerLiaisonsOublieesObs, reparerLiaisonsOublieesImages"
90
							. ", reparerLiaisonsObsParMotsClesTexte, reductionMotsClesImages, reductionMotsClesImagesUtil"
91
							. ", reduireEtNormaliserMotsClesImagesUtil, reduireEtNormaliserMotsClesImages"
92
							. ", reductionMotsClesObs, reductionMotsClesObsUtil, reduireEtNormaliserMotsClesObsUtil"
93
							. ", reduireEtNormaliserMotsClesObs";
94
					throw new Exception($msg);
95
			}
96
		} catch (Exception $e) {
97
			$this->traiterErreur($e->getMessage());
98
		}
99
	}
100
 
101
 
2936 delphine 102
	private function supprimerRetourLigne() {
103
		foreach ($this->colonnes as $id=>$colonne) {
104
			echo "Suppression des retour ligne dans la colonne ".$colonne['column_name']." ...";
3258 delphine 105
			$requete = "UPDATE tb_nettoye_cel.cel_obs SET ".$colonne['column_name']." = REPLACE(".$colonne['column_name'].', "\n", "")';
2936 delphine 106
			$this->bdd->requeter($requete);
107
			echo "effectuée \n";
108
		}
109
	}
2893 delphine 110
 
111
	private function supprimerAntislash() {
2936 delphine 112
		foreach ($this->colonnes as $id=>$colonne) {
2893 delphine 113
			echo "Suppression des antislash dans la colonne ".$colonne['column_name']." ...";
3258 delphine 114
			$requete = "UPDATE tb_nettoye_cel.cel_obs SET ".$colonne['column_name']." = REPLACE(".$colonne['column_name'].', "\", "")';
2893 delphine 115
			$this->bdd->requeter($requete);
116
			echo "effectuée \n";
117
		}
118
	}
119
 
2936 delphine 120
	private function supprimerGuillemet() {
121
		foreach ($this->colonnes as $id=>$colonne) {
122
			echo "Suppression des guillements dans la colonne ".$colonne['column_name']." ...";
3258 delphine 123
			$requete = "UPDATE tb_nettoye_cel.cel_obs SET ".$colonne['column_name']." = REPLACE(".$colonne['column_name'].',"\"", "")';
2936 delphine 124
			$this->bdd->requeter($requete);
125
			echo "effectuée \n";
126
		}
127
	}
128
 
2893 delphine 129
	private function unifierNull() {
3258 delphine 130
		$requete_colonnes = "SELECT column_name FROM information_schema.columns WHERE table_name = 'tb_nettoye_cel.cel_obs' AND table_schema='tb_cel';";
2893 delphine 131
		$colonnes = $this->bdd->recupererTous($requete_colonnes);
132
		foreach ($colonnes as $colonne) {
133
			echo "Suppression des vides dans la colonne ".$colonne['column_name']." ...";
2895 delphine 134
			$dsl = array( 'transmission', 'altitude');
2894 delphine 135
			if (isset($dsl[$colonne['column_name']])) {
3258 delphine 136
				$requete = "UPDATE tb_nettoye_cel.cel_obs SET ".$colonne['column_name']." = NULL WHERE ".$colonne['column_name']."= ''";
2894 delphine 137
			} else {
3258 delphine 138
				$requete = "UPDATE tb_nettoye_cel.cel_obs SET ".$colonne['column_name']." = NULL WHERE ".$colonne['column_name']."= '' OR ".$colonne['column_name']." IN ('INSEE-C:', '0000-00-00 00:00:00', '0.00000')";
2894 delphine 139
			}
2893 delphine 140
			$this->bdd->requeter($requete);
141
			echo "effectuée \n";
142
		}
143
	}
144
 
145
	private function unifierCertitude() {
146
		echo "Uniformisation du champ certitude/identification";
3258 delphine 147
		$certitude = array("A déterminer" => "à déterminer",
148
		    "À déterminer, voir photo" => "à déterminer",
149
		    "aDeterminer" => "à déterminer",
150
		    "déterminer" => "à déterminer",
151
		    "Inconnue" => "à déterminer",
152
		    "Ceraine" => "certain",
153
		    "certain" => "certain",
154
		    "Certainaaua" => "certain",
155
		    "Certaine" => "certain",
156
		    "Certaine K- rhizines blanche" => "certain",
157
		    "Certaine ( mais voir notes)" => "certain",
158
		    "Certaine (à 99%)" => "certain",
159
		    "Certaine Anett" => "certain",
160
		    "Certaine Anette" => "certain",
161
		    "Certaine Valériane officinale" => "certain",
162
		    "Certaine, Faite et confirmée par JM BERAUD" => "certain",
163
		    "Certaine, par Jean Lebail" => "certain",
164
		    "Certaine, subsp. minus" => "certain",
165
		    "Certainea" => "certain",
166
		    "Certaineanno" => "certain",
167
		    "Certainearia n" => "certain",
168
		    "Certainee" => "certain",
169
		    "Certainej" => "certain",
170
		    "Certainel" => "certain",
171
		    "CertaineNom de travai" => "certain",
172
		    "CertaineNom de travail" => "certain",
173
		    "Certainesites" => "certain",
174
		    "Certainesous-bois de feuillus en versant sud à sud-ouest" => "certain",
175
		    "Certaineu" => "certain",
176
		    "sure" => "certain",
177
		    "validée sur forum Naturalistes de l'ouest" => "certain",
178
		    "à confirmer" => "douteux",
179
		    "à approfondir" => "douteux",
180
		    "à cofirmer" => "douteux",
181
		    "À confiermer" => "douteux",
182
		    "A confirlmer" => "douteux",
183
		    "A confirmer" => "douteux",
184
		    "à confirmer vs. pumilum" => "douteux",
185
		    "à conirmer" => "douteux",
186
		    "à vérifier" => "douteux",
187
		    "douteuse" => "douteux",
188
		    "Douteuse (canadensis ?)" => "douteux",
189
		    "Douteuse ?" => "douteux",
190
		    "Douteuse à confirmer" => "douteux",
191
		    "Douteuse peut-être cordata" => "douteux",
192
		    "Douteuse, fleurs rouges" => "douteux",
193
		    "douteux" => "douteux",
194
		    "espèce bisannuelle mais non bien déterminée" => "douteux",
195
		    "Incertaine" => "douteux",
196
		    "Pavot douteux" => "douteux",
197
		    "Potentille ansérine, supposé" => "douteux",
198
		    "presque certaine" => "douteux",
199
		    "Quasi Certaine" => "douteux",
200
		    "ssp déterminer" => "douteux",
201
		    "subsp à vérifier" => "douteux",
202
		    "subsp. microphyllum ?" => "douteux",
203
		    "très douteuse" => "douteux",
204
		    "Très probable" => "douteux");
2893 delphine 205
		foreach ($certitude as $valeur=>$saisie) {
3258 delphine 206
			$requete = "UPDATE tb_nettoye_cel.cel_obs SET commentaire = concat(commentaire, ' ', certitude), certitude = '".$saisie."' WHERE certitude ='".$valeur."'";
2893 delphine 207
			$this->bdd->requeter($requete);
208
			echo "effectuée \n";
209
		}
3258 delphine 210
		$requete_verif = "SELECT certitude FROM tb_nettoye_cel.cel_obs WHERE certitude NOT IN ('douteux', 'certain', 'aDeterminer', '', NULL)";
2893 delphine 211
		$verif = $this->bdd->recupererTous($requete_verif);
212
		if ($verif != array()) print_r($verif);
213
	}
214
 
3258 delphine 215
	private function supprimerCertitudeAutre() {
216
	    echo "suppression des valeurs non compréhensible du champ certitude/identification";
217
	    $requete = "UPDATE tb_nettoye_cel.cel_obs
218
	        SET commentaire = case isnull(commentaire) when 1 THEN certitude ELSE concat(commentaire, ' ', certitude) END,
219
	        certitude IS NULL WHERE `certitude` NOT IN ('douteux', 'certain', 'aDeterminer', '') and certitude is not NULL";
220
	    $this->bdd->requeter($requete);
221
	        echo "effectuée \n";
222
	    $requete_verif = "SELECT certitude FROM tb_nettoye_cel.cel_obs WHERE certitude NOT IN ('douteux', 'certain', 'aDeterminer', '', NULL)";
223
	    $verif = $this->bdd->recupererTous($requete_verif);
224
	    if ($verif != array()) print_r($verif);
225
	}
226
 
227
	private function unifierUtilisateur() {
228
	     echo "suppression des images anonymes";
229
	    $requete_anonyme = "DELETE FROM tb_nettoye_cel.`cel_images` WHERE (ce_utilisateur IS NULL OR LENGTH(ce_utilisateur) > 6
230
	        OR ce_utilisateur = 0) and `courriel_utilisateur` is null";
231
	    $this->bdd->requeter($requete_anonyme);
232
	    echo "suppression des tags images anonymes";
233
	    $requete_anonyme = "DELETE FROM tb_nettoye_cel.`cel_arbre_mots_cles_images` WHERE id_utilisateur in (select ce_utilisateur FROM tb_nettoye_cel.`cel_obs` WHERE (ce_utilisateur IS NULL OR LENGTH(ce_utilisateur) > 6
234
	        OR ce_utilisateur = 0) and `courriel_utilisateur` is null)";
235
	    $this->bdd->requeter($requete_anonyme);
236
	    echo "suppression des tags obs anonymes";
237
	    $requete_anonyme = "DELETE FROM tb_nettoye_cel.`cel_arbre_mots_cles_obs` WHERE id_utilisateur in (select ce_utilisateur FROM tb_nettoye_cel.`cel_obs` WHERE (ce_utilisateur IS NULL OR LENGTH(ce_utilisateur) > 6
238
	        OR ce_utilisateur = 0) and `courriel_utilisateur` is null)";
239
	    $this->bdd->requeter($requete_anonyme);
240
	    echo "suppression des obs anonymes";
241
	    $requete_anonyme = "DELETE FROM tb_nettoye_cel.`cel_obs` WHERE (ce_utilisateur IS NULL OR LENGTH(ce_utilisateur) > 6
242
	        OR ce_utilisateur = 0) and `courriel_utilisateur` is null";
243
	    $this->bdd->requeter($requete_anonyme);
244
 
245
	    echo "modification des observations ayant une adresse mail en identifiant";
246
	    $requete_annu_mail = "UPDATE tb_nettoye_cel.`cel_obs` join tela_prod_v4.`annuaire_tela` ON `U_MAIL` = ce_utilisateur SET `ce_utilisateur` = `U_ID`, `prenom_utilisateur` = `U_NAME`, `nom_utilisateur` = `U_SURNAME` ,
247
	        `courriel_utilisateur` =  `U_MAIL`  WHERE ce_utilisateur like '%@%'";
248
	    $utilisateur_mail = $this->bdd->recupererTous($requete_annu_mail);
249
 
250
	    echo "modification des observations ayant une adresse mail mais pas d'identifiant";
251
	    $requete_annu_mail = "UPDATE tb_nettoye_cel.`cel_obs` join tela_prod_v4.`annuaire_tela` ON `U_MAIL` = courriel_utilisateur SET `ce_utilisateur` = `U_ID`, `prenom_utilisateur` = `U_NAME`, `nom_utilisateur` = `U_SURNAME` ,
252
	        `courriel_utilisateur` =  `U_MAIL`  WHERE (ce_utilisateur IS NULL OR LENGTH(ce_utilisateur) > 6
253
	        OR ce_utilisateur = 0) and courriel_utilisateur like '%@%'";
254
	    $utilisateur_mail = $this->bdd->recupererTous($requete_annu_mail);
255
 
256
	    echo "modification des observations ayant un identifiant";
257
	    $requete_annu_mail = "UPDATE tb_nettoye_cel.`cel_obs` join tela_prod_v4.`annuaire_tela` ON U_ID = ce_utilisateur SET `prenom_utilisateur` = `U_NAME`, `nom_utilisateur` = `U_SURNAME` ,
258
	        `courriel_utilisateur` =  `U_MAIL` WHERE (ce_utilisateur IS NOT NULL OR LENGTH(ce_utilisateur) > 6) and courriel_utilisateur not like '%@%'";
259
	    $utilisateur_mail = $this->bdd->recupererTous($requete_annu_mail);
260
 
261
	    $requete_verif = "SELECT `ce_utilisateur`, `prenom_utilisateur`, `nom_utilisateur`, `courriel_utilisateur`  FROM tb_nettoye_cel.cel_obs
262
	            WHERE ce_utilisateur IS NOT NULL OR LENGTH(ce_utilisateur) > 6";
263
	    $verif = $this->bdd->recupererTous($requete_verif);
264
	    if ($verif != array()) print_r($verif);
265
	}
266
 
2893 delphine 267
	private function unifierNomReferentiel() {
268
		echo "Uniformisation du nom de référentiel";
269
		$referentiels = array("BDTFX", "BDTRE", "BDTXA", "APD", "LBF", "ISFAN");
270
		foreach ($referentiels as $referentiel) {
3258 delphine 271
			$requete = "UPDATE tb_nettoye_cel.cel_obs SET nom_referentiel = '".$referentiel."' WHERE nom_referentiel like '".$referentiel."%'";
2893 delphine 272
			$this->bdd->requeter($requete);
3258 delphine 273
			$requete = "UPDATE tb_nettoye_cel.cel_obs SET nom_referentiel = NULL WHERE nom_sel_nn = '' or nom_sel_nn = '0'";
2894 delphine 274
			$this->bdd->requeter($requete);
3258 delphine 275
			$requete = "UPDATE tb_nettoye_cel.cel_obs SET nom_referentiel = 'APD' WHERE nom_referentiel like 'bdtao%'";
2895 delphine 276
			$this->bdd->requeter($requete);
3258 delphine 277
			$requete = "UPDATE tb_nettoye_cel.cel_obs SET nom_referentiel = 'BDTFX' WHERE nom_referentiel like 'bdnff%'";
2895 delphine 278
			$this->bdd->requeter($requete);
2893 delphine 279
			echo "effectuée \n";
280
		}
3258 delphine 281
		$requete_verif = "SELECT nom_referentiel FROM tb_nettoye_cel.cel_obs WHERE nom_referentiel NOT IN ('".implode("', '", $referentiels)."', 'autre')";
2893 delphine 282
		$verif = $this->bdd->recupererTous($requete_verif);
283
		if ($verif != array()) print_r($verif);
284
	}
285
 
3258 delphine 286
	private function supprimerInfosLiesObsInexistante() {
287
	    echo "Supprimer infos liés à obs inexistante";
288
	    $requete = "DELETE FROM tb_nettoye_cel.`cel_obs_etendues` WHERE `id_observation` not in (select `id_observation` from tb_nettoye_cel.cel_obs);";
289
	    $this->bdd->requeter($requete);
290
	    $requete = "DELETE FROM tb_nettoye_cel.`cel_mots_cles_obs_liaison` WHERE `id_element_lie` not in (select `id_observation` from tb_nettoye_cel.cel_obs);";
291
	    $this->bdd->requeter($requete);
292
	    $requete = "DELETE FROM tb_nettoye_cel.`cel_mots_cles_images_liaison` WHERE `id_element_lie` not in (select `id_observation` from tb_nettoye_cel.cel_obs);";
293
	    $this->bdd->requeter($requete);
294
	    echo "effectuée \n";
295
	}
296
 
2893 delphine 297
	private function verifierGeodatum() {
298
		echo "Uniformisation du geodatum";
3258 delphine 299
		$requete = "UPDATE tb_nettoye_cel.cel_obs SET geodatum = 'wgs84' WHERE (latitude IS NOT NULL or latitude != '0.00000') AND geodatum = ''";
2893 delphine 300
		$this->bdd->requeter($requete);
3258 delphine 301
		$requete = "UPDATE tb_nettoye_cel.cel_obs SET geodatum = NULL WHERE (latitude IS NULL or latitude == '0.00000')";
2895 delphine 302
		$this->bdd->requeter($requete);
2893 delphine 303
		echo "effectuée \n";
304
	}
3258 delphine 305
 
306
	private function verifierCodeInsee() {
307
	    echo "Vérification du code insee";
308
	    $requete = "UPDATE tb_nettoye_cel.cel_obs SET locality_consistency = '0' WHERE
309
	        ((ce_zone_geo != 'INSEE-C:' and ce_zone_geo like 'INSEE-C:%') and code_insee_calcule != '') and
310
	        replace(`ce_zone_geo`, 'INSEE-C:', '') != `code_insee_calcule`";
311
	    $this->bdd->requeter($requete);
312
	    $requete = "UPDATE tb_nettoye_cel.cel_obs SET locality_consistency = '1' WHERE
313
	        ((ce_zone_geo != 'INSEE-C:' and ce_zone_geo like 'INSEE-C:%') and code_insee_calcule != '') and
314
	        replace(`ce_zone_geo`, 'INSEE-C:', '') = `code_insee_calcule`";$this->bdd->requeter($requete);
315
	    echo "effectuée \n";
316
	}
317
 
318
	private function analyserMotsCles(){
319
 
320
	}
2893 delphine 321
}