Subversion Repositories eFlore/Projets.eflore-projets

Rev

Go to most recent revision | Details | Last modification | View Log | RSS feed

Rev Author Line No. Line
1229 delphine 1
<?php
2
//declare(encoding='UTF-8');
3
/**
4
 * Exemple de lancement du script : :
5
 * /opt/lampp/bin/php cli.php aublet -a chargerTous
6
 *
7
 * @category	php 5.2
8
 * @package		eFlore/Scripts
9
 * @author		Delphine Cauquil <delphine@tela-botanica.org>
10
 * @author		Aurélien PERONNET <aurelien@tela-botanica.org>
11
 * @copyright	Copyright (c) 2014, Tela Botanica (accueil@tela-botanica.org)
12
 * @license		http://www.cecill.info/licences/Licence_CeCILL_V2-fr.txt Licence CECILL
13
 * @license		http://www.gnu.org/licenses/gpl.html Licence GNU-GPL
14
 * @version		$Id$
15
 */
16
class Aublet extends EfloreScript {
17
 
18
	private $table = null;
19
	private $pasInsertion = 1000;
20
	private $departInsertion = 0;
21
 
22
	protected $parametres_autorises = array(
23
		'-t' => array(false, false, 'Permet de tester le script sur un jeu réduit de données (indiquer le nombre de lignes).'));
24
 
25
	public function executer() {
26
		try {
27
			$this->initialiserProjet('aublet');
28
 
29
			// Lancement de l'action demandée
30
			$cmd = $this->getParametre('a');
31
			switch ($cmd) {
32
				case 'chargerTous' :
33
					$this->chargerStructureSql();
34
					$this->chargerAublet();
35
					$this->genererChpNomSciHtml();
36
					$this->genererChpFamille();
37
					//$this->genererChpHierarchie();
38
					break;
39
				case 'chargerStructureSql' :
40
					$this->chargerStructureSql();
41
					break;
42
				case 'chargerAublet' :
43
					$this->chargerAublet();
44
					break;
45
				case 'genererNomSciHtml' :
46
					$this->genererChpNomSciHtml();
47
					break;
48
				case 'genererChpFamille' :
49
					$this->genererChpFamille();
50
					break;
51
				case 'supprimerTous' :
52
					$this->supprimerTous();
53
					break;
54
				default :
55
					throw new Exception("Erreur : la commande '$cmd' n'existe pas!");
56
			}
57
		} catch (Exception $e) {
58
			$this->traiterErreur($e->getMessage());
59
		}
60
	}
61
 
62
	private function chargerAublet() {
63
		$chemin = Config::get('chemins.aublet');
64
		$table = Config::get('tables.aublet');
65
		$requete = "LOAD DATA INFILE '$chemin' ".
66
				"REPLACE INTO TABLE $table ".
67
				'CHARACTER SET utf8 '.
68
				'FIELDS '.
69
				"	TERMINATED BY '\t' ".
70
				"	ENCLOSED BY '' ".
71
				"	ESCAPED BY '\\\' ".
72
				'IGNORE 1 LINES';
73
		$this->getBdd()->requeter($requete);
74
	}
75
 
76
	private function genererChpNomSciHtml() {
77
		$this->initialiserGenerationChamps();
78
		$this->preparerTablePrChpNomSciHtml();
79
		$requete = "UPDATE {$this->table} SET nom_sci_html = CONCAT('<span class=\"sci\">',nom_sci,'</span>')";
80
		$resultat = $this->getBdd()->requeter($requete);
81
		if ($resultat === false) {
82
			throw new Exception("Erreur d'insertion pour le tuple ");
83
		}
84
	}
85
 
86
	private function initialiserGenerationChamps() {
87
		$this->table = Config::get('tables.aublet');
88
	}
89
 
90
	private function preparerTablePrChpNomSciHtml() {
91
		$requete = "SHOW COLUMNS FROM {$this->table} LIKE 'nom_sci_html' ";
92
		$resultat = $this->getBdd()->recuperer($requete);
93
		if ($resultat === false) {
94
			$requete = 	"ALTER TABLE {$this->table} ".
95
				'ADD nom_sci_html VARCHAR( 500 ) '.
96
				'CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL ';
97
			$this->getBdd()->requeter($requete);
98
		}
99
	}
100
 
101
	private function recupererNbTotalTuples(){
102
		$requete = "SELECT count(*) AS nb FROM {$this->table} ";
103
		$resultat = $this->getBdd()->recuperer($requete);
104
		return $resultat['nb'];
105
	}
106
 
107
	private function recupererTuplesPrChpNomSciHtml() {
108
		$requete = 'SELECT 	num_nom, rang, nom_sci, nom_supra_generique, genre, epithete_infra_generique, '.
109
			'	epithete_sp, type_epithete, epithete_infra_sp,cultivar_groupe, '.
110
			'	nom_commercial, cultivar '.
111
			"FROM {$this->table} ".
112
			"LIMIT {$this->departInsertion},{$this->pasInsertion} ";
113
		$resultat = $this->getBdd()->recupererTous($requete);
114
		return $resultat;
115
	}
116
 
117
 
118
 
119
	private function traiterResultatsFamille(&$resultats, &$noms, &$introuvables, &$introuvablesSyno) {
120
		foreach ($resultats as $id => $nom) {
121
			$nn = $nom['num_nom'];
122
			$nnr = $nom['num_nom_retenu'];
123
			$nts = $nom['num_tax_sup'];
124
			$rg = $nom['rang'];
125
			if ($nnr != '') {
126
				if ($rg == '180') {
127
					$noms[$nn] = $nom['nom_sci'];
128
				} else {
129
					if ($nn == $nnr) {// nom retenu
130
						if (isset($noms[$nts])) {
131
							// signifie que recupererTuplesPrChpFamille() devrait
132
							// récupérer ce record *avant*
133
							$noms[$nn] = $noms[$nts];
134
						} else {
135
							$introuvables[] = $nn;
136
						}
137
					} else {// nom synonyme
138
						if (isset($noms[$nnr])) {
139
							// signifie que recupererTuplesPrChpFamille() devrait
140
							// récupérer ce record *avant*
141
							$noms[$nn] = $noms[$nnr];
142
						} else {
143
							$introuvablesSyno[] = $nom;
144
						}
145
					}
146
				}
147
			}
148
			unset($resultats[$id]);
149
			$this->afficherAvancement("Attribution de leur famille aux noms en cours");
150
			if ($this->stopperLaBoucle($this->getParametre('t'))) break;
151
		}
152
	}
153
 
154
	private function genererChpFamille() {
155
		$this->initialiserGenerationChamps();
156
		$this->preparerTablePrChpFamille();
157
		$resultats = $this->recupererTuplesPrChpFamille();
158
		$noms = array();
159
		$introuvables = array();
160
		$introuvablesSyno = array();
161
		$i = 1;
162
 
163
		while(true) {
164
			printf("passe n°%d:\n", $i);
165
			$this->traiterResultatsFamille($resultats, $noms, $introuvables, $introuvablesSyno);
166
			echo "\n\n";
167
			// printf("noms: %d, introuvables: %d, introuvablesSyno: %d\n", count($noms), count($introuvables), count($introuvablesSyno));
168
			// XXX, au 22/07/2013, 3 passes sont suffisantes
169
			// TODO: MySQL procédure stockée !
170
			if($i++ == 3) break;
171
			$resultats = array_merge($resultats, $introuvables, $introuvablesSyno);
172
			$introuvables = $introuvablesSyno = array();
173
		}
174
 
175
		foreach ($introuvablesSyno as $id => $nom) {
176
			$nn = $nom['num_nom'];
177
			$nnr = $nom['num_nom_retenu'];
178
			if (isset($noms[$nnr])) {
179
				$noms[$nn] = $noms[$nnr];
180
			} else {
181
				$introuvables[] = $nn;
182
			}
183
			unset($introuvablesSyno[$id]);
184
			$this->afficherAvancement("Attribution de leur famille aux synonymes en cours");
185
		}
186
		echo "\n";
187
 
188
		$msg = 'Plusieurs familles sont introuvables';
189
		$this->creerFichierLog($msg, $introuvables, 'famille_introuvable');
190
 
191
		$this->remplirChpFamille($noms);
192
	}
193
 
194
	private function preparerTablePrChpFamille() {
195
		$requete = "SHOW COLUMNS FROM {$this->table} LIKE 'famille' ";
196
		$resultat = $this->getBdd()->recuperer($requete);
197
		if ($resultat === false) {
198
			$requete = 	"ALTER TABLE {$this->table} ".
199
				'ADD famille VARCHAR(255) '.
200
				'CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL ';
201
			$this->getBdd()->requeter($requete);
202
		}
203
	}
204
 
205
	private function recupererTuplesPrChpFamille() {
206
		$requete = 'SELECT num_nom, num_nom_retenu, num_tax_sup, rang, nom_sci '.
207
				"FROM {$this->table} ".
208
				"WHERE rang >= 180 ".
209
				"ORDER BY rang ASC, num_tax_sup ASC, num_nom_retenu DESC ";
210
		$resultat = $this->getBdd()->recupererTous($requete);
211
		return $resultat;
212
	}
213
 
214
	private function remplirChpFamille($noms) {
215
		foreach ($noms as $id => $famille) {
216
			$famille = $this->getBdd()->proteger($famille);
217
			$requete = "UPDATE {$this->table} SET famille = $famille WHERE num_nom = $id ";
218
			$resultat = $this->getBdd()->requeter($requete);
219
			if ($resultat === false) {
220
				throw new Exception("Erreur d'insertion pour le tuple $id");
221
			}
222
			$this->afficherAvancement("Insertion des noms de famille dans la base en cours");
223
		}
224
		echo "\n";
225
	}
226
 
227
	private function genererChpHierarchie() {
228
		$this->initialiserGenerationChamps();
229
		$this->preparerTablePrChpHierarchie();
230
		$table = Config::get('tables.aublet');
231
 
232
		$requete = "UPDATE $table SET hierarchie = NULL ";
233
		$mise_a_jour = $this->getBdd()->requeter($requete);
234
 
235
		$requete_hierarchie = "SELECT num_nom, num_nom_retenu, num_tax_sup FROM ".$table." ORDER BY rang DESC";
236
 
237
		$resultat = $this->getBdd()->recupererTous($requete_hierarchie);
238
		$num_nom_a_num_sup = array();
239
		foreach($resultat as &$taxon) {
240
			$num_nom_a_num_sup[$taxon['num_nom']] = $taxon['num_tax_sup'];
241
		}
242
		$chemin_taxo = "";
243
		foreach($resultat as &$taxon) {
244
			$chemin_taxo = $this->traiterHierarchieNumTaxSup($taxon['num_nom_retenu'], $num_nom_a_num_sup).'-';
245
			$requete = "UPDATE $table SET hierarchie = ".$this->getBdd()->proteger($chemin_taxo)." WHERE num_nom = ".$taxon['num_nom']." ";
246
			$mise_a_jour = $this->getBdd()->requeter($requete);
247
			$this->afficherAvancement("Insertion de la hierarchie taxonomique en cours");
248
		}
249
		echo "\n";
250
	}
251
 
252
	private function traiterHierarchieNumTaxSup($num_nom_retenu, &$num_nom_a_num_sup) {
253
		$chaine_hierarchie = "";
254
		if(isset($num_nom_a_num_sup[$num_nom_retenu])) {
255
			$num_tax_sup = $num_nom_a_num_sup[$num_nom_retenu];
256
			$chaine_hierarchie = '-'.$num_tax_sup;
257
			if($num_tax_sup != 0 && $num_tax_sup != '') {
258
				$chaine_hierarchie = $this->traiterHierarchieNumTaxSup($num_tax_sup, $num_nom_a_num_sup).$chaine_hierarchie;
259
			}
260
		}
261
		return $chaine_hierarchie;
262
	}
263
 
264
	private function preparerTablePrChpHierarchie() {
265
		$requete = "SHOW COLUMNS FROM {$this->table} LIKE 'hierarchie' ";
266
		$resultat = $this->getBdd()->recuperer($requete);
267
		if ($resultat === false) {
268
			$requete = 	"ALTER TABLE {$this->table} ".
269
					'ADD hierarchie VARCHAR(1000) '.
270
					'CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL ';
271
			$this->getBdd()->requeter($requete);
272
		}
273
	}
274
 
275
	private function genererDonneesTestMultiVersion() {
276
		$contenuSql = $this->recupererContenu(Config::get('chemins.structureSqlTest'));
277
		$this->executerScripSql($contenuSql);
278
 
279
		$table = Config::get('tables.aublet');
280
		$tableTest = Config::get('tables.aubletTest');
281
		$requete = "INSERT INTO $tableTest SELECT * FROM $table";
282
		$this->getBdd()->requeter($requete);
283
	}
284
 
285
	private function supprimerDonneesTestMultiVersion() {
286
		$tableMeta = Config::get('tables.aubletMeta');
287
		$requete = "DELETE FROM $tableMeta WHERE guid = 'urn:lsid:tela-botanica.org:aublet:1.02'";
288
		$this->getBdd()->requeter($requete);
289
 
290
		$tableTest = Config::get('tables.aubletTest');
291
		$requete = "DROP TABLE IF EXISTS $tableTest";
292
		$this->getBdd()->requeter($requete);
293
	}
294
 
295
	private function supprimerTous() {
296
		$requete = "DROP TABLE IF EXISTS aublet_meta, aublet_v1_00";
297
		$this->getBdd()->requeter($requete);
298
	}
299
 
300
	private function creerFichierLog($message, $lignes, $nomFichier) {
301
		$lignesNbre = count($lignes);
302
		if ($lignesNbre != 0) {
303
			echo "$message. Voir le log de $lignesNbre lignes :\n";
304
 
305
			$logContenu = implode(", \n", $lignes);
306
			$logFichier = realpath(dirname(__FILE__))."/log/$nomFichier.log";
307
			echo $logFichier."\n";
308
					file_put_contents($logFichier, $logContenu);
309
		}
310
	}
311
}
312
?>