Subversion Repositories eFlore/Projets.eflore-projets

Rev

Rev 699 | Details | Compare with Previous | Last modification | View Log | RSS feed

Rev Author Line No. Line
406 jpm 1 
<?php
2 
//declare(encoding='UTF-8');
3 
/**
4 
 * Exemple de lancement du script : :
5 
 * /opt/lampp/bin/php cli.php bdtxa -a chargerTous
6 
 *
7 
 * @category	php 5.2
8 
 * @package		eFlore/Scripts
9 
 * @author		Jean-Pascal MILCENT <jpm@tela-botanica.org>
10 
 * @copyright	Copyright (c) 2012, Tela Botanica (accueil@tela-botanica.org)
11 
 * @license		http://www.cecill.info/licences/Licence_CeCILL_V2-fr.txt Licence CECILL
12 
 * @license		http://www.gnu.org/licenses/gpl.html Licence GNU-GPL
13 
 * @version		$Id$
14 
 */
15 
class Bdtxa extends EfloreScript {
16 
 
17 
	private $table = null;
18 
	private $pasInsertion = 1000;
19 
	private $departInsertion = 0;
20 
 
21 
	protected $parametres_autorises = array(
22 
		'-t' => array(false, false, 'Permet de tester le script sur un jeu réduit de données (indiquer le nombre de lignes).'));
23 
 
24 
	public function executer() {
25 
		try {
26 
			$this->initialiserProjet('bdtxa');
27 
 
28 
			// Lancement de l'action demandée
29 
			$cmd = $this->getParametre('a');
30 
			switch ($cmd) {
31 
				case 'chargerTous' :
32 
					$this->chargerStructureSql();
33 
					$this->chargerBdtxa();
34 
					$this->genererChpNomSciHtml();
35 
					$this->genererChpFamille();
636 aurelien 36 
					$this->genererChpNomComplet();
699 aurelien 37 
					$this->genererChpHierarchie();
406 jpm 38 
					break;
39 
				case 'chargerStructureSql' :
40 
					$this->chargerStructureSql();
41 
					break;
42 
				case 'chargerBdtxa' :
43 
					$this->chargerBdtxa();
44 
					break;
637 delphine 45 
				case 'genererChpNomSciHtml' :
406 jpm 46 
					$this->genererChpNomSciHtml();
47 
					break;
637 delphine 48 
				case 'genererChpNomComplet' :
49 
					$this->initialiserGenerationChamps();
50 
					$this->genererChpNomComplet();
51 
					break;
406 jpm 52 
				case 'genererChpFamille' :
53 
					$this->genererChpFamille();
54 
					break;
699 aurelien 55 
				case 'genererChpHierarchie' :
56 
					$this->genererChpHierarchie();
57 
					break;
406 jpm 58 
				case 'supprimerTous' :
59 
					$this->supprimerTous();
60 
					break;
61 
				default :
62 
					throw new Exception("Erreur : la commande '$cmd' n'existe pas!");
63 
			}
64 
		} catch (Exception $e) {
65 
			$this->traiterErreur($e->getMessage());
66 
		}
67 
	}
68 
 
69 
	private function chargerBdtxa() {
661 jpm 70 
		$chemin = Config::get('chemins.bdt');
634 delphine 71 
		$table = Config::get('tables.bdtxa');
406 jpm 72 
		$requete = "LOAD DATA INFILE '$chemin' ".
73 
				"REPLACE INTO TABLE $table ".
74 
				'CHARACTER SET utf8 '.
75 
				'FIELDS '.
76 
				"	TERMINATED BY '\t' ".
77 
				"	ENCLOSED BY '' ".
78 
				"	ESCAPED BY '\\\' ".
79 
				'IGNORE 1 LINES';
80 
		$this->getBdd()->requeter($requete);
81 
	}
82 
 
83 
	private function genererChpNomSciHtml() {
84 
		$this->initialiserGenerationChamps();
85 
		$this->preparerTablePrChpNomSciHtml();
86 
		$generateur = new GenerateurNomSciHtml();
661 jpm 87 
		$nbreTotal = $this->recupererNbTotalTuples();
88 
		$erreurs = array();
406 jpm 89 
		$this->departInsertion = 0;
90 
		while ($this->departInsertion < $nbreTotal) {
661 jpm 91 
			$resultat = $this->recupererTuplesPrChpNomSciHtml();
92 
 
93 
			try {
94 
				$nomsSciEnHtml = $generateur->generer($resultat);
95 
			} catch (Exception $e) {
96 
				$erreurs[] = $e->getMessage();
97 
			}
98 
 
406 jpm 99 
			$this->remplirChpNomSciHtm($nomsSciEnHtml);
100 
			$this->departInsertion += $this->pasInsertion;
101 
			$this->afficherAvancement("Insertion des noms scientifique au format HTML dans la base par paquet de {$this->pasInsertion} en cours");
102 
			if ($this->stopperLaBoucle($this->getParametre('t'))) break;
661 jpm 103 
		}
104 
		echo "\n";
105 
 
106 
		$this->creerFichierLog('Erreurs lors de la génération HTML des noms scientifiques', $erreurs, 'erreurs_noms_sci_html');
406 jpm 107 
	}
108 
 
109 
	private function initialiserGenerationChamps() {
699 aurelien 110 
		$this->table = Config::get('tables.bdtxa');
111 
		echo $this->table;
406 jpm 112 
	}
113 
 
114 
	private function preparerTablePrChpNomSciHtml() {
115 
		$requete = "SHOW COLUMNS FROM {$this->table} LIKE 'nom_sci_html' ";
116 
		$resultat = $this->getBdd()->recuperer($requete);
117 
		if ($resultat === false) {
118 
			$requete = 	"ALTER TABLE {$this->table} ".
119 
					'ADD nom_sci_html VARCHAR( 500 ) '.
120 
					'CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL ';
121 
			$this->getBdd()->requeter($requete);
122 
		}
123 
	}
124 
 
125 
	private function recupererNbTotalTuples(){
126 
		$requete = "SELECT count(*) AS nb FROM {$this->table} ";
127 
		$resultat = $this->getBdd()->recuperer($requete);
128 
		return $resultat['nb'];
129 
	}
130 
 
131 
	private function recupererTuplesPrChpNomSciHtml() {
132 
		$requete = 'SELECT 	num_nom, rang, nom_supra_generique, genre, epithete_infra_generique, '.
133 
				'	epithete_sp, type_epithete, epithete_infra_sp,cultivar_groupe, '.
134 
				'	nom_commercial, cultivar '.
135 
				"FROM {$this->table} ".
136 
				"LIMIT {$this->departInsertion},{$this->pasInsertion} ";
137 
		$resultat = $this->getBdd()->recupererTous($requete);
138 
		return $resultat;
139 
	}
140 
 
141 
	private function remplirChpNomSciHtm($nomsSciHtm) {
142 
		foreach ($nomsSciHtm as $id => $html) {
143 
			$html = $this->getBdd()->proteger($html);
144 
			$requete = "UPDATE {$this->table} SET nom_sci_html = $html WHERE num_nom = $id ";
145 
			$resultat = $this->getBdd()->requeter($requete);
146 
			if ($resultat === false) {
147 
				throw new Exception("Erreur d'insertion pour le tuple $id");
148 
			}
149 
		}
636 aurelien 150 
	}
661 jpm 151 
 
636 aurelien 152 
	private function genererChpNomComplet() {
153 
		$this->preparerTablePrChpNomComplet();
154 
		$this->remplirChpNomComplet();
155 
	}
661 jpm 156 
 
636 aurelien 157 
	private function preparerTablePrChpNomComplet() {
158 
		$requete = "SHOW COLUMNS FROM {$this->table} LIKE 'nom_complet' ";
159 
		$resultat = $this->getBdd()->recuperer($requete);
160 
		if ($resultat === false) {
161 
			$requete = 	"ALTER TABLE {$this->table} ".
162 
						'ADD nom_complet VARCHAR( 500 ) '.
163 
						'CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL ';
164 
			$this->getBdd()->requeter($requete);
165 
		}
166 
	}
661 jpm 167 
 
636 aurelien 168 
	private function remplirChpNomComplet() {
661 jpm 169 
		echo "Attribution du champ nom complet au taxons : ";
636 aurelien 170 
		$requete = "UPDATE {$this->table} SET nom_complet = CONCAT(nom_sci,' ',auteur)";
171 
		$resultat = $this->getBdd()->requeter($requete);
172 
		if ($resultat === false) {
661 jpm 173 
			echo "KO\n";
636 aurelien 174 
			throw new Exception("Erreur de génération du champ nom complet");
661 jpm 175 
		} else {
176 
			echo "OK\n";
636 aurelien 177 
		}
406 jpm 178 
	}
179 
 
180 
	private function genererChpFamille() {
181 
		$this->initialiserGenerationChamps();
182 
		$this->preparerTablePrChpFamille();
183 
		$resultats = $this->recupererTuplesPrChpFamille();
184 
		$noms = array();
634 delphine 185 
		$introuvables = array();
186 
		$introuvablesSyno = array();
406 jpm 187 
		foreach ($resultats as $id => $nom) {
188 
			$nn = $nom['num_nom'];
189 
			$nnr = $nom['num_nom_retenu'];
190 
			$nts = $nom['num_tax_sup'];
191 
			$rg = $nom['rang'];
192 
			if ($nnr != '') {
193 
				if ($rg == '180') {
194 
					$noms[$nn] = $nom['nom_sci'];
195 
				} else {
196 
					if ($nn == $nnr) {// nom retenu
197 
						if (isset($noms[$nts])) {
198 
							$noms[$nn] = $noms[$nts];
199 
						} else {
200 
							$introuvables[] = $nn;
201 
						}
202 
					} else {// nom synonyme
203 
						if (isset($noms[$nnr])) {
204 
							$noms[$nn] = $noms[$nnr];
205 
						} else {
206 
							$introuvablesSyno[] = $nom;
207 
						}
208 
					}
209 
				}
210 
			}
211 
			unset($resultats[$id]);
212 
			$this->afficherAvancement("Attribution de leur famille aux noms en cours");
213 
			if ($this->stopperLaBoucle($this->getParametre('t'))) break;
214 
		}
215 
		echo "\n";
216 
 
217 
		foreach ($introuvablesSyno as $id => $nom) {
218 
			$nn = $nom['num_nom'];
219 
			$nnr = $nom['num_nom_retenu'];
220 
			if (isset($noms[$nnr])) {
221 
				$noms[$nn] = $noms[$nnr];
222 
			} else {
223 
				$introuvables[] = $nn;
224 
			}
225 
			unset($introuvablesSyno[$id]);
226 
			$this->afficherAvancement("Attribution de leur famille aux synonymes en cours");
227 
		}
228 
		echo "\n";
661 jpm 229 
 
230 
		$msg = 'Plusieurs familles sont introuvables';
231 
		$this->creerFichierLog($msg, $introuvables, 'famille_introuvable');
406 jpm 232 
 
233 
		$this->remplirChpFamille($noms);
234 
	}
235 
 
236 
	private function preparerTablePrChpFamille() {
237 
		$requete = "SHOW COLUMNS FROM {$this->table} LIKE 'famille' ";
238 
		$resultat = $this->getBdd()->recuperer($requete);
239 
		if ($resultat === false) {
240 
			$requete = 	"ALTER TABLE {$this->table} ".
241 
				'ADD famille VARCHAR(255) '.
242 
				'CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL ';
243 
			$this->getBdd()->requeter($requete);
244 
		}
245 
	}
246 
 
247 
	private function recupererTuplesPrChpFamille() {
248 
		$requete = 'SELECT num_nom, num_nom_retenu, num_tax_sup, rang, nom_sci '.
249 
			"FROM {$this->table} ".
250 
			"WHERE rang >= 180 ".
251 
			"ORDER BY rang ASC, num_tax_sup ASC, num_nom_retenu DESC ";
252 
		$resultat = $this->getBdd()->recupererTous($requete);
253 
		return $resultat;
254 
	}
255 
 
256 
	private function remplirChpFamille($noms) {
257 
		foreach ($noms as $id => $famille) {
258 
			$famille = $this->getBdd()->proteger($famille);
259 
			$requete = "UPDATE {$this->table} SET famille = $famille WHERE num_nom = $id ";
260 
			$resultat = $this->getBdd()->requeter($requete);
261 
			if ($resultat === false) {
262 
				throw new Exception("Erreur d'insertion pour le tuple $id");
263 
			}
264 
			$this->afficherAvancement("Insertion des noms de famille dans la base en cours");
265 
		}
266 
		echo "\n";
267 
	}
699 aurelien 268 
 
269 
	private function genererChpHierarchie() {
270 
		$this->initialiserGenerationChamps();
271 
		$this->preparerTablePrChpHierarchie();
272 
		$table = Config::get('tables.bdtxa');
273 
 
274 
		$requete = "UPDATE $table SET hierarchie = NULL ";
275 
		$mise_a_jour = $this->getBdd()->requeter($requete);
276 
 
277 
		$requete_hierarchie = "SELECT num_nom, num_nom_retenu, num_tax_sup FROM ".$table." ORDER BY rang DESC";
278 
 
279 
		$resultat = $this->getBdd()->recupererTous($requete_hierarchie);
280 
		$num_nom_a_num_sup = array();
281 
		foreach($resultat as &$taxon) {
282 
			$num_nom_a_num_sup[$taxon['num_nom']] = $taxon['num_tax_sup'];
283 
		}
284 
		$chemin_taxo = "";
285 
		foreach($resultat as &$taxon) {
286 
			$chemin_taxo = $this->traiterHierarchieNumTaxSup($taxon['num_nom_retenu'], $num_nom_a_num_sup).'-';
287 
			$requete = "UPDATE $table SET hierarchie = ".$this->getBdd()->proteger($chemin_taxo)." WHERE num_nom = ".$taxon['num_nom']." ";
288 
			$mise_a_jour = $this->getBdd()->requeter($requete);
289 
			$this->afficherAvancement("Insertion de la hierarchie taxonomique en cours");
290 
		}
291 
		echo "\n";
292 
	}
293 
 
294 
	private function traiterHierarchieNumTaxSup($num_nom_retenu, &$num_nom_a_num_sup) {
295 
		$chaine_hierarchie = "";
296 
		if(isset($num_nom_a_num_sup[$num_nom_retenu])) {
297 
			$num_tax_sup = $num_nom_a_num_sup[$num_nom_retenu];
298 
			$chaine_hierarchie = '-'.$num_tax_sup;
299 
			if($num_tax_sup != 0 && $num_tax_sup != '') {
300 
				$chaine_hierarchie = $this->traiterHierarchieNumTaxSup($num_tax_sup, $num_nom_a_num_sup).$chaine_hierarchie;
301 
			}
302 
		}
303 
		return $chaine_hierarchie;
304 
	}
305 
 
306 
	private function preparerTablePrChpHierarchie() {
307 
		$requete = "SHOW COLUMNS FROM {$this->table} LIKE 'hierarchie' ";
308 
		$resultat = $this->getBdd()->recuperer($requete);
309 
		if ($resultat === false) {
310 
			$requete = 	"ALTER TABLE {$this->table} ".
311 
						'ADD hierarchie VARCHAR(1000) '.
312 
						'CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL ';
313 
			$this->getBdd()->requeter($requete);
314 
		}
315 
	}
316 
 
634 delphine 317 
	private function genererDonneesTestMultiVersion() {
318 
		$contenuSql = $this->recupererContenu(Config::get('chemins.structureSqlTest'));
319 
		$this->executerScripSql($contenuSql);
661 jpm 320 
 
634 delphine 321 
		$table = Config::get('tables.bdtxa');
322 
		$tableTest = Config::get('tables.bdtxaTest');
323 
		$requete = "INSERT INTO $tableTest SELECT * FROM $table";
324 
		$this->getBdd()->requeter($requete);
325 
	}
661 jpm 326 
 
634 delphine 327 
	private function supprimerDonneesTestMultiVersion() {
328 
		$tableMeta = Config::get('tables.bdtxaMeta');
661 jpm 329 
		$requete = "DELETE FROM $tableMeta WHERE guid = 'urn:lsid:tela-botanica.org:bdtxa:1.00'";
634 delphine 330 
		$this->getBdd()->requeter($requete);
661 jpm 331 
 
634 delphine 332 
		$tableTest = Config::get('tables.bdtxaTest');
333 
		$requete = "DROP TABLE IF EXISTS $tableTest";
334 
		$this->getBdd()->requeter($requete);
335 
	}
406 jpm 336 
	private function supprimerTous() {
661 jpm 337 
		$requete = "DROP TABLE IF EXISTS bdtxa_meta, bdtxa_v0_01, bdtxa_v1_00";
406 jpm 338 
		$this->getBdd()->requeter($requete);
339 
	}
661 jpm 340 
 
341 
	private function creerFichierLog($message, $lignes, $nomFichier) {
342 
		$lignesNbre = count($lignes);
343 
		if ($lignesNbre != 0) {
344 
			echo "$message. Voir le log de $lignesNbre lignes :\n";
345 
 
346 
			$logContenu = implode(", \n", $lignes);
347 
			$logFichier = realpath(dirname(__FILE__))."/log/$nomFichier.log";
348 
			echo $logFichier."\n";
349 
			file_put_contents($logFichier, $logContenu);
350 
		}
351 
	}
406 jpm 352 
}
353 
?>