Subversion Repositories eFlore/Projets.eflore-projets

Rev

Details | Last modification | View Log | RSS feed

Rev Author Line No. Line
1229 delphine 1 
<?php
2 
//declare(encoding='UTF-8');
3 
/**
4 
 * Exemple de lancement du script : :
5 
 * /opt/lampp/bin/php cli.php florical -a chargerTous
6 
 *
7 
 * @category	php 5.2
8 
 * @package		eFlore/Scripts
9 
 * @author		Delphine Cauquil <delphine@tela-botanica.org>
10 
 * @author		Aurélien PERONNET <aurelien@tela-botanica.org>
11 
 * @copyright	Copyright (c) 2014, Tela Botanica (accueil@tela-botanica.org)
12 
 * @license		http://www.cecill.info/licences/Licence_CeCILL_V2-fr.txt Licence CECILL
13 
 * @license		http://www.gnu.org/licenses/gpl.html Licence GNU-GPL
14 
 * @version		$Id$
15 
 */
16 
class Florical extends EfloreScript {
17 
 
18 
	private $table = null;
19 
	private $pasInsertion = 1000;
20 
	private $departInsertion = 0;
21 
 
22 
	protected $parametres_autorises = array(
23 
		'-t' => array(false, false, 'Permet de tester le script sur un jeu réduit de données (indiquer le nombre de lignes).'));
24 
 
25 
	public function executer() {
26 
		try {
27 
			$this->initialiserProjet('florical');
28 
 
29 
			// Lancement de l'action demandée
30 
			$cmd = $this->getParametre('a');
31 
			switch ($cmd) {
32 
				case 'chargerTous' :
33 
					$this->chargerStructureSql();
34 
					$this->chargerflorical();
35 
					$this->genererChpNomSciHtml();
36 
					$this->genererChpFamille();
37 
					//$this->genererChpHierarchie();
38 
					break;
39 
				case 'chargerStructureSql' :
40 
					$this->chargerStructureSql();
41 
					break;
42 
				case 'chargerflorical' :
43 
					$this->chargerflorical();
44 
					break;
45 
				case 'genererNomSciHtml' :
46 
					$this->genererChpNomSciHtml();
47 
					break;
48 
				case 'genererChpFamille' :
49 
					$this->genererChpFamille();
50 
					break;
51 
				case 'supprimerTous' :
52 
					$this->supprimerTous();
53 
					break;
54 
				default :
55 
					throw new Exception("Erreur : la commande '$cmd' n'existe pas!");
56 
			}
57 
		} catch (Exception $e) {
58 
			$this->traiterErreur($e->getMessage());
59 
		}
60 
	}
61 
 
62 
	private function chargerflorical() {
63 
		$chemin = Config::get('chemins.florical');
64 
		$table = Config::get('tables.florical');
65 
		$requete = "LOAD DATA INFILE '$chemin' ".
66 
				"REPLACE INTO TABLE $table ".
67 
				'CHARACTER SET utf8 '.
68 
				'FIELDS '.
69 
				"	TERMINATED BY '\t' ".
70 
				"	ENCLOSED BY '' ".
71 
				"	ESCAPED BY '\\\' ".
72 
				'IGNORE 1 LINES';
73 
		$this->getBdd()->requeter($requete);
74 
	}
75 
 
76 
	private function genererChpNomSciHtml() {
77 
		$this->initialiserGenerationChamps();
78 
		$this->preparerTablePrChpNomSciHtml();
79 
		$requete = "UPDATE {$this->table} SET nom_sci_html = CONCAT('<span class=\"sci\">',nom_sci,'</span>')";
80 
		$resultat = $this->getBdd()->requeter($requete);
81 
		if ($resultat === false) {
82 
			throw new Exception("Erreur d'insertion pour le tuple ");
83 
		}
84 
	}
85 
 
86 
	private function initialiserGenerationChamps() {
87 
		$this->table = Config::get('tables.florical');
88 
	}
89 
 
90 
	private function preparerTablePrChpNomSciHtml() {
91 
		$requete = "SHOW COLUMNS FROM {$this->table} LIKE 'nom_sci_html' ";
92 
		$resultat = $this->getBdd()->recuperer($requete);
93 
		if ($resultat === false) {
94 
			$requete = 	"ALTER TABLE {$this->table} ".
95 
				'ADD nom_sci_html VARCHAR( 500 ) '.
96 
				'CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL ';
97 
			$this->getBdd()->requeter($requete);
98 
		}
99 
	}
100 
 
101 
	private function recupererNbTotalTuples(){
102 
		$requete = "SELECT count(*) AS nb FROM {$this->table} ";
103 
		$resultat = $this->getBdd()->recuperer($requete);
104 
		return $resultat['nb'];
105 
	}
106 
 
107 
	private function recupererTuplesPrChpNomSciHtml() {
108 
		$requete = 'SELECT 	num_nom, rang, nom_sci, nom_supra_generique, genre, epithete_infra_generique, '.
109 
			'	epithete_sp, type_epithete, epithete_infra_sp,cultivar_groupe, '.
110 
			'	nom_commercial, cultivar '.
111 
			"FROM {$this->table} ".
112 
			"LIMIT {$this->departInsertion},{$this->pasInsertion} ";
113 
		$resultat = $this->getBdd()->recupererTous($requete);
114 
		return $resultat;
115 
	}
116 
 
117 
 
118 
 
119 
	private function traiterResultatsFamille(&$resultats, &$noms, &$introuvables, &$introuvablesSyno) {
120 
		foreach ($resultats as $id => $nom) {
121 
			$nn = $nom['num_nom'];
122 
			$nnr = $nom['num_nom_retenu'];
123 
			$nts = $nom['num_tax_sup'];
124 
			$rg = $nom['rang'];
125 
			if ($nnr != '') {
126 
				if ($rg == '180') {
127 
					$noms[$nn] = $nom['nom_sci'];
128 
				} else {
129 
					if ($nn == $nnr) {// nom retenu
130 
						if (isset($noms[$nts])) {
131 
							// signifie que recupererTuplesPrChpFamille() devrait
132 
							// récupérer ce record *avant*
133 
							$noms[$nn] = $noms[$nts];
134 
						} else {
135 
							$introuvables[] = $nn;
136 
						}
137 
					} else {// nom synonyme
138 
						if (isset($noms[$nnr])) {
139 
							// signifie que recupererTuplesPrChpFamille() devrait
140 
							// récupérer ce record *avant*
141 
							$noms[$nn] = $noms[$nnr];
142 
						} else {
143 
							$introuvablesSyno[] = $nom;
144 
						}
145 
					}
146 
				}
147 
			}
148 
			unset($resultats[$id]);
149 
			$this->afficherAvancement("Attribution de leur famille aux noms en cours");
150 
			if ($this->stopperLaBoucle($this->getParametre('t'))) break;
151 
		}
152 
	}
153 
 
154 
	private function genererChpFamille() {
155 
		$this->initialiserGenerationChamps();
156 
		$this->preparerTablePrChpFamille();
157 
		$resultats = $this->recupererTuplesPrChpFamille();
158 
		$noms = array();
159 
		$introuvables = array();
160 
		$introuvablesSyno = array();
161 
		$i = 1;
162 
 
163 
		while(true) {
164 
			printf("passe n°%d:\n", $i);
165 
			$this->traiterResultatsFamille($resultats, $noms, $introuvables, $introuvablesSyno);
166 
			echo "\n\n";
167 
			// printf("noms: %d, introuvables: %d, introuvablesSyno: %d\n", count($noms), count($introuvables), count($introuvablesSyno));
168 
			// XXX, au 22/07/2013, 3 passes sont suffisantes
169 
			// TODO: MySQL procédure stockée !
170 
			if($i++ == 3) break;
171 
			$resultats = array_merge($resultats, $introuvables, $introuvablesSyno);
172 
			$introuvables = $introuvablesSyno = array();
173 
		}
174 
 
175 
		foreach ($introuvablesSyno as $id => $nom) {
176 
			$nn = $nom['num_nom'];
177 
			$nnr = $nom['num_nom_retenu'];
178 
			if (isset($noms[$nnr])) {
179 
				$noms[$nn] = $noms[$nnr];
180 
			} else {
181 
				$introuvables[] = $nn;
182 
			}
183 
			unset($introuvablesSyno[$id]);
184 
			$this->afficherAvancement("Attribution de leur famille aux synonymes en cours");
185 
		}
186 
		echo "\n";
187 
 
188 
		$msg = 'Plusieurs familles sont introuvables';
189 
		$this->creerFichierLog($msg, $introuvables, 'famille_introuvable');
190 
 
191 
		$this->remplirChpFamille($noms);
192 
	}
193 
 
194 
	private function preparerTablePrChpFamille() {
195 
		$requete = "SHOW COLUMNS FROM {$this->table} LIKE 'famille' ";
196 
		$resultat = $this->getBdd()->recuperer($requete);
197 
		if ($resultat === false) {
198 
			$requete = 	"ALTER TABLE {$this->table} ".
199 
				'ADD famille VARCHAR(255) '.
200 
				'CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL ';
201 
			$this->getBdd()->requeter($requete);
202 
		}
203 
	}
204 
 
205 
	private function recupererTuplesPrChpFamille() {
206 
		$requete = 'SELECT num_nom, num_nom_retenu, num_tax_sup, rang, nom_sci '.
207 
				"FROM {$this->table} ".
208 
				"WHERE rang >= 180 ".
209 
				"ORDER BY rang ASC, num_tax_sup ASC, num_nom_retenu DESC ";
210 
		$resultat = $this->getBdd()->recupererTous($requete);
211 
		return $resultat;
212 
	}
213 
 
214 
	private function remplirChpFamille($noms) {
215 
		foreach ($noms as $id => $famille) {
216 
			$famille = $this->getBdd()->proteger($famille);
217 
			$requete = "UPDATE {$this->table} SET famille = $famille WHERE num_nom = $id ";
218 
			$resultat = $this->getBdd()->requeter($requete);
219 
			if ($resultat === false) {
220 
				throw new Exception("Erreur d'insertion pour le tuple $id");
221 
			}
222 
			$this->afficherAvancement("Insertion des noms de famille dans la base en cours");
223 
		}
224 
		echo "\n";
225 
	}
226 
 
227 
	private function genererChpHierarchie() {
228 
		$this->initialiserGenerationChamps();
229 
		$this->preparerTablePrChpHierarchie();
230 
		$table = Config::get('tables.florical');
231 
 
232 
		$requete = "UPDATE $table SET hierarchie = NULL ";
233 
		$mise_a_jour = $this->getBdd()->requeter($requete);
234 
 
235 
		$requete_hierarchie = "SELECT num_nom, num_nom_retenu, num_tax_sup FROM ".$table." ORDER BY rang DESC";
236 
 
237 
		$resultat = $this->getBdd()->recupererTous($requete_hierarchie);
238 
		$num_nom_a_num_sup = array();
239 
		foreach($resultat as &$taxon) {
240 
			$num_nom_a_num_sup[$taxon['num_nom']] = $taxon['num_tax_sup'];
241 
		}
242 
		$chemin_taxo = "";
243 
		foreach($resultat as &$taxon) {
244 
			$chemin_taxo = $this->traiterHierarchieNumTaxSup($taxon['num_nom_retenu'], $num_nom_a_num_sup).'-';
245 
			$requete = "UPDATE $table SET hierarchie = ".$this->getBdd()->proteger($chemin_taxo)." WHERE num_nom = ".$taxon['num_nom']." ";
246 
			$mise_a_jour = $this->getBdd()->requeter($requete);
247 
			$this->afficherAvancement("Insertion de la hierarchie taxonomique en cours");
248 
		}
249 
		echo "\n";
250 
	}
251 
 
252 
	private function traiterHierarchieNumTaxSup($num_nom_retenu, &$num_nom_a_num_sup) {
253 
		$chaine_hierarchie = "";
254 
		if(isset($num_nom_a_num_sup[$num_nom_retenu])) {
255 
			$num_tax_sup = $num_nom_a_num_sup[$num_nom_retenu];
256 
			$chaine_hierarchie = '-'.$num_tax_sup;
257 
			if($num_tax_sup != 0 && $num_tax_sup != '') {
258 
				$chaine_hierarchie = $this->traiterHierarchieNumTaxSup($num_tax_sup, $num_nom_a_num_sup).$chaine_hierarchie;
259 
			}
260 
		}
261 
		return $chaine_hierarchie;
262 
	}
263 
 
264 
	private function preparerTablePrChpHierarchie() {
265 
		$requete = "SHOW COLUMNS FROM {$this->table} LIKE 'hierarchie' ";
266 
		$resultat = $this->getBdd()->recuperer($requete);
267 
		if ($resultat === false) {
268 
			$requete = 	"ALTER TABLE {$this->table} ".
269 
					'ADD hierarchie VARCHAR(1000) '.
270 
					'CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL ';
271 
			$this->getBdd()->requeter($requete);
272 
		}
273 
	}
274 
 
275 
	private function genererDonneesTestMultiVersion() {
276 
		$contenuSql = $this->recupererContenu(Config::get('chemins.structureSqlTest'));
277 
		$this->executerScripSql($contenuSql);
278 
 
279 
		$table = Config::get('tables.florical');
280 
		$tableTest = Config::get('tables.floricalTest');
281 
		$requete = "INSERT INTO $tableTest SELECT * FROM $table";
282 
		$this->getBdd()->requeter($requete);
283 
	}
284 
 
285 
	private function supprimerDonneesTestMultiVersion() {
286 
		$tableMeta = Config::get('tables.floricalMeta');
287 
		$requete = "DELETE FROM $tableMeta WHERE guid = 'urn:lsid:tela-botanica.org:florical:1.02'";
288 
		$this->getBdd()->requeter($requete);
289 
 
290 
		$tableTest = Config::get('tables.floricalTest');
291 
		$requete = "DROP TABLE IF EXISTS $tableTest";
292 
		$this->getBdd()->requeter($requete);
293 
	}
294 
 
295 
	private function supprimerTous() {
296 
		$requete = "DROP TABLE IF EXISTS florical_meta, florical_v1_00";
297 
		$this->getBdd()->requeter($requete);
298 
	}
299 
 
300 
	private function creerFichierLog($message, $lignes, $nomFichier) {
301 
		$lignesNbre = count($lignes);
302 
		if ($lignesNbre != 0) {
303 
			echo "$message. Voir le log de $lignesNbre lignes :\n";
304 
 
305 
			$logContenu = implode(", \n", $lignes);
306 
			$logFichier = realpath(dirname(__FILE__))."/log/$nomFichier.log";
307 
			echo $logFichier."\n";
308 
					file_put_contents($logFichier, $logContenu);
309 
		}
310 
	}
311 
}
312 
?>