Subversion Repositories eFlore/Projets.eflore-projets

Rev

Go to most recent revision | Details | Last modification | View Log | RSS feed

Rev Author Line No. Line
406 jpm 1 
<?php
2 
//declare(encoding='UTF-8');
3 
/**
4 
 * Exemple de lancement du script : :
5 
 * /opt/lampp/bin/php cli.php bdtxa -a chargerTous
6 
 *
7 
 * @category	php 5.2
8 
 * @package		eFlore/Scripts
9 
 * @author		Jean-Pascal MILCENT <jpm@tela-botanica.org>
10 
 * @copyright	Copyright (c) 2012, Tela Botanica (accueil@tela-botanica.org)
11 
 * @license		http://www.cecill.info/licences/Licence_CeCILL_V2-fr.txt Licence CECILL
12 
 * @license		http://www.gnu.org/licenses/gpl.html Licence GNU-GPL
13 
 * @version		$Id$
14 
 */
15 
class Bdtxa extends EfloreScript {
16 
 
17 
	private $table = null;
18 
	private $pasInsertion = 1000;
19 
	private $departInsertion = 0;
20 
 
21 
	protected $parametres_autorises = array(
22 
		'-t' => array(false, false, 'Permet de tester le script sur un jeu réduit de données (indiquer le nombre de lignes).'));
23 
 
24 
	public function executer() {
25 
		try {
26 
			$this->initialiserProjet('bdtxa');
27 
 
28 
			// Lancement de l'action demandée
29 
			$cmd = $this->getParametre('a');
30 
			switch ($cmd) {
31 
				case 'chargerTous' :
32 
					$this->chargerStructureSql();
33 
					$this->chargerBdtxa();
34 
					$this->genererChpNomSciHtml();
35 
					$this->genererChpFamille();
636 aurelien 36 
					$this->genererChpNomComplet();
406 jpm 37 
					break;
38 
				case 'chargerStructureSql' :
39 
					$this->chargerStructureSql();
40 
					break;
41 
				case 'chargerBdtxa' :
42 
					$this->chargerBdtxa();
43 
					break;
637 delphine 44 
				case 'genererChpNomSciHtml' :
406 jpm 45 
					$this->genererChpNomSciHtml();
46 
					break;
637 delphine 47 
				case 'genererChpNomComplet' :
48 
					$this->initialiserGenerationChamps();
49 
					$this->genererChpNomComplet();
50 
					break;
406 jpm 51 
				case 'genererChpFamille' :
52 
					$this->genererChpFamille();
53 
					break;
54 
				case 'supprimerTous' :
55 
					$this->supprimerTous();
56 
					break;
57 
				default :
58 
					throw new Exception("Erreur : la commande '$cmd' n'existe pas!");
59 
			}
60 
		} catch (Exception $e) {
61 
			$this->traiterErreur($e->getMessage());
62 
		}
63 
	}
64 
 
65 
	private function chargerBdtxa() {
661 jpm 66 
		$chemin = Config::get('chemins.bdt');
634 delphine 67 
		$table = Config::get('tables.bdtxa');
406 jpm 68 
		$requete = "LOAD DATA INFILE '$chemin' ".
69 
				"REPLACE INTO TABLE $table ".
70 
				'CHARACTER SET utf8 '.
71 
				'FIELDS '.
72 
				"	TERMINATED BY '\t' ".
73 
				"	ENCLOSED BY '' ".
74 
				"	ESCAPED BY '\\\' ".
75 
				'IGNORE 1 LINES';
76 
		$this->getBdd()->requeter($requete);
77 
	}
78 
 
79 
	private function genererChpNomSciHtml() {
80 
		$this->initialiserGenerationChamps();
81 
		$this->preparerTablePrChpNomSciHtml();
82 
		$generateur = new GenerateurNomSciHtml();
661 jpm 83 
		$nbreTotal = $this->recupererNbTotalTuples();
84 
		$erreurs = array();
406 jpm 85 
		$this->departInsertion = 0;
86 
		while ($this->departInsertion < $nbreTotal) {
661 jpm 87 
			$resultat = $this->recupererTuplesPrChpNomSciHtml();
88 
 
89 
			try {
90 
				$nomsSciEnHtml = $generateur->generer($resultat);
91 
			} catch (Exception $e) {
92 
				$erreurs[] = $e->getMessage();
93 
			}
94 
 
406 jpm 95 
			$this->remplirChpNomSciHtm($nomsSciEnHtml);
96 
			$this->departInsertion += $this->pasInsertion;
97 
			$this->afficherAvancement("Insertion des noms scientifique au format HTML dans la base par paquet de {$this->pasInsertion} en cours");
98 
			if ($this->stopperLaBoucle($this->getParametre('t'))) break;
661 jpm 99 
		}
100 
		echo "\n";
101 
 
102 
		$this->creerFichierLog('Erreurs lors de la génération HTML des noms scientifiques', $erreurs, 'erreurs_noms_sci_html');
406 jpm 103 
	}
104 
 
105 
	private function initialiserGenerationChamps() {
634 delphine 106 
		$this->table = Config::get('tables.bdtxa');
406 jpm 107 
	}
108 
 
109 
	private function preparerTablePrChpNomSciHtml() {
110 
		$requete = "SHOW COLUMNS FROM {$this->table} LIKE 'nom_sci_html' ";
111 
		$resultat = $this->getBdd()->recuperer($requete);
112 
		if ($resultat === false) {
113 
			$requete = 	"ALTER TABLE {$this->table} ".
114 
					'ADD nom_sci_html VARCHAR( 500 ) '.
115 
					'CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL ';
116 
			$this->getBdd()->requeter($requete);
117 
		}
118 
	}
119 
 
120 
	private function recupererNbTotalTuples(){
121 
		$requete = "SELECT count(*) AS nb FROM {$this->table} ";
122 
		$resultat = $this->getBdd()->recuperer($requete);
123 
		return $resultat['nb'];
124 
	}
125 
 
126 
	private function recupererTuplesPrChpNomSciHtml() {
127 
		$requete = 'SELECT 	num_nom, rang, nom_supra_generique, genre, epithete_infra_generique, '.
128 
				'	epithete_sp, type_epithete, epithete_infra_sp,cultivar_groupe, '.
129 
				'	nom_commercial, cultivar '.
130 
				"FROM {$this->table} ".
131 
				"LIMIT {$this->departInsertion},{$this->pasInsertion} ";
132 
		$resultat = $this->getBdd()->recupererTous($requete);
133 
		return $resultat;
134 
	}
135 
 
136 
	private function remplirChpNomSciHtm($nomsSciHtm) {
137 
		foreach ($nomsSciHtm as $id => $html) {
138 
			$html = $this->getBdd()->proteger($html);
139 
			$requete = "UPDATE {$this->table} SET nom_sci_html = $html WHERE num_nom = $id ";
140 
			$resultat = $this->getBdd()->requeter($requete);
141 
			if ($resultat === false) {
142 
				throw new Exception("Erreur d'insertion pour le tuple $id");
143 
			}
144 
		}
636 aurelien 145 
	}
661 jpm 146 
 
636 aurelien 147 
	private function genererChpNomComplet() {
148 
		$this->preparerTablePrChpNomComplet();
149 
		$this->remplirChpNomComplet();
150 
	}
661 jpm 151 
 
636 aurelien 152 
	private function preparerTablePrChpNomComplet() {
153 
		$requete = "SHOW COLUMNS FROM {$this->table} LIKE 'nom_complet' ";
154 
		$resultat = $this->getBdd()->recuperer($requete);
155 
		if ($resultat === false) {
156 
			$requete = 	"ALTER TABLE {$this->table} ".
157 
						'ADD nom_complet VARCHAR( 500 ) '.
158 
						'CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL ';
159 
			$this->getBdd()->requeter($requete);
160 
		}
161 
	}
661 jpm 162 
 
636 aurelien 163 
	private function remplirChpNomComplet() {
661 jpm 164 
		echo "Attribution du champ nom complet au taxons : ";
636 aurelien 165 
		$requete = "UPDATE {$this->table} SET nom_complet = CONCAT(nom_sci,' ',auteur)";
166 
		$resultat = $this->getBdd()->requeter($requete);
167 
		if ($resultat === false) {
661 jpm 168 
			echo "KO\n";
636 aurelien 169 
			throw new Exception("Erreur de génération du champ nom complet");
661 jpm 170 
		} else {
171 
			echo "OK\n";
636 aurelien 172 
		}
406 jpm 173 
	}
174 
 
175 
	private function genererChpFamille() {
176 
		$this->initialiserGenerationChamps();
177 
		$this->preparerTablePrChpFamille();
178 
		$resultats = $this->recupererTuplesPrChpFamille();
179 
		$noms = array();
634 delphine 180 
		$introuvables = array();
181 
		$introuvablesSyno = array();
406 jpm 182 
		foreach ($resultats as $id => $nom) {
183 
			$nn = $nom['num_nom'];
184 
			$nnr = $nom['num_nom_retenu'];
185 
			$nts = $nom['num_tax_sup'];
186 
			$rg = $nom['rang'];
187 
			if ($nnr != '') {
188 
				if ($rg == '180') {
189 
					$noms[$nn] = $nom['nom_sci'];
190 
				} else {
191 
					if ($nn == $nnr) {// nom retenu
192 
						if (isset($noms[$nts])) {
193 
							$noms[$nn] = $noms[$nts];
194 
						} else {
195 
							$introuvables[] = $nn;
196 
						}
197 
					} else {// nom synonyme
198 
						if (isset($noms[$nnr])) {
199 
							$noms[$nn] = $noms[$nnr];
200 
						} else {
201 
							$introuvablesSyno[] = $nom;
202 
						}
203 
					}
204 
				}
205 
			}
206 
			unset($resultats[$id]);
207 
			$this->afficherAvancement("Attribution de leur famille aux noms en cours");
208 
			if ($this->stopperLaBoucle($this->getParametre('t'))) break;
209 
		}
210 
		echo "\n";
211 
 
212 
		foreach ($introuvablesSyno as $id => $nom) {
213 
			$nn = $nom['num_nom'];
214 
			$nnr = $nom['num_nom_retenu'];
215 
			if (isset($noms[$nnr])) {
216 
				$noms[$nn] = $noms[$nnr];
217 
			} else {
218 
				$introuvables[] = $nn;
219 
			}
220 
			unset($introuvablesSyno[$id]);
221 
			$this->afficherAvancement("Attribution de leur famille aux synonymes en cours");
222 
		}
223 
		echo "\n";
661 jpm 224 
 
225 
		$msg = 'Plusieurs familles sont introuvables';
226 
		$this->creerFichierLog($msg, $introuvables, 'famille_introuvable');
406 jpm 227 
 
228 
		$this->remplirChpFamille($noms);
229 
	}
230 
 
231 
	private function preparerTablePrChpFamille() {
232 
		$requete = "SHOW COLUMNS FROM {$this->table} LIKE 'famille' ";
233 
		$resultat = $this->getBdd()->recuperer($requete);
234 
		if ($resultat === false) {
235 
			$requete = 	"ALTER TABLE {$this->table} ".
236 
				'ADD famille VARCHAR(255) '.
237 
				'CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL ';
238 
			$this->getBdd()->requeter($requete);
239 
		}
240 
	}
241 
 
242 
	private function recupererTuplesPrChpFamille() {
243 
		$requete = 'SELECT num_nom, num_nom_retenu, num_tax_sup, rang, nom_sci '.
244 
			"FROM {$this->table} ".
245 
			"WHERE rang >= 180 ".
246 
			"ORDER BY rang ASC, num_tax_sup ASC, num_nom_retenu DESC ";
247 
		$resultat = $this->getBdd()->recupererTous($requete);
248 
		return $resultat;
249 
	}
250 
 
251 
	private function remplirChpFamille($noms) {
252 
		foreach ($noms as $id => $famille) {
253 
			$famille = $this->getBdd()->proteger($famille);
254 
			$requete = "UPDATE {$this->table} SET famille = $famille WHERE num_nom = $id ";
255 
			$resultat = $this->getBdd()->requeter($requete);
256 
			if ($resultat === false) {
257 
				throw new Exception("Erreur d'insertion pour le tuple $id");
258 
			}
259 
			$this->afficherAvancement("Insertion des noms de famille dans la base en cours");
260 
		}
261 
		echo "\n";
262 
	}
634 delphine 263 
	private function genererDonneesTestMultiVersion() {
264 
		$contenuSql = $this->recupererContenu(Config::get('chemins.structureSqlTest'));
265 
		$this->executerScripSql($contenuSql);
661 jpm 266 
 
634 delphine 267 
		$table = Config::get('tables.bdtxa');
268 
		$tableTest = Config::get('tables.bdtxaTest');
269 
		$requete = "INSERT INTO $tableTest SELECT * FROM $table";
270 
		$this->getBdd()->requeter($requete);
271 
	}
661 jpm 272 
 
634 delphine 273 
	private function supprimerDonneesTestMultiVersion() {
274 
		$tableMeta = Config::get('tables.bdtxaMeta');
661 jpm 275 
		$requete = "DELETE FROM $tableMeta WHERE guid = 'urn:lsid:tela-botanica.org:bdtxa:1.00'";
634 delphine 276 
		$this->getBdd()->requeter($requete);
661 jpm 277 
 
634 delphine 278 
		$tableTest = Config::get('tables.bdtxaTest');
279 
		$requete = "DROP TABLE IF EXISTS $tableTest";
280 
		$this->getBdd()->requeter($requete);
281 
	}
406 jpm 282 
	private function supprimerTous() {
661 jpm 283 
		$requete = "DROP TABLE IF EXISTS bdtxa_meta, bdtxa_v0_01, bdtxa_v1_00";
406 jpm 284 
		$this->getBdd()->requeter($requete);
285 
	}
661 jpm 286 
 
287 
	private function creerFichierLog($message, $lignes, $nomFichier) {
288 
		$lignesNbre = count($lignes);
289 
		if ($lignesNbre != 0) {
290 
			echo "$message. Voir le log de $lignesNbre lignes :\n";
291 
 
292 
			$logContenu = implode(", \n", $lignes);
293 
			$logFichier = realpath(dirname(__FILE__))."/log/$nomFichier.log";
294 
			echo $logFichier."\n";
295 
			file_put_contents($logFichier, $logContenu);
296 
		}
297 
	}
406 jpm 298 
}
299 
?>