Subversion Repositories eFlore/Projets.eflore-projets

Rev

Go to most recent revision | Details | Last modification | View Log | RSS feed

Rev Author Line No. Line
406 jpm 1
<?php
2
//declare(encoding='UTF-8');
3
/**
4
 * Exemple de lancement du script : :
5
 * /opt/lampp/bin/php cli.php bdtxa -a chargerTous
6
 *
7
 * @category	php 5.2
8
 * @package		eFlore/Scripts
9
 * @author		Jean-Pascal MILCENT <jpm@tela-botanica.org>
10
 * @copyright	Copyright (c) 2012, Tela Botanica (accueil@tela-botanica.org)
11
 * @license		http://www.cecill.info/licences/Licence_CeCILL_V2-fr.txt Licence CECILL
12
 * @license		http://www.gnu.org/licenses/gpl.html Licence GNU-GPL
13
 * @version		$Id$
14
 */
15
class Bdtxa extends EfloreScript {
16
 
17
	private $table = null;
18
	private $pasInsertion = 1000;
19
	private $departInsertion = 0;
20
 
21
	protected $parametres_autorises = array(
22
		'-t' => array(false, false, 'Permet de tester le script sur un jeu réduit de données (indiquer le nombre de lignes).'));
23
 
24
	public function executer() {
25
		try {
26
			$this->initialiserProjet('bdtxa');
27
 
28
			// Lancement de l'action demandée
29
			$cmd = $this->getParametre('a');
30
			switch ($cmd) {
31
				case 'chargerTous' :
32
					$this->chargerStructureSql();
33
					$this->chargerBdtxa();
34
					$this->genererChpNomSciHtml();
35
					$this->genererChpFamille();
636 aurelien 36
					$this->genererChpNomComplet();
406 jpm 37
					break;
38
				case 'chargerStructureSql' :
39
					$this->chargerStructureSql();
40
					break;
41
				case 'chargerBdtxa' :
42
					$this->chargerBdtxa();
43
					break;
637 delphine 44
				case 'genererChpNomSciHtml' :
406 jpm 45
					$this->genererChpNomSciHtml();
46
					break;
637 delphine 47
				case 'genererChpNomComplet' :
48
					$this->initialiserGenerationChamps();
49
					$this->genererChpNomComplet();
50
					break;
406 jpm 51
				case 'genererChpFamille' :
52
					$this->genererChpFamille();
53
					break;
54
				case 'supprimerTous' :
55
					$this->supprimerTous();
56
					break;
57
				default :
58
					throw new Exception("Erreur : la commande '$cmd' n'existe pas!");
59
			}
60
		} catch (Exception $e) {
61
			$this->traiterErreur($e->getMessage());
62
		}
63
	}
64
 
65
	private function chargerBdtxa() {
661 jpm 66
		$chemin = Config::get('chemins.bdt');
634 delphine 67
		$table = Config::get('tables.bdtxa');
406 jpm 68
		$requete = "LOAD DATA INFILE '$chemin' ".
69
				"REPLACE INTO TABLE $table ".
70
				'CHARACTER SET utf8 '.
71
				'FIELDS '.
72
				"	TERMINATED BY '\t' ".
73
				"	ENCLOSED BY '' ".
74
				"	ESCAPED BY '\\\' ".
75
				'IGNORE 1 LINES';
76
		$this->getBdd()->requeter($requete);
77
	}
78
 
79
	private function genererChpNomSciHtml() {
80
		$this->initialiserGenerationChamps();
81
		$this->preparerTablePrChpNomSciHtml();
82
		$generateur = new GenerateurNomSciHtml();
661 jpm 83
		$nbreTotal = $this->recupererNbTotalTuples();
84
		$erreurs = array();
406 jpm 85
		$this->departInsertion = 0;
86
		while ($this->departInsertion < $nbreTotal) {
661 jpm 87
			$resultat = $this->recupererTuplesPrChpNomSciHtml();
88
 
89
			try {
90
				$nomsSciEnHtml = $generateur->generer($resultat);
91
			} catch (Exception $e) {
92
				$erreurs[] = $e->getMessage();
93
			}
94
 
406 jpm 95
			$this->remplirChpNomSciHtm($nomsSciEnHtml);
96
			$this->departInsertion += $this->pasInsertion;
97
			$this->afficherAvancement("Insertion des noms scientifique au format HTML dans la base par paquet de {$this->pasInsertion} en cours");
98
			if ($this->stopperLaBoucle($this->getParametre('t'))) break;
661 jpm 99
		}
100
		echo "\n";
101
 
102
		$this->creerFichierLog('Erreurs lors de la génération HTML des noms scientifiques', $erreurs, 'erreurs_noms_sci_html');
406 jpm 103
	}
104
 
105
	private function initialiserGenerationChamps() {
634 delphine 106
		$this->table = Config::get('tables.bdtxa');
406 jpm 107
	}
108
 
109
	private function preparerTablePrChpNomSciHtml() {
110
		$requete = "SHOW COLUMNS FROM {$this->table} LIKE 'nom_sci_html' ";
111
		$resultat = $this->getBdd()->recuperer($requete);
112
		if ($resultat === false) {
113
			$requete = 	"ALTER TABLE {$this->table} ".
114
					'ADD nom_sci_html VARCHAR( 500 ) '.
115
					'CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL ';
116
			$this->getBdd()->requeter($requete);
117
		}
118
	}
119
 
120
	private function recupererNbTotalTuples(){
121
		$requete = "SELECT count(*) AS nb FROM {$this->table} ";
122
		$resultat = $this->getBdd()->recuperer($requete);
123
		return $resultat['nb'];
124
	}
125
 
126
	private function recupererTuplesPrChpNomSciHtml() {
127
		$requete = 'SELECT 	num_nom, rang, nom_supra_generique, genre, epithete_infra_generique, '.
128
				'	epithete_sp, type_epithete, epithete_infra_sp,cultivar_groupe, '.
129
				'	nom_commercial, cultivar '.
130
				"FROM {$this->table} ".
131
				"LIMIT {$this->departInsertion},{$this->pasInsertion} ";
132
		$resultat = $this->getBdd()->recupererTous($requete);
133
		return $resultat;
134
	}
135
 
136
	private function remplirChpNomSciHtm($nomsSciHtm) {
137
		foreach ($nomsSciHtm as $id => $html) {
138
			$html = $this->getBdd()->proteger($html);
139
			$requete = "UPDATE {$this->table} SET nom_sci_html = $html WHERE num_nom = $id ";
140
			$resultat = $this->getBdd()->requeter($requete);
141
			if ($resultat === false) {
142
				throw new Exception("Erreur d'insertion pour le tuple $id");
143
			}
144
		}
636 aurelien 145
	}
661 jpm 146
 
636 aurelien 147
	private function genererChpNomComplet() {
148
		$this->preparerTablePrChpNomComplet();
149
		$this->remplirChpNomComplet();
150
	}
661 jpm 151
 
636 aurelien 152
	private function preparerTablePrChpNomComplet() {
153
		$requete = "SHOW COLUMNS FROM {$this->table} LIKE 'nom_complet' ";
154
		$resultat = $this->getBdd()->recuperer($requete);
155
		if ($resultat === false) {
156
			$requete = 	"ALTER TABLE {$this->table} ".
157
						'ADD nom_complet VARCHAR( 500 ) '.
158
						'CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL ';
159
			$this->getBdd()->requeter($requete);
160
		}
161
	}
661 jpm 162
 
636 aurelien 163
	private function remplirChpNomComplet() {
661 jpm 164
		echo "Attribution du champ nom complet au taxons : ";
636 aurelien 165
		$requete = "UPDATE {$this->table} SET nom_complet = CONCAT(nom_sci,' ',auteur)";
166
		$resultat = $this->getBdd()->requeter($requete);
167
		if ($resultat === false) {
661 jpm 168
			echo "KO\n";
636 aurelien 169
			throw new Exception("Erreur de génération du champ nom complet");
661 jpm 170
		} else {
171
			echo "OK\n";
636 aurelien 172
		}
406 jpm 173
	}
174
 
175
	private function genererChpFamille() {
176
		$this->initialiserGenerationChamps();
177
		$this->preparerTablePrChpFamille();
178
		$resultats = $this->recupererTuplesPrChpFamille();
179
		$noms = array();
634 delphine 180
		$introuvables = array();
181
		$introuvablesSyno = array();
406 jpm 182
		foreach ($resultats as $id => $nom) {
183
			$nn = $nom['num_nom'];
184
			$nnr = $nom['num_nom_retenu'];
185
			$nts = $nom['num_tax_sup'];
186
			$rg = $nom['rang'];
187
			if ($nnr != '') {
188
				if ($rg == '180') {
189
					$noms[$nn] = $nom['nom_sci'];
190
				} else {
191
					if ($nn == $nnr) {// nom retenu
192
						if (isset($noms[$nts])) {
193
							$noms[$nn] = $noms[$nts];
194
						} else {
195
							$introuvables[] = $nn;
196
						}
197
					} else {// nom synonyme
198
						if (isset($noms[$nnr])) {
199
							$noms[$nn] = $noms[$nnr];
200
						} else {
201
							$introuvablesSyno[] = $nom;
202
						}
203
					}
204
				}
205
			}
206
			unset($resultats[$id]);
207
			$this->afficherAvancement("Attribution de leur famille aux noms en cours");
208
			if ($this->stopperLaBoucle($this->getParametre('t'))) break;
209
		}
210
		echo "\n";
211
 
212
		foreach ($introuvablesSyno as $id => $nom) {
213
			$nn = $nom['num_nom'];
214
			$nnr = $nom['num_nom_retenu'];
215
			if (isset($noms[$nnr])) {
216
				$noms[$nn] = $noms[$nnr];
217
			} else {
218
				$introuvables[] = $nn;
219
			}
220
			unset($introuvablesSyno[$id]);
221
			$this->afficherAvancement("Attribution de leur famille aux synonymes en cours");
222
		}
223
		echo "\n";
661 jpm 224
 
225
		$msg = 'Plusieurs familles sont introuvables';
226
		$this->creerFichierLog($msg, $introuvables, 'famille_introuvable');
406 jpm 227
 
228
		$this->remplirChpFamille($noms);
229
	}
230
 
231
	private function preparerTablePrChpFamille() {
232
		$requete = "SHOW COLUMNS FROM {$this->table} LIKE 'famille' ";
233
		$resultat = $this->getBdd()->recuperer($requete);
234
		if ($resultat === false) {
235
			$requete = 	"ALTER TABLE {$this->table} ".
236
				'ADD famille VARCHAR(255) '.
237
				'CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL ';
238
			$this->getBdd()->requeter($requete);
239
		}
240
	}
241
 
242
	private function recupererTuplesPrChpFamille() {
243
		$requete = 'SELECT num_nom, num_nom_retenu, num_tax_sup, rang, nom_sci '.
244
			"FROM {$this->table} ".
245
			"WHERE rang >= 180 ".
246
			"ORDER BY rang ASC, num_tax_sup ASC, num_nom_retenu DESC ";
247
		$resultat = $this->getBdd()->recupererTous($requete);
248
		return $resultat;
249
	}
250
 
251
	private function remplirChpFamille($noms) {
252
		foreach ($noms as $id => $famille) {
253
			$famille = $this->getBdd()->proteger($famille);
254
			$requete = "UPDATE {$this->table} SET famille = $famille WHERE num_nom = $id ";
255
			$resultat = $this->getBdd()->requeter($requete);
256
			if ($resultat === false) {
257
				throw new Exception("Erreur d'insertion pour le tuple $id");
258
			}
259
			$this->afficherAvancement("Insertion des noms de famille dans la base en cours");
260
		}
261
		echo "\n";
262
	}
634 delphine 263
	private function genererDonneesTestMultiVersion() {
264
		$contenuSql = $this->recupererContenu(Config::get('chemins.structureSqlTest'));
265
		$this->executerScripSql($contenuSql);
661 jpm 266
 
634 delphine 267
		$table = Config::get('tables.bdtxa');
268
		$tableTest = Config::get('tables.bdtxaTest');
269
		$requete = "INSERT INTO $tableTest SELECT * FROM $table";
270
		$this->getBdd()->requeter($requete);
271
	}
661 jpm 272
 
634 delphine 273
	private function supprimerDonneesTestMultiVersion() {
274
		$tableMeta = Config::get('tables.bdtxaMeta');
661 jpm 275
		$requete = "DELETE FROM $tableMeta WHERE guid = 'urn:lsid:tela-botanica.org:bdtxa:1.00'";
634 delphine 276
		$this->getBdd()->requeter($requete);
661 jpm 277
 
634 delphine 278
		$tableTest = Config::get('tables.bdtxaTest');
279
		$requete = "DROP TABLE IF EXISTS $tableTest";
280
		$this->getBdd()->requeter($requete);
281
	}
406 jpm 282
	private function supprimerTous() {
661 jpm 283
		$requete = "DROP TABLE IF EXISTS bdtxa_meta, bdtxa_v0_01, bdtxa_v1_00";
406 jpm 284
		$this->getBdd()->requeter($requete);
285
	}
661 jpm 286
 
287
	private function creerFichierLog($message, $lignes, $nomFichier) {
288
		$lignesNbre = count($lignes);
289
		if ($lignesNbre != 0) {
290
			echo "$message. Voir le log de $lignesNbre lignes :\n";
291
 
292
			$logContenu = implode(", \n", $lignes);
293
			$logFichier = realpath(dirname(__FILE__))."/log/$nomFichier.log";
294
			echo $logFichier."\n";
295
			file_put_contents($logFichier, $logContenu);
296
		}
297
	}
406 jpm 298
}
299
?>