Subversion Repositories eFlore/Projets.eflore-projets

Rev

Rev 435 | Rev 437 | Go to most recent revision | Details | Compare with Previous | Last modification | View Log | RSS feed

Rev Author Line No. Line
424 jpm 1
<?php
2
// commande : /opt/lampp/bin/php cli.php description_sp -a tester -n /home/jennifer/Tela-botanica_projets/Coste/descriptions/html
3
class Description {
4
 
428 jpm 5
	const DOSSIER_V0 = '../../../donnees/coste/0.00/';
6
	const DOSSIER_DSC_HTML = '../../../donnees/coste/descriptions/html/';
7
	const DOSSIER_DSC_TXT = '../../../donnees/coste/descriptions/txt/';
8
	const DOSSIER_LOG = 'log/';
424 jpm 9
 
436 jpm 10
	private $atueurs = array();
428 jpm 11
	private $dossierBase = '';
424 jpm 12
	private $conteneur = null;
13
	private $outils = null;
14
	private $messages = null;
428 jpm 15
	private $action = '';
16
	private $nomFichier = '';
17
	private $nomDossier = '';
18
	private $listeFichiers = array();
424 jpm 19
	private $fichierNum = '';
428 jpm 20
	private $fichier = '';
21
	private $log = '';
22
	private $correspondance = array();
23
	private $infosCorrespondanceBase = array(
24
		'nom_sci' => '',
25
		'auteur' => '',
436 jpm 26
		'nom_addendum' => '',
430 jpm 27
		'annee' => '',
28
		'biblio_coste' => '',
436 jpm 29
		'rang' => 290,
428 jpm 30
		'nom_francais' => '',
31
		'nom_coste' => '',
430 jpm 32
		'auteur_coste' => '',
428 jpm 33
		'num_nom_coste' => '',
430 jpm 34
		'num_nom_retenu_coste' => '',
428 jpm 35
		'num_tax_sup_coste' => '',
36
		'tome' => '',
37
		'page' => '',
430 jpm 38
		'synonymie_coste' => '',
428 jpm 39
		'bdnff_nn' => '',
40
		'bdnff_nt' => '');
424 jpm 41
 
42
	public function __construct(Conteneur $conteneur) {
43
		$this->conteneur = $conteneur;
44
		$this->outils = $conteneur->getOutils();
45
		$this->messages = $conteneur->getMessages();
428 jpm 46
		$this->dossierBase = dirname(__FILE__).'/';
424 jpm 47
	}
48
 
49
	public function genererDescriptionTxt() {
428 jpm 50
		$this->chargerFichiers();
51
 
52
		foreach ($this->listeFichiers as $this->fichierNum => $this->fichier) {
53
			$this->messages->afficherAvancement("Création des descriptions au format txt");
54
			$this->genererFichier();
55
		}
56
		echo "\n";
424 jpm 57
	}
58
 
428 jpm 59
	public function verifierDescriptionTxt() {
60
		$this->chargerFichiers();
61
 
62
		foreach ($this->listeFichiers as $this->fichierNum => $this->fichier) {
63
			$this->messages->afficherAvancement("Analyse des descriptions");
64
			$this->verifierFichier();
65
		}
66
		echo "\n";
436 jpm 67
		$this->ecrireLogs();
428 jpm 68
	}
69
 
70
	public function genererCorrespondance() {
71
		$this->chargerFichiers();
436 jpm 72
 
73
		$this->ajouterLogSyno(implode("\t", array_keys($this->infosCorrespondanceBase)));
428 jpm 74
		foreach ($this->listeFichiers as $this->fichierNum => $this->fichier) {
75
			$this->messages->afficherAvancement("Création du fichier de correspondance");
76
			$this->extraireInfosCorrespondance();
77
		}
78
		echo "\n";
79
 
80
		$fichierTxt = $this->dossierBase.self::DOSSIER_V0.'index_general_sp.tsv';
81
		$txtCorrespondance = $this->creerFichierCsvCorrespondance();
430 jpm 82
		file_put_contents($fichierTxt, $txtCorrespondance);
83
 
436 jpm 84
		$this->ecrireLogs();
428 jpm 85
	}
86
 
87
	private function chargerFichiers() {
88
		$this->nomDossier = $this->dossierBase.self::DOSSIER_DSC_HTML;
89
		if (file_exists($this->nomDossier) === true) {
90
			if (is_dir($this->nomDossier)) {
91
				if ($dossierOuvert = opendir($this->nomDossier)) {
92
					while (($this->nomFichier = readdir($dossierOuvert)) !== false) {
93
						if (! is_dir($this->nomFichier) && preg_match('/e([0-9]{4})\.htm/', $this->nomFichier, $match)) {
94
							$this->listeFichiers[$match[1]] = $this->nomDossier.'/'.$this->nomFichier;
424 jpm 95
						}
96
					}
97
					closedir($dossierOuvert);
98
				} else {
428 jpm 99
					$this->messages->traiterErreur("Le dossier {$this->nomDossier} n'a pas pu être ouvert.");
424 jpm 100
				}
101
			} else {
428 jpm 102
				$this->messages->traiterErreur("{$this->nomDossier} n'est pas un dossier.");
424 jpm 103
			}
104
		} else {
428 jpm 105
			$this->messages->traiterErreur("Le dossier {$this->nomDossier} est introuvable.");
424 jpm 106
		}
428 jpm 107
 
430 jpm 108
		arsort($this->listeFichiers);
424 jpm 109
	}
110
 
428 jpm 111
	private function verifierFichier() {
112
		$donnees = $this->analyserFichier();
113
		$txt = $donnees['texte'];
114
		$this->verifierOuvertureFermetureBalise($txt);
115
		$this->verifierAbscenceEgale($txt);
116
		$this->verifierNumero($txt);
430 jpm 117
		// TODO : vérifier les noms vernauclaire qui sont abrégés
428 jpm 118
	}
119
 
120
	private function verifierOuvertureFermetureBalise($txt) {
121
		$b_ouvert = substr_count($txt, '<B>');
122
		$b_ferme = substr_count($txt, '</B>');
123
		if ($b_ouvert != $b_ferme) {
436 jpm 124
			$message = "{$this->fichierNum} contient $b_ouvert balises B ouvertes et $b_ferme fermées";
125
			$this->ajouterLogAnalyse($message);
428 jpm 126
		}
127
		$i_ouvert = substr_count($txt, '<I>');
128
		$i_ferme = substr_count($txt, '</I>');
129
		if ($i_ouvert != $i_ferme) {
436 jpm 130
			$message = "{$this->fichierNum} contient $i_ouvert balises I ouvertes et $i_ferme fermées";
131
			$this->ajouterLogAnalyse($message);
428 jpm 132
		}
133
	}
134
 
135
	private function verifierAbscenceEgale($txt) {
136
		if (strripos($txt, '=') === false) {
436 jpm 137
			$message = "{$this->fichierNum} ne contient pas le séparateur de phénologie (=)";
138
			$this->ajouterLogAnalyse($message);
428 jpm 139
		}
140
	}
141
 
142
	private function verifierNumero($txt) {
143
		if (preg_match('/^<B>[0-9]{1,4}. – /', $txt) == 0) {
436 jpm 144
			$message = "{$this->fichierNum} ne contient pas un numéro bien formaté";
145
			$this->ajouterLogAnalyse($message);
428 jpm 146
		}
147
	}
148
 
149
	private function extraireInfosCorrespondance() {
150
		$donnees = $this->analyserFichier();
151
		$infos = $this->infosCorrespondanceBase;
152
 
153
		$titre = $donnees['titre'];
430 jpm 154
		if (preg_match('/^Coste ([0-9]+) - ((?:(?! - ).)+) - F[0-9]+, (?:(?! - ).)+ - (G[0-9]+), T([123])[.]p([0-9]+)$/', $titre, $match)) {
428 jpm 155
			$infos['num_nom_coste'] = $match[1];
156
			$infos['nom_sci'] = $match[2];
157
			$infos['num_tax_sup_coste'] = $match[3];
158
			$infos['tome'] = $match[4];
159
			$infos['page'] = $match[5];
160
		} else {
161
			$this->messages->traiterErreur("Le titre du fichier {$this->fichierNum} est mal formaté.");
162
		}
163
 
164
		$corres = $donnees['correspondance'];
430 jpm 165
		if (preg_match('/^Bdnff ([0-9]+) - (?:(?! - ).)+ - (?:(?! - ).)+ - Tax=([0-9]+)$/', $corres, $match)) {
428 jpm 166
			$infos['bdnff_nn'] = $match[1];
167
			$infos['bdnff_nt'] = $match[2];
168
		} else {
169
			$this->messages->traiterErreur("La correspondance du fichier {$this->fichierNum} est mal formatée.");
170
		}
171
 
172
		$txt = $donnees['texte'];
173
		$txt = $this->corrigerDescription($txt);
430 jpm 174
		if (preg_match('/^<B>[0-9]{1,4}[.] – ([^<]+)<\/B> ([^–]*)– (?:<I>([^<]+)<\/I>[.] – |<I>([^<]+)<\/I>( \([^)]+\))[.] – |[A-Z]|<I>(?:Sous-|Espèce|Turion|Souche|Plante|Feuille|Racine))/u', $txt, $match)) {
175
			$infos['nom_coste'] = trim($match[1]);
176
			$infos['auteur_coste'] = trim($match[2]);
177
			$infos['nom_francais'] = isset($match[3]) ? $match[3] : '';
178
			$infos['nom_francais'] = isset($match[4]) && isset($match[5]) ? $match[4].$match[5] : $infos['nom_francais'];
179
			if (strpos($infos['auteur_coste'], '(' ) !== false) {
180
				if (preg_match('/^([^(]*)\(([^)]+)\)(?:[.]?| ; ((?:(?! – ).)+))$/', $infos['auteur_coste'], $match)) {
181
					$infos['auteur_coste'] = trim($match[1]);
182
					$infos['auteur'] = $this->traiterAuteur($infos['auteur_coste']);
183
					$parentheseContenu = trim($match[2]);
184
					if (preg_match('/^[0-9]+$/', $parentheseContenu)) {
185
						$infos['annee'] = $parentheseContenu;
186
					} else {
187
						$infos['synonymie_coste'] = $parentheseContenu;
188
						$infos['biblio_coste'] = isset($match[3]) ? trim($match[3]) : '';
189
					}
190
				} else {
191
					$this->messages->traiterErreur("L'auteur du nom sciencitifique du fichier {$this->fichierNum} est mal formaté.");
192
				}
193
			}
428 jpm 194
		} else {
195
			$this->messages->traiterErreur("La texte du fichier {$this->fichierNum} est mal formaté.");
196
		}
197
 
198
		$this->correspondance[] = $infos;
430 jpm 199
 
200
		if ($infos['synonymie_coste'] != '') {
201
			$this->traiterSynonymie($infos);
202
		}
428 jpm 203
	}
204
 
430 jpm 205
	private function traiterAuteur($auteurCoste) {
206
		$auteur = '';
207
		if ($auteurCoste != '') {
208
			$auteur = str_replace('et', '&', $auteurCoste);
209
		}
210
		return $auteur;
211
	}
212
 
213
	private function traiterSynonymie($infos) {
214
		$synoCoste = $infos['synonymie_coste'];
215
		$synoCoste = preg_replace('/^et /', '', $synoCoste);
216
		$synoCoste = preg_replace('/ et ([A-Z]{2,}|[A-Z][.] [A-Z]{2,})/', ' ; $1', $synoCoste);
435 jpm 217
		$synoCoste = preg_replace('/, ((?:(?!non |part[.]|an |G[.] G[.]|part[.]|centr[.])[^,]+))/', ' ;$1', $synoCoste);
430 jpm 218
 
219
		$synonymes = explode(';', $synoCoste);
220
 
436 jpm 221
		foreach ($synonymes as $num => $syno) {
222
			$synoTraite = $this->traiterNomSyno($syno);
430 jpm 223
			$infosSyno = $this->infosCorrespondanceBase;
436 jpm 224
			$infosSyno['rang'] = $this->obtenirRangSyno($syno);
225
			$infosSyno['nom_sci'] = $this->obtenirNomSci($synoTraite, $infos, $synonymes, $num);
226
			$infosSyno['nom_coste'] = $synoTraite;
227
			$infosSyno['auteur'] =  $this->obtenirAuteur($synoTraite);
228
			$infosSyno['nom_addendum'] =  $this->obtenirNomAddendum($syno);
229
			$infosSyno['num_nom_coste'] = $infos['num_nom_coste'].'.'.($num + 1);
230
			$infosSyno['num_nom_retenu_coste'] = $infos['num_nom_coste'];
231
			$this->ajouterLogSyno(implode("\t", $infosSyno));
430 jpm 232
			$this->correspondance[] = $infosSyno;
233
		}
234
	}
235
 
436 jpm 236
	private function obtenirAuteur($syno) {
237
		$auteur = '';
238
		$nomSciRE = '(?:[^ ]+ [^ ]+ var. [^ ]+|[^ ]+ [^ ]+)';
239
		if (preg_match("/^$nomSciRE ((?!(?:auct.+|, non.+|p[.] p[.])$).+)$/", $syno, $match)) {
240
			$auteur = $match[1];
241
			$auteur = preg_replace('/(?: p[.] p[.]|, non .+|(?: Sp[.])? ed[.] [1-2])$/', '', $auteur);
242
			$this->ajouterAuteur($auteur);
243
		} else {
244
			$message = "Impossible de récupérer l'auteur pour le synonyme ($syno).";
245
			$this->ajouterLogProbleme($message);
246
		}
247
		return $auteur;
248
	}
249
 
250
	private function ajouterAuteur($auteur) {
251
		if (!isset($this->auteurs[$auteur])) {
252
			$this->auteurs[$auteur] = 1;
253
			$this->ajouterLogAuteur($auteur);
254
		} else {
255
			$this->auteurs[$auteur]++;
256
		}
257
	}
258
 
259
	private function obtenirNomAddendum($syno) {
260
		$nomAddendum = array();
261
		if (preg_match('/^((?:compr|incl)[.]) /', $syno, $match)) {
262
			$nomAddendum[] = '['.$match[1].']';
263
		}
264
		if (preg_match('/ (auct[.] .+)$/', $syno, $match)) {
265
			$nomAddendum[] = '['.$match[1].']';
266
		} else if (preg_match('/, (non .+)$/', $syno, $match)) {
267
			$nomAddendum[] = '['.$match[1].']';
268
		} else if (preg_match('/ (p[.] p[.])$/', $syno, $match)) {
269
			$nomAddendum[] = '['.$match[1].']';
270
		} else if (preg_match('/ (saltem part[.])$/', $syno, $match)) {
271
			$nomAddendum[] = '['.$match[1].']';
272
		}
273
 
274
		$nomAddendum = implode(' ; ', $nomAddendum);
275
		return $nomAddendum;
276
	}
277
 
278
	private function obtenirSynoPrecedent($synonymes, $num) {
279
		$synoPrecedent = '';
280
		if (isset($synonymes[($num - 1 )])) {
281
			$synoPrecedent = $this->traiterNomSyno($synonymes[($num - 1 )]);
282
		}
283
		return $synoPrecedent;
284
	}
285
 
286
	private function remplacerAbreviationGenre($syno, $infos, $synonymes, $num) {
287
		$nomSci = $syno;
288
 
289
		if (preg_match('/^(([A-Zƌ])[.]) /', $syno, $matchSyno)) {
290
			if ($matchSyno[2] == substr($infos['nom_coste'], 0, 1)) {
291
				if (preg_match('/^([^ ]+) /', $infos['nom_coste'], $matchNomRetenu)) {
292
					$nomSci = str_replace($matchSyno[1], $matchNomRetenu[1], $syno);
293
				}
294
			} else {
295
				$synoPrecedent = $this->obtenirSynoAvecGenreComplet($synonymes, $num);
296
 
297
				if ($matchSyno[2] == substr($synoPrecedent, 0, 1)) {
298
					if (preg_match('/^([^ ]+) /', $synoPrecedent, $matchSynoPrec)) {
299
						$nomSci = str_replace($matchSyno[1], $matchSynoPrec[1], $syno);
300
					}
301
				} else {
302
					$message = "L'initiale du synonyme ($syno) ne correspondant pas au nom retenu {$infos['num_nom_coste']} ({$infos['nom_coste']}) ".
303
							"ni au synonyme précédent ($synoPrecedent).";
304
					$this->ajouterLogProbleme($message);
305
				}
306
			}
307
		}
308
		return $nomSci;
309
	}
310
 
311
	private function obtenirSynoAvecGenreComplet($synonymes, $num) {
312
		$synoPrecedent = '';
313
		$synoOk = false;
314
		while ($synoOk == false) {
315
			if ($num < 0) {
316
				$synoOk = true;
317
			}
318
			$synoPrecedent = $this->obtenirSynoPrecedent($synonymes, $num);
319
			if (preg_match('/^[A-Zƌ][.] /', $synoPrecedent)) {
320
				$num = $num - 1;
321
			} else {
322
				$synoOk = true;
323
			}
324
		}
325
		return $synoPrecedent;
326
	}
327
 
328
	private function obtenirNomSci($syno, $infos, $synonymes, $num) {
329
		$nomSci = $this->remplacerAbreviationGenre($syno, $infos, $synonymes, $num);
330
 
331
		if (preg_match('/^([^ ]+) ([^ ]+) var. ([^ ]+)/', $nomSci, $match)) {
332
			$genre = ucfirst(strtolower($match[1]));
333
			$sp = strtolower($match[2]);
334
			$infrasp = strtolower($match[3]);
335
			$nomSci = "$genre $sp var. $infrasp";
336
		} else if (preg_match('/^([^ ]+) ([^ ]+)(?: |$)/', $nomSci, $match)) {
337
			$genre = ucfirst(strtolower($match[1]));
338
			$sp = strtolower($match[2]);
339
			$nomSci = "$genre $sp";
340
		} else {
341
			$message = "Le synonyme ($nomSci) du nom {$infos['num_nom_coste']} a une structure étrange.";
342
			$this->ajouterLogProbleme($message);
343
		}
344
		return $nomSci;
345
	}
346
 
347
	private function obtenirRangSyno($syno) {
348
		$rang = 290;
349
		if (strpos($syno, ' var. ')) {
350
			$rang = 340;
351
		}
352
		return $rang;
353
	}
354
 
355
	private function traiterNomSyno($syno) {
356
		$syno = trim($syno);
357
		$syno = trim($syno, ' ');
358
		$syno = preg_replace('/^(?:compr|incl)[.] /', '', $syno);
359
		return $syno;
360
	}
361
 
428 jpm 362
	private function creerFichierCsvCorrespondance() {
363
		$lignes[] = implode("\t", array_keys($this->infosCorrespondanceBase));
364
		foreach ($this->correspondance as $infos) {
365
			$lignes[] = implode("\t", $infos);
366
		}
367
 
368
		$txt = '';
369
		$txt = implode("\n", $lignes);
370
		return $txt;
371
	}
372
 
373
	private function genererFichier() {
374
		$donnees = $this->analyserFichier();
375
 
376
		$txt = $this->nettoyerDescription($donnees['texte']);
377
		$txt = $this->corrigerDescription($txt);
378
		$txt = $this->remplacerHtmlParSyntaxeWiki($txt);
379
		$fichierTxt = $this->dossierBase.self::DOSSIER_DSC_TXT.$this->fichierNum.'.txt';
380
		file_put_contents($fichierTxt, $txt);
381
 
382
		unset($donnees['texte']);
383
		$txt = implode("\n", $donnees);
384
		$fichierTxt = $this->dossierBase.self::DOSSIER_DSC_TXT.$this->fichierNum.'.json';
424 jpm 385
		file_put_contents($fichierTxt, $txt);
386
	}
387
 
428 jpm 388
	private function analyserFichier() {
389
		$donnees = array('titre' => '', 'texte' => '', 'correspondance' => '');
390
		if ($fichierOuvert = fopen($this->fichier, 'r')) {
424 jpm 391
			$i = 1;
392
			while ($ligne = fgets($fichierOuvert)) {
393
				if ($i == 24) {
428 jpm 394
					$donnees['titre'] = $this->supprimerHtml($ligne);
430 jpm 395
				} elseif ($i >= 45 && $i <= 60) {
428 jpm 396
					$donnees['texte'] .= $this->traiterLigneDescription($ligne);
430 jpm 397
				} elseif ($i >= 61 && preg_match('/Bdnff /ui', $ligne)) {
428 jpm 398
					$donnees['correspondance'] = $this->supprimerHtml($ligne);
399
				}
424 jpm 400
				$i++;
401
			}
402
			fclose($fichierOuvert);
403
		} else {
428 jpm 404
			$this->messages->traiterErreur("Le fichier {$this->fichier} n'a pas pu être ouvert.");
424 jpm 405
		}
406
		return $donnees;
407
	}
408
 
428 jpm 409
	private function supprimerHtml($txt) {
410
		$txt = strip_tags($txt,'<b>,<i>');
411
		$txt = str_replace('&#173;', '', $txt);
412
		$txt = str_ireplace('&nbsp;', ' ', $txt);
413
		$txt = trim($txt);
414
		$txt = preg_replace('/^<\/I>/', '', $txt);
415
		$txt = html_entity_decode($txt, ENT_NOQUOTES, 'UTF-8');
416
		return $txt;
424 jpm 417
	}
418
 
428 jpm 419
	private function traiterLigneDescription($txt) {
420
		$txt = $this->supprimerHtml($txt);
421
		$txt = $txt."\n";
422
		return $txt;
423
	}
424
 
425
	private function nettoyerDescription($txt) {
426
		$txt = preg_replace("/\n{2,}+/", "\n", $txt);
424 jpm 427
		$txt = trim($txt);
428
		return $txt;
429
	}
428 jpm 430
 
431
	private function corrigerDescription($txt) {
432
		$txt = preg_replace("/– <I>([^.]+?)[.] – <\/I>/", "– <I>$1</I>. – ", $txt);
433
		$txt = preg_replace("/– <I>([^.]+?)[.] – ([A-Z])<\/I>/", "– <I>$1</I>. – $2", $txt);
434
		$txt = preg_replace("/– <I>([^.]+?) – <\/I>/", "– <I>$1</I>. – ", $txt);
435
		return $txt;
436
	}
437
 
438
	private function remplacerHtmlParSyntaxeWiki($txt) {
439
		$txt = str_replace(array('<B>', '</B>'), '**', $txt);
440
		$txt = str_replace(array('<I>', '</I>'), '//', $txt);
441
		return $txt;
442
	}
436 jpm 443
 
444
	private function ajouterLogAnalyse($txt) {
445
		if (isset($this->log['analyse']) == false) {
446
			$this->log['analyse'] = '';
447
		}
448
		$this->log['analyse'] .= "$txt\n";
449
	}
450
 
451
	private function ajouterLogSyno($txt) {
452
		if (isset($this->log['synonymes']) == false) {
453
			$this->log['synonymes'] = '';
454
		}
455
		$this->log['synonymes'] .= "$txt\n";
456
	}
457
 
458
	private function ajouterLogAuteur($txt) {
459
		if (isset($this->log['auteurs']) == false) {
460
			$this->log['auteurs'] = '';
461
		}
462
		$this->log['auteurs'] .= "$txt\n";
463
	}
464
 
465
	private function ajouterLogProbleme($txt) {
466
		if (isset($this->log['problemes']) == false) {
467
			$this->log['problemes'] = '';
468
		}
469
		$this->log['problemes'] .= "$txt\n";
470
	}
471
 
472
	private function ecrireLogs() {
473
		foreach ($this->log as $nom => $log) {
474
			$fichier = $this->dossierBase.self::DOSSIER_LOG.$nom.'.log';
475
			file_put_contents($fichier, $log);
476
		}
477
	}
424 jpm 478
}
479
?>