Subversion Repositories eFlore/Projets.eflore-projets

Rev

Rev 591 | Rev 688 | Go to most recent revision | Show entire file | Ignore whitespace | Details | Blame | Last modification | View Log | RSS feed

Rev 591 Rev 603
Line 3... Line 3...
3 
 * /opt/lampp/bin/php -d memory_limit=3500M ~/web/eflore-projets/scripts/cli.php baseflor -a chargerTous
 3 
 * /opt/lampp/bin/php -d memory_limit=3500M ~/web/eflore-projets/scripts/cli.php baseflor -a chargerTous
4 
*/
 4 
*/
5 
class Baseflor extends EfloreScript {
 5 
class Baseflor extends EfloreScript {
Line 6... Line 6...
6 
 
 6 
 
7 
	private $table = null;
 - 
 
8 
	private $fichierDonnees = '';
 - 
 
9 
	private $log = '';
 - 
 
10 
	private $nb_erreurs;
 - 
 
11 
	private $erreurs_ligne;
 - 
 
12 
	private $ligne_num;
 - 
 
13 
	private $colonne_valeur;
 - 
 
14 
	private $colonne_num;
 - 
 
15 
	private $type_bio = array();
 - 
 
16 
	private $ss_type_bio = array();
 - 
 
17 
	private $signes_seuls = array();// basés sur valeurs trouvées (--> pas de légende !)
 - 
 
18 
	private $signes_nn_seuls = array();// basés sur valeurs trouvées (--> pas de légende !)
 - 
 
- 
 
 7 
	private $table = null;
19 
	private $intervalles = array();
 - 
 
20 
	private $motifs = array();
 8
21 
 
 9
22 
	public function executer() {
 10 
	public function executer() {
23 
		try {
 11 
		try {
24 
			$this->initialiserProjet('baseflor');
 12 
			$this->initialiserProjet('baseflor');
25 
			$cmd = $this->getParametre('a');
 13 
			$cmd = $this->getParametre('a');
Line 31... Line 19...
31 
					$this->chargerMetadonnees();
 19 
					$this->chargerMetadonnees();
32 
					break;
 20 
					break;
33 
				case 'chargerOntologies' :
 21 
				case 'chargerOntologies' :
34 
					$this->chargerOntologies();
 22 
					$this->chargerOntologies();
35 
					break;
 23 
					break;
36 
				case 'verifierDonnees' :
 24 
				case 'verifierFichier' :
37 
					$this->verifFichier();
25 
					$this->verifierFichier();
38 
					break;
 26 
					break;
39 
				case 'chargerDonnees' :
 27 
				case 'chargerDonnees' :
40 
					$this->chargerDonnees();
 28 
					$this->chargerDonnees();
41 
					break;
 29 
					break;
42 
				case 'genererChamps' :
 30 
				case 'genererChamps' :
Line 246... Line 234...
246 
	//+------------------------------------------------------------------------------------------------------+
 234 
	//+------------------------------------------------------------------------------------------------------+
247 
	// chargements, suppression, exécution
 235 
	// chargements, suppression, exécution
Line 248... Line 236...
248 
 
 236 
 
249 
	protected function chargerMetadonnees() {
 237 
	protected function chargerMetadonnees() {
250 
		$contenuSql = $this->recupererContenu(Config::get('chemins.metadonnees'));
 238 
		$contenuSql = $this->recupererContenu(Config::get('chemins.metadonnees'));
251 
		$this->executerScripSql($contenuSql);
 239 
		$this->executerScriptSql($contenuSql);
Line 252... Line 240...
252 
	}
 240 
	}
253 
 
 241 
 
254 
	private function chargerOntologies() {
 242 
	private function chargerOntologies() {
Line 265... Line 253...
265 
		$this->getBdd()->requeter($requete);
 253 
		$this->getBdd()->requeter($requete);
266 
	}
 254 
	}
Line 267... Line 255...
267 
 
 255 
 
268 
	protected function chargerStructureSql() {
 256 
	protected function chargerStructureSql() {
269 
		$contenuSql = $this->recupererContenu(Config::get('chemins.structureSql'));
 257 
		$contenuSql = $this->recupererContenu(Config::get('chemins.structureSql'));
270 
		$this->executerScripSql($contenuSql);
 258 
		$this->executerScriptSql($contenuSql);
Line 271... Line 259...
271 
	}
 259 
	}
272 
 
 260 
 
273 
	protected function executerScripSql($sql) {
 261 
	protected function executerScriptSql($sql) {
274 
		$requetes = Outils::extraireRequetes($sql);
 262 
		$requetes = Outils::extraireRequetes($sql);
275 
		foreach ($requetes as $requete) {
 263 
		foreach ($requetes as $requete) {
276 
			$this->getBdd()->requeter($requete);
 264 
			$this->getBdd()->requeter($requete);
Line 277... Line 265...
277 
		}
 265 
		}
278 
	}
 266 
	}
279 
 
 267 
 
280 
	private function chargerDonnees() {
268 
	private function chargerDonnees() {
281 
		$this->verifFichier();
 269 
		$nb_err = $this->verifierFichier();
282 
		if ($this->nb_erreurs > 0) {
 270 
		if ($nb_err > 0) {
283 
			$e = "Je ne peux pas charger les données car le fichier comporte des erreurs.".
 271 
			$e = "Je ne peux pas charger les données car le fichier comporte des erreurs.".
Line 295... Line 283...
295 
			"	ESCAPED BY '\\\'";
 283 
			"	ESCAPED BY '\\\'";
296 
		$this->getBdd()->requeter($requete);
 284 
		$this->getBdd()->requeter($requete);
297 
	}
 285 
	}
Line 298... Line 286...
298 
 
 286 
 
299 
	private function supprimerTous() {
 287 
	private function supprimerTous() {
300 
		$requete = "DROP TABLE IF EXISTS baseflor_meta, baseflor_ontologies, baseflor_v2012_03_19,".
 288 
		$requete = "DROP TABLE IF EXISTS baseflor_meta, baseflor_ontologies, baseflor_v2012_05_08,".
301 
			" baseflor_rang_sup_ecologie_v2012_03_19, baseflor_index_v2012_03_19 ";
 289 
			" baseflor_rang_sup_ecologie_v2012_05_08, baseflor_index_v2012_05_08 ";
302 
		$this->getBdd()->requeter($requete);
 290 
		$this->getBdd()->requeter($requete);
Line 303... Line 291...
303 
	}
 291 
	}
304 
 
 - 
 
305 
	//+------------------------------------------------------------------------------------------------------+
 - 
 
306 
	// vérifications de données
 - 
 
307 
 
 - 
 
308 
	//verifie la cohérence des valeurs des colonnes
 - 
 
309 
	private function verifFichier(){
 - 
 
310 
		$this->initialiserParametresVerif();
 - 
 
311 
		$lignes = file($this->fichierDonnees, FILE_IGNORE_NEW_LINES);
 - 
 
312 
		if ($lignes != false) {
 - 
 
313 
			$this->ajouterAuLog("!!! REGARDEZ LES COLONNES DANS NUMERO_COLONNES_IMPORTANT.TXT.");
 - 
 
314 
			foreach ($lignes as $this->ligne_num => $ligne) {
 - 
 
315 
				$this->verifierErreursLigne($ligne);
 - 
 
316 
				$this->afficherAvancement("Vérification des lignes");
 - 
 
317 
			}
 - 
 
318 
			echo "\n";
 - 
 
319 
		} else {
 - 
 
Line 320... Line -...
320 
			$this->traiterErreur("Le fichier {$this->fichierDonnees} ne peut pas être ouvert.");
 - 
 
321 
		}
 - 
 
322 
 
 - 
 
323 
		if ($this->nb_erreurs == 0) {
 - 
 
324 
			$this->ajouterAuLog("Il n'y a pas d'erreurs.");
 - 
 
325 
		}
 - 
 
326 
		$this->traiterInfo($this->nb_erreurs." erreurs");
 - 
 
327 
 
 - 
 
328 
		$this->ecrireFichierLog();
 - 
 
329 
	}
 - 
 
330 
 
 - 
 
331 
	//vérifie par colonnes les erreurs d'une ligne
 - 
 
332 
	private function verifierErreursLigne($ligne){
 - 
 
333 
		$this->erreurs_ligne = array();
 - 
 
334 
		$colonnes = explode("\t", $ligne);
 - 
 
335 
		if (isset($colonnes)) {
 - 
 
336 
			foreach ($colonnes as $this->colonne_num => $this->colonne_valeur) {
 - 
 
337 
				if (( $this->colonne_num > 0 && $this->colonne_num < 15 )
 - 
 
338 
						|| $this->colonne_num == 16
 - 
 
339 
						|| ($this->colonne_num > 18 && $this->colonne_num < 23)
 - 
 
340 
						|| $this->colonne_num > 39) {
 - 
 
341 
					$this->verifierColonne();
 - 
 
342 
				} elseif ($this->colonne_num == 15) {
 - 
 
343 
					$this->verifierTypeBio();
 - 
 
344 
				} elseif ($this->colonne_num >= 23 && $this->colonne_num <= 32) {
 - 
 
345 
					$this->verifierIntervalles($this->colonne_valeur);
 - 
 
346 
				} elseif ($this->colonne_num >= 33 && $this->colonne_num < 41) {
 - 
 
347 
					$this->verifierValeursIndic();
 - 
 
348 
				}
 - 
 
349 
			}
 - 
 
350 
		} else {
 - 
 
351 
			$message = "Ligne {$this->ligne_num} : pas de tabulation";
 - 
 
352 
			$this->ajouterAuLog($message);
 - 
 
353 
		}
 - 
 
354 
 
 - 
 
355 
		$this->controlerErreursLigne();
 - 
 
356 
	}
 - 
 
357 
 
 - 
 
358 
	private function verifierColonne(){
 - 
 
359 
		$motif = $this->motifs[$this->colonne_num];
 - 
 
360 
		if (preg_match($motif, $this->colonne_valeur) == 0 && $this->verifierSiVide() == false){
 - 
 
361 
			$this->erreurs_ligne[$this->colonne_num] = $this->colonne_valeur;
 - 
 
362 
		}
 - 
 
363 
	}
 - 
 
364 
 
 - 
 
365 
	private function verifierSiVide(){
 - 
 
366 
		$vide = ($this->colonne_valeur  == '') ? true : false;
 - 
 
367 
		return $vide;
 - 
 
368 
	}
 - 
 
369 
 
 - 
 
370 
	private function verifierTypeBio(){
 - 
 
371 
		if (preg_match("/(.+)\((.+)\)$/", $this->colonne_valeur, $retour) == 1) {
 - 
 
372 
			$this->verifierTypeEtSsType($retour[1]);
 - 
 
373 
			$this->verifierTypeEtSsType($retour[2]);
 - 
 
374 
		} else {
 - 
 
375 
			$this->verifierTypeEtSsType($this->colonne_valeur);
 - 
 
376 
		}
 - 
 
377 
	}
 - 
 
378 
 
 - 
 
379 
	private function verifierTypeEtSsType($chaine_a_verif){
 - 
 
380 
		if (preg_match("/^([a-zA-Zé]+)\-(.+)$|^([a-zA-Zé]+[^\-])$/", $chaine_a_verif, $retour) == 1) {
 - 
 
381 
			$type = (isset($retour[3])) ? $retour[3] : $retour[1];
 - 
 
382 
			$this->verifierType($type);
 - 
 
383 
 
 - 
 
384 
			$sousType = $retour[2];
 - 
 
385 
			$this->verifierSousType($sousType);
 - 
 
386 
		}
 - 
 
387 
	}
 - 
 
388 
 
 - 
 
389 
	private function verifierType($type) {
 - 
 
390 
		if (in_array($type, $this->type_bio) == false) {
 - 
 
391 
			$this->erreurs_ligne[$this->colonne_num] = $this->colonne_valeur;
 - 
 
392 
		}
 - 
 
393 
	}
 - 
 
394 
 
 - 
 
395 
	private function verifierSousType($sousType) {
 - 
 
396 
		if ($sousType != ''){
 - 
 
397 
			$ss_type = explode('-', $sousType);
 - 
 
398 
			foreach ($ss_type as $sst) {
 - 
 
399 
				if (in_array($sst, $this->ss_type_bio) == false) {
 - 
 
400 
					$this->erreurs_ligne[$this->colonne_num] = $this->colonne_valeur;
 - 
 
401 
				}
 - 
 
402 
			}
 - 
 
403 
		}
 - 
 
404 
	}
 - 
 
405 
 
 - 
 
406 
	private function verifierIntervalles($valeur){
 - 
 
407 
		if ($valeur != '') {
 - 
 
408 
			list($min, $max) = explode('-', $this->intervalles[$this->colonne_num]);
 - 
 
409 
			if ($valeur < $min || $valeur > $max){
 - 
 
410 
				$this->erreurs_ligne[$this->colonne_num] = $this->colonne_valeur;
 - 
 
411 
			}
 - 
 
412 
		}
 - 
 
413 
	}
 - 
 
414 
 
 - 
 
415 
	private function verifierValeursIndic(){
 - 
 
416 
		if (preg_match("/^([^0-9])*([0-9]+)([^0-9])*$/", $this->colonne_valeur, $retour) == 1){
 - 
 
417 
			$this->verifierIntervalles($retour[2]);
 - 
 
418 
			if (isset($retour[3]) && in_array($retour[3], $this->signes_nn_seuls) == false){
 - 
 
419 
				$this->erreurs_ligne[$this->colonne_num] = $this->colonne_valeur;
 - 
 
420 
			}
 - 
 
421 
			if ($retour[1] != '-' && $retour[1] != ''){
 - 
 
422 
				$this->erreurs_ligne[$this->colonne_num] = $this->colonne_valeur;
 - 
 
423 
			}
 - 
 
424 
		} elseif (in_array( $this->colonne_valeur, $this->signes_seuls) == false && $this->verifierSiVide() == false) {
 - 
 
425 
			$this->erreurs_ligne[$this->colonne_num] = $this->colonne_valeur;
 - 
 
426 
		}
 - 
 
427 
	}
 - 
 
428 
 
 - 
 
429 
	private function controlerErreursLigne() {
 - 
 
430 
		$nbreErreursLigne = count($this->erreurs_ligne);
 - 
 
431 
		$this->nb_erreurs += $nbreErreursLigne;
 - 
 
432 
		if ($nbreErreursLigne != 0) {
 - 
 
433 
			$this->ajouterAuLog("Erreurs sur la ligne {$this->ligne_num}");
 - 
 
434 
			$ligneLog = '';
 - 
 
435 
			foreach ($this->erreurs_ligne as $cle => $v){
 - 
 
436 
				$ligneLog .= "colonne $cle : $v - ";
 - 
 
437 
			}
 - 
 
438 
			$this->ajouterAuLog($ligneLog);
 - 
 
439 
		}
 - 
 
440 
	}
 - 
 
441 
 
 - 
 
442 
	//+------------------------------------------------------------------------------------------------------+
 292 
 
443 
	// Chargement Paramètres
 - 
 
444 
 
 - 
 
445 
	private function initialiserParametresVerif() {
 - 
 
446 
		$this->nb_erreurs = 0;
 - 
 
447 
		$this->fichierDonnees = Config::get('chemins.donnees');
 - 
 
448 
		$this->type_bio = $this->getParametreTableau('Parametres.typesBio');
 - 
 
449 
		$this->ss_type_bio = $this->getParametreTableau('Parametres.sousTypesBio');
 - 
 
450 
		$this->signes_seuls = $this->getParametreTableau('Parametres.signesSeuls');
 - 
 
451 
		$this->signes_nn_seuls = $this->getParametreTableau('Parametres.signesNonSeuls');
 - 
 
452 
		$this->intervalles = $this->inverserTableau($this->getParametreTableau('Parametres.intervalles'));
 - 
 
453 
		$this->motifs = $this->inverserTableau($this->getParametreTableau('Parametres.motifs'));
 - 
 
454
- 
 
455 
	}
 - 
 
456 
 
 293 
	//++------------------------------------verifierFichier------------------------------------------++//
457 
	private function getParametreTableau($cle) {
 - 
 
458 
		$tableau = array();
 - 
 
459 
		$parametre = Config::get($cle);
 294 
 
460 
		if (empty($parametre) === false) {
 - 
 
461 
			$tableauPartiel = explode(',', $parametre);
 - 
 
462 
			$tableauPartiel = array_map('trim', $tableauPartiel);
 - 
 
463 
			foreach ($tableauPartiel as $champ) {
 - 
 
464 
				if (strpos($champ, '=') !== false && strlen($champ) >= 3) {
 - 
 
465 
					list($cle, $val) = explode('=', $champ);
 - 
 
466 
					$tableau[trim($cle)] = trim($val);
 - 
 
467 
				} else {
 - 
 
468 
					$tableau[] = trim($champ);
 - 
 
469 
				}
 - 
 
470 
			}
 - 
 
471 
		}
 - 
 
472 
		return $tableau;
 - 
 
473 
	}
 - 
 
474 
 
 - 
 
475 
	private function inverserTableau($tableau) {
 295 
	private function  getClasseBaseflorVerif() {
476 
		$inverse = array();
 - 
 
477 
		foreach ($tableau as $cle => $valeurs) {
 - 
 
478 
			$valeurs = explode(';', $valeurs);
 - 
 
479 
			foreach ($valeurs as $valeur) {
 - 
 
480 
				$inverse[$valeur] = $cle;
 296 
		$conteneur = new Conteneur();
481 
			}
 - 
 
482 
		}
 - 
 
483 
		return $inverse;
 - 
 
484 
	}
 - 
 
485 
 
 - 
 
486 
	//+------------------------------------------------------------------------------------------------------+
 - 
 
487 
	// Gestion du Log
 - 
 
488 
 
 297 
		require_once dirname(__FILE__)."/BaseflorVerif.php";
489 
	private function ajouterAuLog($txt) {
 298 
		$verif = new BaseflorVerif($conteneur,'baseflor');
490 
		$this->log .= "$txt\n";
 299 
		return $verif;
491 
	}
 300 
	}
492 
 
 301
- 
 
 302 
	private function verifierFichier() {
493 
	private function ecrireFichierLog() {
 303 
		$verif = $this->getClasseBaseflorVerif();
- 
 
 304 
		$nb_erreurs = $verif->verifierFichier(Config::get('chemins.donnees'));
494 
		$fichierLog = dirname(__FILE__).'/log/verification.log';
 305 
		return $nb_erreurs;
495 
		file_put_contents($fichierLog, $this->log);
 306 
	}
496 
	}
 307