WebSVN – eFlore/Applications.cel – Diff – /branches/v1.7-croissant/jrest/services/ImportXLS.php

 // nombre d'INSERT à cumuler par requête SQL
 // (= nombre de lignes XLS à bufferiser)
 //define('NB_LIRE_LIGNE_SIMUL', 30);
 define('NB_LIRE_LIGNE_SIMUL', 5);
+// en cas d'import d'un fichier CSV, utilise fgetcsv() plutôt
+// que PHPExcel ce qui se traduit par un gain de performances très substanciel
+define('QUICK_CSV_IMPORT', TRUE);
 // Numbers of days between January 1, 1900 and 1970 (including 19 leap years)
 // see traiterDateObs()
-	public $id_utilisateur = NULL;
+    public $id_utilisateur = NULL;
-	// erreurs d'import
+    // erreurs d'import
+    public $bilan = Array();
-	public $bilan = Array();
+    // cache (pour traiterLocalisation() pour l'instant)
     static $cache = Array('geo' => array());
-		$objReader = PHPExcel_IOFactory::createReaderForFile($fichier);
+	$objReader = PHPExcel_IOFactory::createReaderForFile($fichier);
-		// TODO: check if compatible with toArray(<1>,<2>,TRUE,<4>)
+	// TODO: check if compatible with toArray(<1>,<2>,TRUE,<4>)
-		$objReader->setReadDataOnly(true);
+	$objReader->setReadDataOnly(true);
-		// TODO: is_a obsolete entre 5.0 et 5.3, retirer le @ à terme
+	// TODO: is_a obsolete entre 5.0 et 5.3, retirer le @ à terme
+	$IS_CSV = @is_a($objReader, 'PHPExcel_Reader_CSV') && QUICK_CSV_IMPORT;
+	// en cas d'usage de fgetcsv, testons que nous pouvons compter les lignes
+	if($IS_CSV) $nb_lignes = intval(exec("wc -l $fichier"));
+	// et, le cas échéant, fallback sur PHPExcel à nouveau. La raison de ce test ici est
+	// l'instabilité du serveur (safe_mode, safe_mode_exec_dir, symlink vers binaires pour exec(), ... multiples points-of-failure)
+	if($IS_CSV && !$nb_lignes) $IS_CSV = FALSE;
-		if(@is_a($objReader, 'PHPExcel_Reader_CSV')) {
+	if($IS_CSV) {
-			$objReader->setDelimiter(',')
+	    $objReader->setDelimiter(',')
-				->setEnclosure('"')
+		->setEnclosure('"')
-				->setLineEnding("\n")
+		->setLineEnding("\n")
-				->setSheetIndex(0);
+		->setSheetIndex(0);
-		$filtre->def_interval(1, 2);
+	$filtre->def_interval(1, 2);
-		$objReader->setReadFilter($filtre);
+	$objReader->setReadFilter($filtre);
-		$objPHPExcel = $objReader->load($fichier);
+	$objPHPExcel = $objReader->load($fichier);
+	$obj_infos = $objReader->listWorksheetInfo($fichier);
+	if($IS_CSV) {
+	    // $nb_lignes est déjà défini ci-dessus
+	    $csvFileHandler = fopen($fichier, 'r');
+	    // nous utilisons la valeur de retour dans un but informatif de l'utilisateur à la
+	    // fin de l'import, *mais aussi* dans un array_diff_key() ci-dessous car bien que dans le
+	    // fond le "parser" fgetcsv() n'ait pas d'intérêt à connaître les colonnes à ignorer,
+	    // il se trouve que celles-ci peuvent interférer sur des fonctions comme traiterEspece()
+	    // cf test "ref-nom-num.test.php" pour lequel l'élément C_NOM_SEL vaudrait 3 et $ligne serait array(3 => -42)
+	    $filtre->exclues = self::detectionEntete(fgetcsv($csvFileHandler), TRUE);
-		$obj_infos = $objReader->listWorksheetInfo($fichier);
+	} else {
-		// XXX: indépendant du readFilter ?
+	    // XXX: indépendant du readFilter ?
-		$nb_lignes = $obj_infos[0]['totalRows'];
 	    $nb_lignes = $obj_infos[0]['totalRows'];
-		$donnees = $objPHPExcel->getActiveSheet()->toArray(NULL, FALSE, TRUE, TRUE);
+	    $donnees = $objPHPExcel->getActiveSheet()->toArray(NULL, FALSE, TRUE, TRUE);
+	    $filtre->exclues = self::detectionEntete($donnees[1]);
 		$filtre->exclues = self::detectionEntete($donnees[1]);
-		$obs_ajouts = 0;
+	$obs_ajouts = 0;
-		$obs_maj = 0;
+	$obs_maj = 0;
-		$dernier_ordre = intval($dernier_ordre[0]['ordre']) + 1;
+	$dernier_ordre = intval($dernier_ordre[0]['ordre']) + 1;
-		if(! $dernier_ordre) $dernier_ordre = 0;
+	if(! $dernier_ordre) $dernier_ordre = 0;
-		// on catch to les trigger_error(E_USER_NOTICE);
+	// on catch to les trigger_error(E_USER_NOTICE);
+	set_error_handler(array($this, 'erreurs_stock'), E_USER_NOTICE);
+	$this->taxon_info_webservice = new RechercheInfosTaxonBeta($this->config, NULL);
 		set_error_handler(array($this, 'erreurs_stock'), E_USER_NOTICE);
-		// lecture par morceaux (chunks), NB_LIRE_LIGNE_SIMUL lignes à fois
+	// lecture par morceaux (chunks), NB_LIRE_LIGNE_SIMUL lignes à fois
+	// pour aboutir des requêtes SQL d'insert groupés.
-		// pour aboutir des requêtes SQL d'insert groupés.
+	for($ligne = 2; $ligne < $nb_lignes + NB_LIRE_LIGNE_SIMUL; $ligne += NB_LIRE_LIGNE_SIMUL) {
-		for($ligne = 2; $ligne < $nb_lignes + NB_LIRE_LIGNE_SIMUL; $ligne += NB_LIRE_LIGNE_SIMUL) {
+	    if(!$IS_CSV) {
-			$filtre->def_interval($ligne, NB_LIRE_LIGNE_SIMUL);
+		$filtre->def_interval($ligne, NB_LIRE_LIGNE_SIMUL);
-			$objReader->setReadFilter($filtre);
+		$objReader->setReadFilter($filtre);
-			// TODO: set to string type
+		// TODO: set to string type
-			if(C_ZONE_GEO != 'C_ZONE_GEO')
+		if(C_ZONE_GEO != 'C_ZONE_GEO')
-				$objPHPExcel->getStyle(C_ZONE_GEO . '2:' . C_ZONE_GEO . $objPHPExcel->getHighestRow())->getNumberFormat()->setFormatCode('00000');
+		    $objPHPExcel->getStyle(C_ZONE_GEO . '2:' . C_ZONE_GEO . $objPHPExcel->getHighestRow())->getNumberFormat()->setFormatCode('00000');
+		$donnees = $objPHPExcel->toArray(NULL, FALSE, TRUE, TRUE);
+	    }
+	    else {
+		$i = NB_LIRE_LIGNE_SIMUL;
+		$donnees = array();
+		while($i--) {
+		    $tab = fgetcsv($csvFileHandler);
+		    if(!$tab) continue;
+		    $donnees[] = array_diff_key($tab, $filtre->exclues);
+		}
+	    }
 			$donnees = $objPHPExcel->toArray(NULL, FALSE, TRUE, TRUE);
 	    // var_dump($donnees, get_defined_constants(true)['user']);die;
-			// ici on appel la fonction qui fera effectivement l'insertion multiple
+	    // ici on appel la fonction qui fera effectivement l'insertion multiple
-			// à partir des (au plus) NB_LIRE_LIGNE_SIMUL lignes
 	    // à partir des (au plus) NB_LIRE_LIGNE_SIMUL lignes
 			// TODO: passer $this, ne sert que pour appeler des méthodes publiques qui pourraient être statiques
-			// notamment dans RechercheInfosTaxonBeta.php
+	    // TODO: passer $this, ne sert que pour appeler des méthodes publiques qui pourraient être statiques
-			list($enregistrements, $images, $mots_cle) =
+	    list($enregistrements, $images, $mots_cle) =
-			Cel::db()->beginTransaction();
+	    Cel::db()->beginTransaction();
-			$stmt = Cel::db()->prepare($sql_pattern);
+	    $stmt = Cel::db()->prepare($sql_pattern);
-			$donnees = array();
+	    $donnees = array();
-			foreach($enregistrements as $e) $donnees = array_merge($donnees, array_values($e));
+	    foreach($enregistrements as $e) $donnees = array_merge($donnees, array_values($e));
-			/* debug ici: echo $sql_pattern . "\n"; var_dump($enregistrements, $donnees); die;*/
+	    // echo $sql_pattern . "\n"; var_dump($enregistrements, $donnees); die; // debug ici
-			$stmt->execute($donnees);
+	    $stmt->execute($donnees);
-			   count($filtre->exclues) > 1 ? 's' : '',
+	       count($filtre->exclues) > 1 ? 's' : '',
-			   implode(', ', $filtre->exclues));
+	       implode(', ', $filtre->exclues));
-		die();
+	die();
+    }
+    /* detectionEntete() sert deux rôles:
+) détecter le type de colonne attendu à partir des textes de la ligne d'en-tête afin de define()
+) permet d'identifier les colonnes non-supportées/inutiles afin d'alléger le processus de parsing de PHPExcel
+       grace au ReadFilter (C'est le rôle de la valeur de retour)
+       La raison de la présence du paramètre $numeric_keys est que pour réussir à identifier les colonnes à exclure nous
+       devons traiter un tableau représentant la ligne d'en-tête aussi bien:
+       - sous forme associative pour PHPExcel (les clefs sont les lettres de l'alphabet)
+       - sous forme de clefs numériques (fgetcsv())
+       Le détecter après coup est difficile et pourtant cette distinction est importante car le comportement
+       d'array_merge() (réordonnancement des clefs numérique) n'est pas souhaitable dans le second cas. */
-	static function detectionEntete($entete) {
+    static function detectionEntete($entete, $numeric_keys = FALSE) {
-		$colonnes_reconnues = Array();
+	$colonnes_reconnues = Array();
-		$cols = FormateurGroupeColonne::nomEnsembleVersListeColonnes('standard,avance');
+	$cols = FormateurGroupeColonne::nomEnsembleVersListeColonnes('standard,avance');
-		foreach($entete as $k => $v) {
+	foreach($entete as $k => $v) {
-			// traite les colonnes en faisant fi de la casse et des accents
+	    // traite les colonnes en faisant fi de la casse et des accents
-		// intersect ( Array ( N => Milieu, S => Ordre ), Array ( ordre => Ordre, phenologie => Phénologie ) )
+	// intersect ( Array ( N => Milieu, S => Ordre ), Array ( ordre => Ordre, phenologie => Phénologie ) )
-		// ==> Array ( S => Ordre, AA => Phénologie )
+	// ==> Array ( S => Ordre, AA => Phénologie )
+	$colonnesID_a_exclure = array_intersect($entete, $colonnes_automatiques);
+	if($numeric_keys) {
-		$colonnesID_a_exclure = array_intersect($entete, $colonnes_automatiques);
+	    return $colonnesID_non_reconnues + $colonnesID_a_exclure;
+	}
-		// TODO: pourquoi ne pas comparer avec les abbrevs aussi ?
+	// TODO: pourquoi ne pas comparer avec les abbrevs aussi ?
-		// merge ( Array( I => rien ) , Array ( S => Ordre, AA => Phénologie ) )
+	// merge ( Array( I => rien ) , Array ( S => Ordre, AA => Phénologie ) )
-		// ==> Array ( I => rien, AA => Phénologie )
+	// ==> Array ( I => rien, AA => Phénologie )
-		$enregistrements = Array();
+	$enregistrements = Array();
-		$toutes_images = Array();
+	$toutes_images = Array();
-		$tous_mots_cle = Array();
+	$tous_mots_cle = Array();
+	foreach($lignes as $ligne) {
+	    // dans le cas de fgetcsv, on peut avoir des false additionnel (cf do/while l. 279)
+	    if($ligne === false) continue;
 		foreach($lignes as $ligne) {
-			//$ligne = array_filter($ligne, function($cell) { return !is_null($cell); });
+	    //$ligne = array_filter($ligne, function($cell) { return !is_null($cell); });
-			//if(!$ligne) continue;
+	    //if(!$ligne) continue;
-			// on a besoin des NULL pour éviter des notice d'index indéfini
+	    // on a besoin des NULL pour éviter des notice d'index indéfini
-		$referentiel = self::identReferentiel(trim(strtolower(@$ligne[C_NOM_REFERENTIEL])), $ligne, $ref_ligne);
+	$referentiel = self::identReferentiel(trim(strtolower(@$ligne[C_NOM_REFERENTIEL])), $ligne, $ref_ligne);
-		// $espece est rempli de plusieurs informations
+	// $espece est rempli de plusieurs informations
-		$espece = Array(C_NOM_SEL => NULL, C_NOM_SEL_NN => NULL, C_NOM_RET => NULL,
+	$espece = Array(C_NOM_SEL => NULL, C_NOM_SEL_NN => NULL, C_NOM_RET => NULL,
-						C_NOM_RET_NN => NULL, C_NT => NULL, C_FAMILLE => NULL);
+			C_NOM_RET_NN => NULL, C_NT => NULL, C_FAMILLE => NULL);
-		self::traiterEspece($ligne, $espece, $referentiel, $cel);
+	self::traiterEspece($ligne, $espece, $referentiel, $cel->taxon_info_webservice);
-		if(!$espece[C_NOM_SEL]) $referentiel = Cel::$fallback_referentiel;
+	if(!$espece[C_NOM_SEL]) $referentiel = Cel::$fallback_referentiel;
-	/*
+    /*
-	  TODO: s'affranchir du webservice pour la détermination du nom scientifique en s'appuyant sur cel_references,
+      TODO: s'affranchir du webservice pour la détermination du nom scientifique en s'appuyant sur cel_references,
-	  pour des questions de performances
+      pour des questions de performances
-	*/
+    */
-	static function traiterEspece($ligne, Array &$espece, &$referentiel, $cel) {
+    static function traiterEspece($ligne, Array &$espece, &$referentiel, $taxon_info_webservice) {
-		if(empty($ligne[C_NOM_SEL])) {
+	if(empty($ligne[C_NOM_SEL])) {
-			// TODO: nous ne déclarons pas "Numéro nomenclatural" comme colonne importable
+	    // TODO: nous ne déclarons pas "Numéro nomenclatural" comme colonne importable
-			// Nous ne pouvons donc pas tenter d'être sympa sur la détermination par num_nom
+	    // Nous ne pouvons donc pas tenter d'être sympa sur la détermination par num_nom
-			/* if(!empty($ligne[C_NOM_SEL_NN]) && $referentiel != Cel::$fallback_referentiel)
+	    /* if(!empty($ligne[C_NOM_SEL_NN]) && $referentiel != Cel::$fallback_referentiel)
-		// nom_sel reste toujours celui de l'utilisateur
+	// nom_sel reste toujours celui de l'utilisateur
-		$espece[C_NOM_SEL] = trim($ligne[C_NOM_SEL]);
+	$espece[C_NOM_SEL] = trim($ligne[C_NOM_SEL]);
-		// XXX/attention, nous ne devrions pas accepter un référentiel absent !
+	// XXX/attention, nous ne devrions pas accepter un référentiel absent !
-		if(!$referentiel) $referentiel = 'bdtfx';
+	if(!$referentiel) $referentiel = 'bdtfx';
-		$taxon_info_webservice = new RechercheInfosTaxonBeta($cel->config, $referentiel);
+	$taxon_info_webservice->setReferentiel($referentiel);
-		$ascii = iconv('UTF-8', 'ASCII//TRANSLIT', $ligne[C_NOM_SEL]);
+	$ascii = iconv('UTF-8', 'ASCII//TRANSLIT', $ligne[C_NOM_SEL]);
-		// TODO: si empty(C_NOM_SEL) et !empty(C_NOM_SEL_NN) : recherche info à partir de C_NOM_SEL_NN
+	// TODO: si empty(C_NOM_SEL) et !empty(C_NOM_SEL_NN) : recherche info à partir de C_NOM_SEL_NN
-		if(empty($ligne[C_CE_ZONE_GEO])) $ligne[C_CE_ZONE_GEO] = NULL;
+	if(empty($ligne[C_CE_ZONE_GEO])) $ligne[C_CE_ZONE_GEO] = NULL;
-	    $identifiant_commune = trim($ligne[C_ZONE_GEO]);
+	$identifiant_commune = trim($ligne[C_ZONE_GEO]);
-		if(!$identifiant_commune) {
+	if(!$identifiant_commune) {
+	    $departement = trim($ligne[C_CE_ZONE_GEO]);
 			$departement = trim($ligne[C_CE_ZONE_GEO]);
-			if(strpos($departement, "INSEE-C:", 0) === 0) {
+	    if(strpos($departement, "INSEE-C:", 0) === 0) {
+		$localisation[C_CE_ZONE_GEO] = trim($ligne[C_CE_ZONE_GEO]);
+		if(array_key_exists($localisation[C_CE_ZONE_GEO], self::$cache['geo'])) {
+		    $localisation[C_ZONE_GEO] = self::$cache['geo'][$localisation[C_CE_ZONE_GEO]];
+		}
-				$localisation[C_CE_ZONE_GEO] = trim($ligne[C_CE_ZONE_GEO]);
+		else {
-				$nom = Cel::db()->requeter(sprintf("SELECT nom FROM cel_zones_geo WHERE code = %s LIMIT 1",
+		    $nom = Cel::db()->requeter(sprintf("SELECT nom FROM cel_zones_geo WHERE code = %s LIMIT 1",
-																		self::quoteNonNull(substr($localisation[C_CE_ZONE_GEO], strlen("INSEE-C:")))));
+						       self::quoteNonNull(substr($localisation[C_CE_ZONE_GEO], strlen("INSEE-C:")))));
+		    if($nom) $localisation[C_ZONE_GEO] = $nom[0]['nom'];
+		    self::$cache['geo'][$localisation[C_CE_ZONE_GEO]] = @$nom[0]['nom'];
 				if($nom) $localisation[C_ZONE_GEO] = $nom[0]['nom'];
-				return;
+		return;
+	    }
-			if(!is_numeric($departement)) {
+	    if(!is_numeric($departement)) {
-				$localisation[C_CE_ZONE_GEO] = $ligne[C_CE_ZONE_GEO];
+		$localisation[C_CE_ZONE_GEO] = $ligne[C_CE_ZONE_GEO];
+		return;
+	    }
+	    $cache_attempted = FALSE;
+	    if(array_key_exists($departement, self::$cache['geo'])) {
+		$cache_attempted = TRUE;
+		if(self::$cache['geo'][$departement][0] && self::$cache['geo'][$departement][1]) {
+		    $localisation[C_ZONE_GEO] = self::$cache['geo'][$departement][0];
+		    $localisation[C_CE_ZONE_GEO] = self::$cache['geo'][$departement][1];
+		    return;
-				return;
+		}
+	    }
-			if( ($resultat_commune = Cel::db()->requeter(sprintf("SELECT DISTINCT nom, CONCAT('INSEE-C:', code) AS code FROM cel_zones_geo WHERE code = %s LIMIT 1",
+	    if(! $cache_attempted && ($resultat_commune = Cel::db()->requeter(sprintf("SELECT DISTINCT nom, CONCAT('INSEE-C:', code) AS code FROM cel_zones_geo WHERE code = %s LIMIT 1",
+										      self::quoteNonNull($departement)))) ) {
-																 self::quoteNonNull($departement)))) ) {
+		$localisation[C_ZONE_GEO] = $resultat_commune[0]['nom'];
-				$localisation[C_ZONE_GEO] = $resultat_commune[0]['nom'];
+		$localisation[C_CE_ZONE_GEO] = $resultat_commune[0]['code'];
-				$localisation[C_CE_ZONE_GEO] = $resultat_commune[0]['code'];
+		self::$cache['geo'][$departement] = array($resultat_commune[0]['nom'], $resultat_commune[0]['code']);
-				return;
+		return;
+	    }
-			// on prend le risque ici de retourner une mauvaise Commune
+	    // on prend le risque ici de retourner une mauvaise Commune
-			$nom_commune = str_replace(" ", "%", iconv('UTF-8', 'ASCII//TRANSLIT', $identifiant_commune));
+	    $nom_commune = str_replace(" ", "%", iconv('UTF-8', 'ASCII//TRANSLIT', $identifiant_commune));
-	 	    $requete = sprintf("%s WHERE nom LIKE %s", $select, self::quoteNonNull($nom_commune.'%'));
+	    $requete = sprintf("%s WHERE nom LIKE %s", $select, self::quoteNonNull($nom_commune.'%'));
+	}
+	if(array_key_exists($identifiant_commune, self::$cache['geo'])) {
+	    $resultat_commune = self::$cache['geo'][$identifiant_commune];
+	}
 	else {
+	    $resultat_commune = Cel::db()->requeter($requete);
+	    self::$cache['geo'][$identifiant_commune] = $resultat_commune;
 		$resultat_commune = Cel::db()->requeter($requete);
-		// TODO: levenstein sort ?
+	// TODO: levenstein sort ?
-		// TODO: count résultat !
+	// TODO: count résultat !

Subversion Repositories eFlore/Applications.cel

(root)/branches/v1.7-croissant/jrest/services/ImportXLS.php @ 1916 – Rev 1914 → 1936