WebSVN – Applications.referentiel – Diff – /trunk/scripts/modules/algolia/Algolia.php


<?php
/**
 * Indexation dans Algolia des référentiels
 *
 * Description : formate les données des référentiels choisis et envoie tout ça
 * dans Algolia
 * 
 * Utilisation : php script.php algolia [-ref "ref1,ref2,..."]
 *   -ref (optionnel): liste de codes de référentiels séparés par des virgules;
 *                     par défaut: "apd,bdtfx,bdtxa,isfan"
 * 
 * Exemples:
 *   php script.php algolia
 *   php script.php algolia -ref "bdtfx,isfan"
 * 
 * @note: ignorer le paramètre fasciste -a : on ne s'en sert pas
 *
 * @author       Tela Botanica <equipe-dev@tela-botanica.org>
 * @licence		GPL v3 & CeCILL v2
 */
restore_error_handler();
restore_exception_handler();
ini_set("display_errors","1");
error_reporting(E_ALL);
 
// composer autoload
require dirname(__FILE__) . '/../../../vendor/autoload.php';
 
class Algolia extends ScriptCommande {
 
	const SCRIPT_NOM = 'algolia';
 
	public $parametres = array(
		'-ref' => array(false, false, 'Celui qui lit ça est un con'),
		'-update' => array(false, false, 'Timestamp de la dernière mise à jour (YYYY-MM-DD)')
	);
 
	/** connexion PDO à la BDD "referentiels" */
	protected $bdd;
 
	/** client API Algolia */
	protected $algolia;
	protected $indexAlgolia;
	
	public function executer() {
		echo "Indexation des référentiels dans Algolia" . PHP_EOL;
 
		// Bibliothèque Algolia PHP pour appeler l'API
		Config::charger(dirname(__FILE__) . '/algolia.ini');
		$this->algolia = new \AlgoliaSearch\Client(Config::get('algolia_application_id'), Config::get('algolia_api_key'));
		$this->indexAlgolia = $this->algolia->initIndex(Config::get('algolia_index'));
 
		// pour obtenir facilement la config existante et la répercuter dans
		// index_settings.json
		/*$settings = $this->indexAlgolia->getSettings();
		var_dump(json_encode($settings));
		exit;*/
 
		/*$idsexistants = $this->indexAlgolia->search("", array(
			"attributesToRetrieve" => array(
				"objectID"
			)
		));
		var_dump(count($idsexistants));
		var_dump($idsexistants);
		exit;*/
 
		if ($this->getParam('update')) {
			$this->miseAJourPartielle($this->getParam('update'));
		}
 
		// Réglages de l'index @TODO tenir à jour
		if ($this->confirmer("Charger les réglages par défaut (index_settings.json) dans la configuration de l'index Algolia ?")) {
			// Chargement des réglages par défaut
			$reglagesJson = file_get_contents(dirname(__FILE__) . '/index_settings.json');
			$reglages = json_decode($reglagesJson, true);
			$this->indexAlgolia->setSettings($reglages);
			echo "Réglages chargés dans Algolia" . PHP_EOL;
		}
 
		// Connexion à la base
		$this->connecterPDO();
 
		// Liste des référentiels à fusionner
		$refsTexte = Config::get('algolia_referentiels');
		$refs = explode(",", $refsTexte);
 
		// Liste des référentiels à mettre à jour
		$refsMajTexte = $this->getParam("ref");
		if ($refsMajTexte === false) {
			// si le paramètre est vide, on met tout à jour
			$refsMaj = $refs;
		} else {
			$refsMaj = explode(",", $refsMajTexte);
		}
 
		// Déniaisage 1
		foreach ($refs as $k => $r) {
			$fichierRequete = dirname(__FILE__) . "/algolia_" . $r . ".sql";
			if (! file_exists($fichierRequete)) {
				echo "- fichier [$fichierRequete] non trouvé, fusion de [$r] ignorée" . PHP_EOL;
				unset($refs[$k]);
			}
		}
		if (empty($refs)) {
			echo "Aucun référentiel à fusionner" . PHP_EOL;
			exit;
		}
 
		// Déniaisage 2
		foreach ($refsMaj as $k => $r) {
			if (! in_array($r, $refs)) {
				echo "- le référentiel à mettre à jour [$r] n'est pas présent dans la liste à fusionner, il sera ignoré" . PHP_EOL;
				unset($refsMaj[$k]);
			}
		}
		if (empty($refsMaj)) {
			echo "Aucun référentiel à mettre à jour" . PHP_EOL;
			exit;
		}
 
		// Confirmation
		if (! $this->confirmer("Fusion des référentiels [" . implode(',', $refs) . "] et mise à jour de [" . implode(',', $refsMaj) . "]. Continuer ?")) {
			exit;
		}
 
		//var_dump($refs);
		$donneesBrutes = array();
		// Exécution des requêtes pour chaque référentiel
		foreach ($refs as $ref) {
			$fichierRequete = dirname(__FILE__) . "/algolia_" . $ref . ".sql";
			// Exécution de la requête
			$requete = file_get_contents($fichierRequete);
			$resultat = $this->requete($requete);
			$donneesBrutes[$ref] = $resultat->fetchAll();
 
			// Info utilisation mémoire
			$mem = memory_get_usage(true);
			$memMio = round($mem / (1024 * 1024));
			echo "Mémoire utilisée : $memMio Mio" . PHP_EOL;
		}
 
		// Fusion !
		$index = $this->fusionnerReferentiels($donneesBrutes);
		//$this->extrait($index, array('Acacia dealbata Link','Acacia Mill.','Fabaceae'));
 
		// Mise en forme
		$index = $this->mettreEnForme($index);
		//$this->extrait($index, 100);
 
		// Stats
		$taille = count($index);
		echo "Taille de l'index: [$taille] lignes !" . PHP_EOL;
		//file_put_contents("couscous.json", json_encode($index));
 
		// Calcul des différences ?
		// @TODO bonjour la galère
 
		// Insertion ?
		if (! $this->confirmer("Prêt à insérer dans l'index Algolia [" . Config::get('algolia_index') . "]. Continuer ?")) {
			exit;
		}
		$this->insererDansAlgolia($index);
 
		// Info utilisation mémoire totale
		$mem = memory_get_peak_usage(true);
		$memMio = round($mem / (1024 * 1024));
		echo "Mémoire maximale utilisée : $memMio Mio" . PHP_EOL;
	}
 
	/**
	 * Génère un index unique pour Algolia à partir des données de n référentiels
	 */
	protected function fusionnerReferentiels(&$donneesRefs) {
		$index = array();
		foreach ($donneesRefs as $ref => &$d) {
			$nbTaxons = count($d);
			echo "-- fusion du référentiel [$ref] : $nbTaxons taxons --" . PHP_EOL;
 
			$fusions = 0;
 
			foreach ($d as $taxon) {
				// debug
				/*if ($taxon[$ref . '_num_nom'] == 141) {
					echo "> Taxon 141 :" . PHP_EOL;
					var_dump($taxon);
					echo PHP_EOL;
				}*/
				$nomSci = $taxon[$ref . '_nom_sci'];
				//$nn = $taxon[$ref . '_num_nom'];
				// Ajout du nom d'auteur pour éviter les collisions dans un même référentiel
				if (! empty ($taxon[$ref . '_auteur'])) {
					$nomSci .= ' ' . $taxon[$ref . '_auteur'];
				}
 
				// -- ÉLIMINATION DES NOMS SANS CORRESPONDANCE
				if (empty($taxon[$ref . '_num_nom_retenu'])) {
					//echo "XX élimination du nom sans correspondance : [$nomSci] (nn $nn)" . PHP_EOL;
					continue;
				}
 
				if (! isset($index[$nomSci])) {
					$index[$nomSci] = array(
						'objectID' => $nomSci,
						'referentiels' => array()
					);
				} else {
					//echo "> fusion sur [$nomSci] (nn $nn)" . PHP_EOL;
					$fusions++;
				}
				$index[$nomSci] = array_merge($index[$nomSci], $taxon);
				$index[$nomSci]['referentiels'][] = $ref;
				//break;
			}
			$taille = count($index);
			echo "- taille de l'index après ajout de [$ref]: [$taille] lignes ($fusions fusions)" . PHP_EOL;
		}
		return $index;
	}
 
	/**
	 * Organise les données de chaque objet conformément à la structure de
	 * l'index Algolia
	 * 
	 * Voir commentaires sur cette page :
	 * http://taiga.tela-botanica.net/project/mathias-site-web/task/75
	 * 
	 * L'objectID est le MD5 de la "clef" (nom scientifique avec auteur)
	 */
	protected function mettreEnForme($index) {
		$nouvelIndex = array();
		foreach ($index as $nomSci => $taxon) {
			$nouveauTaxon = array(
				'objectID' => md5($nomSci),
				'referentiels' => $taxon['referentiels']
			);
			foreach ($taxon['referentiels'] as $ref) {
				// ingrédients
				$nn = $taxon[$ref . '_num_nom'];
				$ns = $taxon[$ref . '_nom_sci'];
				$nts = $taxon[$ref . '_num_tax_sup'];
				$rang = $taxon[$ref . '_rang'];
				$auteur = $taxon[$ref . '_auteur'];
				$annee = $taxon[$ref . '_annee'];
				$biblio = $taxon[$ref . '_biblio'];
				$nom_supra_generique = $taxon[$ref . '_nom_supra_generique'];
				$genre = $taxon[$ref . '_genre'];
				$epithete_sp = $taxon[$ref . '_epithete_sp'];
				$type_epithete = $taxon[$ref . '_type_epithete'];
				$epithete_infra_sp = $taxon[$ref . '_epithete_infra_sp'];
				$cultivar = $taxon[$ref . '_cultivar'];
				$cultivar_groupe = $taxon[$ref . '_cultivar_groupe'];
				$nomCommun = (isset($taxon[$ref . '_nom_francais']) ? $taxon[$ref . '_nom_francais'] : '');
				$url = $taxon[$ref . '_url'];
				$synonymes = json_decode($taxon[$ref . '_synonymes'], true);
				// debug synonymes tronqués (group_concat limité en longueur)
				/*if ($nn == 141) {
					echo ">> Synonymes bruts: [" . $taxon[$ref . '_synonymes'] . "]" . PHP_EOL;
					echo ">> Synonymes décodés: [" . print_r($synonymes, true) . "]" . PHP_EOL;
					exit;
				}*/
				$raccourcis = json_decode($taxon[$ref . '_shortcuts'], true);
				$raccourcis = ($raccourcis != null ? array_values(array_unique($raccourcis)) : null); // array_values réindexe pour obtenir une liste en JSON et non un objet
				// garniture
				$donneesRef = array(
					'nomenclatural_number' => intval($nn),
					'scientific_name' => $ns,
					'common_name' => $nomCommun,
					'synonyms' => $synonymes,
					'permalink' => $url,
					'parent_taxon_number' => intval($nts),
					'rank' => intval($rang),
					'author' => $auteur,
					'year' => intval($annee),
					'biblio' => $biblio,
					'supra_genus_name' => $nom_supra_generique,
					'genus' => $genre,
					'species_attribute' => $epithete_sp,
					'attribute_type' => $type_epithete,
					'infra_species_attribute' => $epithete_infra_sp,
					'cultivar' => $cultivar,
					'cultivar_groupe' => $cultivar_groupe
				);
				// dans le cas de BDTFX, ajout de l'illustration de Coste et de
				// la carte Chorodep pour illustrer les résultats de recherche
				if (Config::get("activer_image_cel") == "1") {
					$this->ajouterImagesEflore($nn, $donneesRef);
				}
 
				$nouveauTaxon[$ref] = $donneesRef;
				$nouveauTaxon['shortcuts'] = $raccourcis;
			}
			$nouvelIndex[] = $nouveauTaxon;
		}
		return $nouvelIndex;
	}
 
	/**
	 * Interroge le service eFlore pour récupérer l'illustration de Coste pour
	 * le nn en cours, ainsi que les meilleures images d'eFlore et ajoute une
	 * URL pour obtenir la carte de répartition de Chorodep
	 */
	protected function ajouterImagesEflore($nn, &$donnees) {
		// carte de répartition - le service renvoie directement une image
		$donnees['thumbnails']['chorodep'] = sprintf(Config::get('url_template_chorodep'), $nn);
		// Coste
		$retour = @file_get_contents($sprintf(Config::get('url_template_coste'), $nn));
		if ($retour) {
			try {
				$infosCoste = json_decode($retour, true);
				if (! empty($infosCoste['resultats']) && is_array($infosCoste['resultats'])) {
					$res1 = array_shift($infosCoste['resultats']);
					if (is_array($res1) && ! empty($res1['binaire.href'])) {
						$donnees['thumbnails']['coste'] = $res1['binaire.href'];
					}
				}
			} catch (Exception $ex) {
				// pas de bol
			}
		}
		// CEL
		$retour = @file_get_contents($sprintf(Config::get('url_template_cel'), $nn));
		if ($retour) {
			try {
				$infosCel = json_decode($retour, true);
				if (! empty($infosCel['resultat']) && is_array($infosCel['resultat'])) {
					foreach($infosCel['resultat'] as $organe => $imageSrc) {
						$donnees['thumbnails']['cel'][$organe] = $imageSrc;
					}
				}
			} catch (Exception $ex) {
				// pas de bol
			}
		}
		// debug
		/*echo ">> nn : [$nn]" . PHP_EOL;
		echo ">> image Coste : [" . $donnees['thumbnails']['coste'] . "]" . PHP_EOL;
		echo ">> carte Chorodep : [" . $donnees['thumbnails']['chorodep'] . "]" . PHP_EOL;
		echo ">> images CeL :" . PHP_EOL;
		var_dump($donnees['thumbnails']['cel'])*/
	}
 
	/**
	 * Appelle l'API Algolia pour indexer les données présentes dans $index, par
	 * tranches.
	 */
	protected function insererDansAlgolia(&$index) {
		$tailleTranche = 5000;
		echo "++++ Insertion dans Algolia (" . count($index) . " objets) !! ++++" . PHP_EOL;
		// insertion par tranches pour éviter un timeout sur l'API Algolia
		while (count($index) > 0) {
			echo "++ insertion d'une tranche de $tailleTranche... (" . count($index) . " restant)" . PHP_EOL;
			$tranche = array_splice($index, 0, $tailleTranche);
			//var_dump($tranche);
			$this->indexAlgolia->addObjects($tranche);
		}
	}
 
	/**
	 * Met à jour les images d'illustration
	 */
	protected function miseAJourPartielle($date) {
		try {
			$date = new DateTime($date);
			$date = $date->format('Y-m-d');
		} catch (Exception $e) {
			die($e->getMessage());
		}
 
		// récupération des nn mis à jour
		$sql = 'SELECT DISTINCT nn FROM del_image_top WHERE date_vote > ' . $date . ';';
		$requete = $this->requete($sql);
		$nns = $requete->fetchAll();
		// var_dump($nns); die();
 
		$donnees = array();
		foreach ($nns as $nn) {
			// récup des infos depuis le service d'images du cel
			$retour = @file_get_contents($sprintf(Config::get('url_template_cel'), $nn));
			if ($retour) {
				try {
					$infosCel = json_decode($retour, true);
					if (! empty($infosCel['resultat']) && is_array($infosCel['resultat'])) {
						foreach($infosCel['resultat'] as $organe => $imageSrc) {
							$donnees[$nn]['thumbnails']['cel'][$organe] = $imageSrc;
						}
						// var_dump($donnees); die();
 
						$response = $index->getObjects([$nn], ['objectID', 'nomenclatural_number', 'thumbnails']);
						$response = json_decode($response, true);
						// var_dump($response); die();
						if (isset($response['results'])) {
							$results = array_reduce($response['results'], function($carry, $item) use ($nn) {
								if ($item['nomenclatural_number'] == $nn) {
									$carry[] = $item;
								}
								return $carry;
							});
							// var_dump($results); die();
 
							if (count($results) == 1) {
								unset($results['thumbnails']['cel']);
								$results = array_merge($results, $donnees[$nn]);
								$index->partialUpdateObject([
									'thumbnails' => $results['thumbnails'],
									'objectID' => $results['objectID']
								]);
							}
 
						}
					}
				} catch (Exception $e) {
					die(var_dump($e));
				}
			}
		}
 
	}
 
	// ---------------- utilitaires --------------------------------------------
 
	protected function extrait($index, $clefsOuNombre) {
		// Debug
		echo PHP_EOL . "---- extrait des données --" . PHP_EOL;
		if (is_array($clefsOuNombre)) {
			foreach ($clefsOuNombre as $k) {
				var_dump($index[$k]);
			}
		} else {
			for ($i=0; $i < $clefsOuNombre; $i++) {
				var_dump($index[$i]);
			}
		}
	}
 
	protected function connecterPDO() {
		Config::charger(dirname(__FILE__) . '/../../configurations/bdd.ini');
		try {
			$dsn = Config::get('bdd_type').':dbname='.Config::get('bdd_nom').';host='.
				Config::get('bdd_hote');
			$this->bdd = new PDO($dsn, Config::get('bdd_utilisateur'), Config::get('bdd_mot_de_passe'));
			// Passe en UTF-8 la connexion à la BDD
			$this->bdd->exec("SET NAMES 'utf8'");
			// Affiche les erreurs détectées par PDO (sinon mode silencieux => aucune erreur affiché)
			$this->bdd->setAttribute(PDO::ATTR_ERRMODE, PDO::ERRMODE_EXCEPTION);
		} catch (PDOException $e) {
			//print_r($e);
			echo 'La connexion à la base de données via PDO a échoué : ' . $e->getMessage() . PHP_EOL;
			exit;
		}
	}
 
	protected function requete($requete) {
		$infos = null;
		try {
			$infos = $this->bdd->query($requete, PDO::FETCH_ASSOC);
			/*if ($infos === false) {
				echo $requete;
			}*/
		} catch (PDOException $e) {
			echo sprintf($e->getFile(), $e->getLine(), $e->getMessage(), $e->getCode(), $requete);
		}
		return $infos;
	}
 
	/**
	 * Demande confirmation, et sort du script à moins qu'on tape ce qui est
	 * indiqué (par défaut "o" pour "oui")
	 */
	protected function confirmer($question='Continuer ?', $codeAcceptation='o', $messageAnnulation='annulation') {
		echo $question . ' ("' . $codeAcceptation . '" pour confirmer, autre chose pour annuler)' . PHP_EOL;
		$handle = fopen ("php://stdin","r");
		$line = fgets($handle);
		if(strtolower(trim($line)) != strtolower($codeAcceptation)) {
			echo $messageAnnulation . PHP_EOL;
			return false;
		}
		fclose($handle);
		return true;
	}
}
?>

Rev 401	Rev 402
1	`<?php`	1	`<?php`
2	`/**`	2	`/**`
3	`* Indexation dans Algolia des référentiels`	3	`* Indexation dans Algolia des référentiels`
4	`*`	4	`*`
5	`* Description : formate les données des référentiels choisis et envoie tout ça`	5	`* Description : formate les données des référentiels choisis et envoie tout ça`
6	`* dans Algolia`	6	`* dans Algolia`
7	`*`	7	`*`
8	`* Utilisation : php script.php algolia [-ref "ref1,ref2,..."]`	8	`* Utilisation : php script.php algolia [-ref "ref1,ref2,..."]`
9	`* -ref (optionnel): liste de codes de référentiels séparés par des virgules;`	9	`* -ref (optionnel): liste de codes de référentiels séparés par des virgules;`
10	`* par défaut: "apd,bdtfx,bdtxa,isfan"`	10	`* par défaut: "apd,bdtfx,bdtxa,isfan"`
11	`*`	11	`*`
12	`* Exemples:`	12	`* Exemples:`
13	`* php script.php algolia`	13	`* php script.php algolia`
14	`* php script.php algolia -ref "bdtfx,isfan"`	14	`* php script.php algolia -ref "bdtfx,isfan"`
15	`*`	15	`*`
16	`* @note: ignorer le paramètre fasciste -a : on ne s'en sert pas`	16	`* @note: ignorer le paramètre fasciste -a : on ne s'en sert pas`
17	`*`	17	`*`
18	`* @author Tela Botanica <equipe-dev@tela-botanica.org>`	18	`* @author Tela Botanica <equipe-dev@tela-botanica.org>`
19	`* @licence GPL v3 & CeCILL v2`	19	`* @licence GPL v3 & CeCILL v2`
20	`*/`	20	`*/`
21	`restore_error_handler();`	21	`restore_error_handler();`
22	`restore_exception_handler();`	22	`restore_exception_handler();`
23	`ini_set("display_errors","1");`	23	`ini_set("display_errors","1");`
24	`error_reporting(E_ALL);`	24	`error_reporting(E_ALL);`
25		25
26	`// composer autoload`	26	`// composer autoload`
27	`require dirname(__FILE__) . '/../../../vendor/autoload.php';`	27	`require dirname(__FILE__) . '/../../../vendor/autoload.php';`
28		28
29	`class Algolia extends ScriptCommande {`	29	`class Algolia extends ScriptCommande {`
30		30
31	`const SCRIPT_NOM = 'algolia';`	31	`const SCRIPT_NOM = 'algolia';`
32		32
33	`public $parametres = array(`	33	`public $parametres = array(`
34	`'-ref' => array(false, false, 'Celui qui lit ça est un con')`	34	`'-ref' => array(false, false, 'Celui qui lit ça est un con'),`
-		35	`'-update' => array(false, false, 'Timestamp de la dernière mise à jour (YYYY-MM-DD)')`
35	`);`	36	`);`
36		37
37	`/** connexion PDO à la BDD "referentiels" */`	38	`/** connexion PDO à la BDD "referentiels" */`
38	`protected $bdd;`	39	`protected $bdd;`
39		40
40	`/** client API Algolia */`	41	`/** client API Algolia */`
41	`protected $algolia;`	42	`protected $algolia;`
42	`protected $indexAlgolia;`	43	`protected $indexAlgolia;`
43		44
44	`public function executer() {`	45	`public function executer() {`
45	`echo "Indexation des référentiels dans Algolia" . PHP_EOL;`	46	`echo "Indexation des référentiels dans Algolia" . PHP_EOL;`
46		47
47	`// Bibliothèque Algolia PHP pour appeler l'API`	48	`// Bibliothèque Algolia PHP pour appeler l'API`
48	`Config::charger(dirname(__FILE__) . '/algolia.ini');`	49	`Config::charger(dirname(__FILE__) . '/algolia.ini');`
49	`$this->algolia = new \AlgoliaSearch\Client(Config::get('algolia_application_id'), Config::get('algolia_api_key'));`	50	`$this->algolia = new \AlgoliaSearch\Client(Config::get('algolia_application_id'), Config::get('algolia_api_key'));`
50	`$this->indexAlgolia = $this->algolia->initIndex(Config::get('algolia_index'));`	51	`$this->indexAlgolia = $this->algolia->initIndex(Config::get('algolia_index'));`
51		52
52	`// pour obtenir facilement la config existante et la répercuter dans`	53	`// pour obtenir facilement la config existante et la répercuter dans`
53	`// index_settings.json`	54	`// index_settings.json`
54	`/*$settings = $this->indexAlgolia->getSettings();`	55	`/*$settings = $this->indexAlgolia->getSettings();`
55	`var_dump(json_encode($settings));`	56	`var_dump(json_encode($settings));`
56	`exit;*/`	57	`exit;*/`
57		58
58	`/*$idsexistants = $this->indexAlgolia->search("", array(`	59	`/*$idsexistants = $this->indexAlgolia->search("", array(`
59	`"attributesToRetrieve" => array(`	60	`"attributesToRetrieve" => array(`
60	`"objectID"`	61	`"objectID"`
61	`)`	62	`)`
62	`));`	63	`));`
63	`var_dump(count($idsexistants));`	64	`var_dump(count($idsexistants));`
64	`var_dump($idsexistants);`	65	`var_dump($idsexistants);`
65	`exit;*/`	66	`exit;*/`
-		67
-		68	`if ($this->getParam('update')) {`
-		69	`$this->miseAJourPartielle($this->getParam('update'));`
-		70	`}`
66		71
67	`// Réglages de l'index @TODO tenir à jour`	72	`// Réglages de l'index @TODO tenir à jour`
68	`if ($this->confirmer("Charger les réglages par défaut (index_settings.json) dans la configuration de l'index Algolia ?")) {`	73	`if ($this->confirmer("Charger les réglages par défaut (index_settings.json) dans la configuration de l'index Algolia ?")) {`
69	`// Chargement des réglages par défaut`	74	`// Chargement des réglages par défaut`
70	`$reglagesJson = file_get_contents(dirname(__FILE__) . '/index_settings.json');`	75	`$reglagesJson = file_get_contents(dirname(__FILE__) . '/index_settings.json');`
71	`$reglages = json_decode($reglagesJson, true);`	76	`$reglages = json_decode($reglagesJson, true);`
72	`$this->indexAlgolia->setSettings($reglages);`	77	`$this->indexAlgolia->setSettings($reglages);`
73	`echo "Réglages chargés dans Algolia" . PHP_EOL;`	78	`echo "Réglages chargés dans Algolia" . PHP_EOL;`
74	`}`	79	`}`
75		80
76	`// Connexion à la base`	81	`// Connexion à la base`
77	`$this->connecterPDO();`	82	`$this->connecterPDO();`
78		83
79	`// Liste des référentiels à fusionner`	84	`// Liste des référentiels à fusionner`
80	`$refsTexte = Config::get('algolia_referentiels');`	85	`$refsTexte = Config::get('algolia_referentiels');`
81	`$refs = explode(",", $refsTexte);`	86	`$refs = explode(",", $refsTexte);`
82		87
83	`// Liste des référentiels à mettre à jour`	88	`// Liste des référentiels à mettre à jour`
84	`$refsMajTexte = $this->getParam("ref");`	89	`$refsMajTexte = $this->getParam("ref");`
85	`if ($refsMajTexte === false) {`	90	`if ($refsMajTexte === false) {`
86	`// si le paramètre est vide, on met tout à jour`	91	`// si le paramètre est vide, on met tout à jour`
87	`$refsMaj = $refs;`	92	`$refsMaj = $refs;`
88	`} else {`	93	`} else {`
89	`$refsMaj = explode(",", $refsMajTexte);`	94	`$refsMaj = explode(",", $refsMajTexte);`
90	`}`	95	`}`
91		96
92	`// Déniaisage 1`	97	`// Déniaisage 1`
93	`foreach ($refs as $k => $r) {`	98	`foreach ($refs as $k => $r) {`
94	`$fichierRequete = dirname(__FILE__) . "/algolia_" . $r . ".sql";`	99	`$fichierRequete = dirname(__FILE__) . "/algolia_" . $r . ".sql";`
95	`if (! file_exists($fichierRequete)) {`	100	`if (! file_exists($fichierRequete)) {`
96	`echo "- fichier [$fichierRequete] non trouvé, fusion de [$r] ignorée" . PHP_EOL;`	101	`echo "- fichier [$fichierRequete] non trouvé, fusion de [$r] ignorée" . PHP_EOL;`
97	`unset($refs[$k]);`	102	`unset($refs[$k]);`
98	`}`	103	`}`
99	`}`	104	`}`
100	`if (empty($refs)) {`	105	`if (empty($refs)) {`
101	`echo "Aucun référentiel à fusionner" . PHP_EOL;`	106	`echo "Aucun référentiel à fusionner" . PHP_EOL;`
102	`exit;`	107	`exit;`
103	`}`	108	`}`
104		109
105	`// Déniaisage 2`	110	`// Déniaisage 2`
106	`foreach ($refsMaj as $k => $r) {`	111	`foreach ($refsMaj as $k => $r) {`
107	`if (! in_array($r, $refs)) {`	112	`if (! in_array($r, $refs)) {`
108	`echo "- le référentiel à mettre à jour [$r] n'est pas présent dans la liste à fusionner, il sera ignoré" . PHP_EOL;`	113	`echo "- le référentiel à mettre à jour [$r] n'est pas présent dans la liste à fusionner, il sera ignoré" . PHP_EOL;`
109	`unset($refsMaj[$k]);`	114	`unset($refsMaj[$k]);`
110	`}`	115	`}`
111	`}`	116	`}`
112	`if (empty($refsMaj)) {`	117	`if (empty($refsMaj)) {`
113	`echo "Aucun référentiel à mettre à jour" . PHP_EOL;`	118	`echo "Aucun référentiel à mettre à jour" . PHP_EOL;`
114	`exit;`	119	`exit;`
115	`}`	120	`}`
116		121
117	`// Confirmation`	122	`// Confirmation`
118	`if (! $this->confirmer("Fusion des référentiels [" . implode(',', $refs) . "] et mise à jour de [" . implode(',', $refsMaj) . "]. Continuer ?")) {`	123	`if (! $this->confirmer("Fusion des référentiels [" . implode(',', $refs) . "] et mise à jour de [" . implode(',', $refsMaj) . "]. Continuer ?")) {`
119	`exit;`	124	`exit;`
120	`}`	125	`}`
121		126
122	`//var_dump($refs);`	127	`//var_dump($refs);`
123	`$donneesBrutes = array();`	128	`$donneesBrutes = array();`
124	`// Exécution des requêtes pour chaque référentiel`	129	`// Exécution des requêtes pour chaque référentiel`
125	`foreach ($refs as $ref) {`	130	`foreach ($refs as $ref) {`
126	`$fichierRequete = dirname(__FILE__) . "/algolia_" . $ref . ".sql";`	131	`$fichierRequete = dirname(__FILE__) . "/algolia_" . $ref . ".sql";`
127	`// Exécution de la requête`	132	`// Exécution de la requête`
128	`$requete = file_get_contents($fichierRequete);`	133	`$requete = file_get_contents($fichierRequete);`
129	`$resultat = $this->requete($requete);`	134	`$resultat = $this->requete($requete);`
130	`$donneesBrutes[$ref] = $resultat->fetchAll();`	135	`$donneesBrutes[$ref] = $resultat->fetchAll();`
131		136
132	`// Info utilisation mémoire`	137	`// Info utilisation mémoire`
133	`$mem = memory_get_usage(true);`	138	`$mem = memory_get_usage(true);`
134	`$memMio = round($mem / (1024 * 1024));`	139	`$memMio = round($mem / (1024 * 1024));`
135	`echo "Mémoire utilisée : $memMio Mio" . PHP_EOL;`	140	`echo "Mémoire utilisée : $memMio Mio" . PHP_EOL;`
136	`}`	141	`}`
137		142
138	`// Fusion !`	143	`// Fusion !`
139	`$index = $this->fusionnerReferentiels($donneesBrutes);`	144	`$index = $this->fusionnerReferentiels($donneesBrutes);`
140	`//$this->extrait($index, array('Acacia dealbata Link','Acacia Mill.','Fabaceae'));`	145	`//$this->extrait($index, array('Acacia dealbata Link','Acacia Mill.','Fabaceae'));`
141		146
142	`// Mise en forme`	147	`// Mise en forme`
143	`$index = $this->mettreEnForme($index);`	148	`$index = $this->mettreEnForme($index);`
144	`//$this->extrait($index, 100);`	149	`//$this->extrait($index, 100);`
145		150
146	`// Stats`	151	`// Stats`
147	`$taille = count($index);`	152	`$taille = count($index);`
148	`echo "Taille de l'index: [$taille] lignes !" . PHP_EOL;`	153	`echo "Taille de l'index: [$taille] lignes !" . PHP_EOL;`
149	`//file_put_contents("couscous.json", json_encode($index));`	154	`//file_put_contents("couscous.json", json_encode($index));`
150		155
151	`// Calcul des différences ?`	156	`// Calcul des différences ?`
152	`// @TODO bonjour la galère`	157	`// @TODO bonjour la galère`
153		158
154	`// Insertion ?`	159	`// Insertion ?`
155	`if (! $this->confirmer("Prêt à insérer dans l'index Algolia [" . Config::get('algolia_index') . "]. Continuer ?")) {`	160	`if (! $this->confirmer("Prêt à insérer dans l'index Algolia [" . Config::get('algolia_index') . "]. Continuer ?")) {`
156	`exit;`	161	`exit;`
157	`}`	162	`}`
158	`$this->insererDansAlgolia($index);`	163	`$this->insererDansAlgolia($index);`
159		164
160	`// Info utilisation mémoire totale`	165	`// Info utilisation mémoire totale`
161	`$mem = memory_get_peak_usage(true);`	166	`$mem = memory_get_peak_usage(true);`
162	`$memMio = round($mem / (1024 * 1024));`	167	`$memMio = round($mem / (1024 * 1024));`
163	`echo "Mémoire maximale utilisée : $memMio Mio" . PHP_EOL;`	168	`echo "Mémoire maximale utilisée : $memMio Mio" . PHP_EOL;`
164	`}`	169	`}`
165		170
166	`/**`	171	`/**`
167	`* Génère un index unique pour Algolia à partir des données de n référentiels`	172	`* Génère un index unique pour Algolia à partir des données de n référentiels`
168	`*/`	173	`*/`
169	`protected function fusionnerReferentiels(&$donneesRefs) {`	174	`protected function fusionnerReferentiels(&$donneesRefs) {`
170	`$index = array();`	175	`$index = array();`
171	`foreach ($donneesRefs as $ref => &$d) {`	176	`foreach ($donneesRefs as $ref => &$d) {`
172	`$nbTaxons = count($d);`	177	`$nbTaxons = count($d);`
173	`echo "-- fusion du référentiel [$ref] : $nbTaxons taxons --" . PHP_EOL;`	178	`echo "-- fusion du référentiel [$ref] : $nbTaxons taxons --" . PHP_EOL;`
174		179
175	`$fusions = 0;`	180	`$fusions = 0;`
176		181
177	`foreach ($d as $taxon) {`	182	`foreach ($d as $taxon) {`
178	`// debug`	183	`// debug`
179	`/*if ($taxon[$ref . '_num_nom'] == 141) {`	184	`/*if ($taxon[$ref . '_num_nom'] == 141) {`
180	`echo "> Taxon 141 :" . PHP_EOL;`	185	`echo "> Taxon 141 :" . PHP_EOL;`
181	`var_dump($taxon);`	186	`var_dump($taxon);`
182	`echo PHP_EOL;`	187	`echo PHP_EOL;`
183	`}*/`	188	`}*/`
184	`$nomSci = $taxon[$ref . '_nom_sci'];`	189	`$nomSci = $taxon[$ref . '_nom_sci'];`
185	`//$nn = $taxon[$ref . '_num_nom'];`	190	`//$nn = $taxon[$ref . '_num_nom'];`
186	`// Ajout du nom d'auteur pour éviter les collisions dans un même référentiel`	191	`// Ajout du nom d'auteur pour éviter les collisions dans un même référentiel`
187	`if (! empty ($taxon[$ref . '_auteur'])) {`	192	`if (! empty ($taxon[$ref . '_auteur'])) {`
188	`$nomSci .= ' ' . $taxon[$ref . '_auteur'];`	193	`$nomSci .= ' ' . $taxon[$ref . '_auteur'];`
189	`}`	194	`}`
190		195
191	`// -- ÉLIMINATION DES NOMS SANS CORRESPONDANCE`	196	`// -- ÉLIMINATION DES NOMS SANS CORRESPONDANCE`
192	`if (empty($taxon[$ref . '_num_nom_retenu'])) {`	197	`if (empty($taxon[$ref . '_num_nom_retenu'])) {`
193	`//echo "XX élimination du nom sans correspondance : [$nomSci] (nn $nn)" . PHP_EOL;`	198	`//echo "XX élimination du nom sans correspondance : [$nomSci] (nn $nn)" . PHP_EOL;`
194	`continue;`	199	`continue;`
195	`}`	200	`}`
196		201
197	`if (! isset($index[$nomSci])) {`	202	`if (! isset($index[$nomSci])) {`
198	`$index[$nomSci] = array(`	203	`$index[$nomSci] = array(`
199	`'objectID' => $nomSci,`	204	`'objectID' => $nomSci,`
200	`'referentiels' => array()`	205	`'referentiels' => array()`
201	`);`	206	`);`
202	`} else {`	207	`} else {`
203	`//echo "> fusion sur [$nomSci] (nn $nn)" . PHP_EOL;`	208	`//echo "> fusion sur [$nomSci] (nn $nn)" . PHP_EOL;`
204	`$fusions++;`	209	`$fusions++;`
205	`}`	210	`}`
206	`$index[$nomSci] = array_merge($index[$nomSci], $taxon);`	211	`$index[$nomSci] = array_merge($index[$nomSci], $taxon);`
207	`$index[$nomSci]['referentiels'][] = $ref;`	212	`$index[$nomSci]['referentiels'][] = $ref;`
208	`//break;`	213	`//break;`
209	`}`	214	`}`
210	`$taille = count($index);`	215	`$taille = count($index);`
211	`echo "- taille de l'index après ajout de [$ref]: [$taille] lignes ($fusions fusions)" . PHP_EOL;`	216	`echo "- taille de l'index après ajout de [$ref]: [$taille] lignes ($fusions fusions)" . PHP_EOL;`
212	`}`	217	`}`
213	`return $index;`	218	`return $index;`
214	`}`	219	`}`
215		220
216	`/**`	221	`/**`
217	`* Organise les données de chaque objet conformément à la structure de`	222	`* Organise les données de chaque objet conformément à la structure de`
218	`* l'index Algolia`	223	`* l'index Algolia`
219	`*`	224	`*`
220	`* Voir commentaires sur cette page :`	225	`* Voir commentaires sur cette page :`
221	`* http://taiga.tela-botanica.net/project/mathias-site-web/task/75`	226	`* http://taiga.tela-botanica.net/project/mathias-site-web/task/75`
222	`*`	227	`*`
223	`* L'objectID est le MD5 de la "clef" (nom scientifique avec auteur)`	228	`* L'objectID est le MD5 de la "clef" (nom scientifique avec auteur)`
224	`*/`	229	`*/`
225	`protected function mettreEnForme($index) {`	230	`protected function mettreEnForme($index) {`
226	`$nouvelIndex = array();`	231	`$nouvelIndex = array();`
227	`foreach ($index as $nomSci => $taxon) {`	232	`foreach ($index as $nomSci => $taxon) {`
228	`$nouveauTaxon = array(`	233	`$nouveauTaxon = array(`
229	`'objectID' => md5($nomSci),`	234	`'objectID' => md5($nomSci),`
230	`'referentiels' => $taxon['referentiels']`	235	`'referentiels' => $taxon['referentiels']`
231	`);`	236	`);`
232	`foreach ($taxon['referentiels'] as $ref) {`	237	`foreach ($taxon['referentiels'] as $ref) {`
233	`// ingrédients`	238	`// ingrédients`
234	`$nn = $taxon[$ref . '_num_nom'];`	239	`$nn = $taxon[$ref . '_num_nom'];`
235	`$ns = $taxon[$ref . '_nom_sci'];`	240	`$ns = $taxon[$ref . '_nom_sci'];`
236	`$nts = $taxon[$ref . '_num_tax_sup'];`	241	`$nts = $taxon[$ref . '_num_tax_sup'];`
237	`$rang = $taxon[$ref . '_rang'];`	242	`$rang = $taxon[$ref . '_rang'];`
238	`$auteur = $taxon[$ref . '_auteur'];`	243	`$auteur = $taxon[$ref . '_auteur'];`
239	`$annee = $taxon[$ref . '_annee'];`	244	`$annee = $taxon[$ref . '_annee'];`
240	`$biblio = $taxon[$ref . '_biblio'];`	245	`$biblio = $taxon[$ref . '_biblio'];`
241	`$nom_supra_generique = $taxon[$ref . '_nom_supra_generique'];`	246	`$nom_supra_generique = $taxon[$ref . '_nom_supra_generique'];`
242	`$genre = $taxon[$ref . '_genre'];`	247	`$genre = $taxon[$ref . '_genre'];`
243	`$epithete_sp = $taxon[$ref . '_epithete_sp'];`	248	`$epithete_sp = $taxon[$ref . '_epithete_sp'];`
244	`$type_epithete = $taxon[$ref . '_type_epithete'];`	249	`$type_epithete = $taxon[$ref . '_type_epithete'];`
245	`$epithete_infra_sp = $taxon[$ref . '_epithete_infra_sp'];`	250	`$epithete_infra_sp = $taxon[$ref . '_epithete_infra_sp'];`
246	`$cultivar = $taxon[$ref . '_cultivar'];`	251	`$cultivar = $taxon[$ref . '_cultivar'];`
247	`$cultivar_groupe = $taxon[$ref . '_cultivar_groupe'];`	252	`$cultivar_groupe = $taxon[$ref . '_cultivar_groupe'];`
248	`$nomCommun = (isset($taxon[$ref . '_nom_francais']) ? $taxon[$ref . '_nom_francais'] : '');`	253	`$nomCommun = (isset($taxon[$ref . '_nom_francais']) ? $taxon[$ref . '_nom_francais'] : '');`
249	`$url = $taxon[$ref . '_url'];`	254	`$url = $taxon[$ref . '_url'];`
250	`$synonymes = json_decode($taxon[$ref . '_synonymes'], true);`	255	`$synonymes = json_decode($taxon[$ref . '_synonymes'], true);`
251	`// debug synonymes tronqués (group_concat limité en longueur)`	256	`// debug synonymes tronqués (group_concat limité en longueur)`
252	`/*if ($nn == 141) {`	257	`/*if ($nn == 141) {`
253	`echo ">> Synonymes bruts: [" . $taxon[$ref . '_synonymes'] . "]" . PHP_EOL;`	258	`echo ">> Synonymes bruts: [" . $taxon[$ref . '_synonymes'] . "]" . PHP_EOL;`
254	`echo ">> Synonymes décodés: [" . print_r($synonymes, true) . "]" . PHP_EOL;`	259	`echo ">> Synonymes décodés: [" . print_r($synonymes, true) . "]" . PHP_EOL;`
255	`exit;`	260	`exit;`
256	`}*/`	261	`}*/`
257	`$raccourcis = json_decode($taxon[$ref . '_shortcuts'], true);`	262	`$raccourcis = json_decode($taxon[$ref . '_shortcuts'], true);`
258	`$raccourcis = ($raccourcis != null ? array_values(array_unique($raccourcis)) : null); // array_values réindexe pour obtenir une liste en JSON et non un objet`	263	`$raccourcis = ($raccourcis != null ? array_values(array_unique($raccourcis)) : null); // array_values réindexe pour obtenir une liste en JSON et non un objet`
259	`// garniture`	264	`// garniture`
260	`$donneesRef = array(`	265	`$donneesRef = array(`
261	`'nomenclatural_number' => intval($nn),`	266	`'nomenclatural_number' => intval($nn),`
262	`'scientific_name' => $ns,`	267	`'scientific_name' => $ns,`
263	`'common_name' => $nomCommun,`	268	`'common_name' => $nomCommun,`
264	`'synonyms' => $synonymes,`	269	`'synonyms' => $synonymes,`
265	`'permalink' => $url,`	270	`'permalink' => $url,`
266	`'parent_taxon_number' => intval($nts),`	271	`'parent_taxon_number' => intval($nts),`
267	`'rank' => intval($rang),`	272	`'rank' => intval($rang),`
268	`'author' => $auteur,`	273	`'author' => $auteur,`
269	`'year' => intval($annee),`	274	`'year' => intval($annee),`
270	`'biblio' => $biblio,`	275	`'biblio' => $biblio,`
271	`'supra_genus_name' => $nom_supra_generique,`	276	`'supra_genus_name' => $nom_supra_generique,`
272	`'genus' => $genre,`	277	`'genus' => $genre,`
273	`'species_attribute' => $epithete_sp,`	278	`'species_attribute' => $epithete_sp,`
274	`'attribute_type' => $type_epithete,`	279	`'attribute_type' => $type_epithete,`
275	`'infra_species_attribute' => $epithete_infra_sp,`	280	`'infra_species_attribute' => $epithete_infra_sp,`
276	`'cultivar' => $cultivar,`	281	`'cultivar' => $cultivar,`
277	`'cultivar_groupe' => $cultivar_groupe`	282	`'cultivar_groupe' => $cultivar_groupe`
278	`);`	283	`);`
279	`// dans le cas de BDTFX, ajout de l'illustration de Coste et de`	284	`// dans le cas de BDTFX, ajout de l'illustration de Coste et de`
280	`// la carte Chorodep pour illustrer les résultats de recherche`	285	`// la carte Chorodep pour illustrer les résultats de recherche`
281	`if ($ref == "bdtfx" && (Config::get("activer_image_coste") == "1")) {`	286	`if (Config::get("activer_image_cel") == "1") {`
282	`$this->ajouterImagesEflore($nn, $donneesRef);`	287	`$this->ajouterImagesEflore($nn, $donneesRef);`
283	`}`	288	`}`
284		289
285	`$nouveauTaxon[$ref] = $donneesRef;`	290	`$nouveauTaxon[$ref] = $donneesRef;`
286	`$nouveauTaxon['shortcuts'] = $raccourcis;`	291	`$nouveauTaxon['shortcuts'] = $raccourcis;`
287	`}`	292	`}`
288	`$nouvelIndex[] = $nouveauTaxon;`	293	`$nouvelIndex[] = $nouveauTaxon;`
289	`}`	294	`}`
290	`return $nouvelIndex;`	295	`return $nouvelIndex;`
291	`}`	296	`}`
292		297
293	`/**`	298	`/**`
294	`* Interroge le service eFlore pour récupérer l'illustration de Coste pour`	299	`* Interroge le service eFlore pour récupérer l'illustration de Coste pour`
295	`* le nn en cours, ainsi que les meilleures images d'eFlore et ajoute une`	300	`* le nn en cours, ainsi que les meilleures images d'eFlore et ajoute une`
296	`* URL pour obtenir la carte de répartition de Chorodep`	301	`* URL pour obtenir la carte de répartition de Chorodep`
297	`*/`	302	`*/`
298	`protected function ajouterImagesEflore($nn, &$donnees) {`	303	`protected function ajouterImagesEflore($nn, &$donnees) {`
299	`// carte de répartition - le service renvoie directement une image`	304	`// carte de répartition - le service renvoie directement une image`
300	`$donnees['thumbnails']['chorodep'] = sprintf(Config::get('url_template_chorodep'), $nn);`	305	`$donnees['thumbnails']['chorodep'] = sprintf(Config::get('url_template_chorodep'), $nn);`
301	`// Coste`	306	`// Coste`
302	`$retour = @file_get_contents($sprintf(Config::get('url_template_coste'), $nn));`	307	`$retour = @file_get_contents($sprintf(Config::get('url_template_coste'), $nn));`
303	`if ($retour) {`	308	`if ($retour) {`
304	`try {`	309	`try {`
305	`$infosCoste = json_decode($retour, true);`	310	`$infosCoste = json_decode($retour, true);`
306	`if (! empty($infosCoste['resultats']) && is_array($infosCoste['resultats'])) {`	311	`if (! empty($infosCoste['resultats']) && is_array($infosCoste['resultats'])) {`
307	`$res1 = array_shift($infosCoste['resultats']);`	312	`$res1 = array_shift($infosCoste['resultats']);`
308	`if (is_array($res1) && ! empty($res1['binaire.href'])) {`	313	`if (is_array($res1) && ! empty($res1['binaire.href'])) {`
309	`$donnees['thumbnails']['coste'] = $res1['binaire.href'];`	314	`$donnees['thumbnails']['coste'] = $res1['binaire.href'];`
310	`}`	315	`}`
311	`}`	316	`}`
312	`} catch (Exception $ex) {`	317	`} catch (Exception $ex) {`
313	`// pas de bol`	318	`// pas de bol`
314	`}`	319	`}`
315	`}`	320	`}`
316	`// CEL`	321	`// CEL`
317	`$retour = @file_get_contents($sprintf(Config::get('url_template_cel'), $nn));`	322	`$retour = @file_get_contents($sprintf(Config::get('url_template_cel'), $nn));`
318	`if ($retour) {`	323	`if ($retour) {`
319	`try {`	324	`try {`
320	`$infosCel = json_decode($retour, true);`	325	`$infosCel = json_decode($retour, true);`
321	`if (! empty($infosCel['resultat']) && is_array($infosCel['resultat'])) {`	326	`if (! empty($infosCel['resultat']) && is_array($infosCel['resultat'])) {`
322	`foreach($infosCel['resultat'] as $organe => $imageSrc) {`	327	`foreach($infosCel['resultat'] as $organe => $imageSrc) {`
323	`$donnees['thumbnails']['cel'][$organe] = $imageSrc;`	328	`$donnees['thumbnails']['cel'][$organe] = $imageSrc;`
324	`}`	329	`}`
325	`}`	330	`}`
326	`} catch (Exception $ex) {`	331	`} catch (Exception $ex) {`
327	`// pas de bol`	332	`// pas de bol`
328	`}`	333	`}`
329	`}`	334	`}`
330	`// debug`	335	`// debug`
331	`/*echo ">> nn : [$nn]" . PHP_EOL;`	336	`/*echo ">> nn : [$nn]" . PHP_EOL;`
332	`echo ">> image Coste : [" . $donnees['thumbnails']['coste'] . "]" . PHP_EOL;`	337	`echo ">> image Coste : [" . $donnees['thumbnails']['coste'] . "]" . PHP_EOL;`
333	`echo ">> carte Chorodep : [" . $donnees['thumbnails']['chorodep'] . "]" . PHP_EOL;`	338	`echo ">> carte Chorodep : [" . $donnees['thumbnails']['chorodep'] . "]" . PHP_EOL;`
334	`echo ">> images CeL :" . PHP_EOL;`	339	`echo ">> images CeL :" . PHP_EOL;`
335	`var_dump($donnees['thumbnails']['cel'])*/`	340	`var_dump($donnees['thumbnails']['cel'])*/`
336	`}`	341	`}`
337		342
338	`/**`	343	`/**`
339	`* Appelle l'API Algolia pour indexer les données présentes dans $index, par`	344	`* Appelle l'API Algolia pour indexer les données présentes dans $index, par`
340	`* tranches.`	345	`* tranches.`
341	`*/`	346	`*/`
342	`protected function insererDansAlgolia(&$index) {`	347	`protected function insererDansAlgolia(&$index) {`
343	`$tailleTranche = 5000;`	348	`$tailleTranche = 5000;`
344	`echo "++++ Insertion dans Algolia (" . count($index) . " objets) !! ++++" . PHP_EOL;`	349	`echo "++++ Insertion dans Algolia (" . count($index) . " objets) !! ++++" . PHP_EOL;`
345	`// insertion par tranches pour éviter un timeout sur l'API Algolia`	350	`// insertion par tranches pour éviter un timeout sur l'API Algolia`
346	`while (count($index) > 0) {`	351	`while (count($index) > 0) {`
347	`echo "++ insertion d'une tranche de $tailleTranche... (" . count($index) . " restant)" . PHP_EOL;`	352	`echo "++ insertion d'une tranche de $tailleTranche... (" . count($index) . " restant)" . PHP_EOL;`
348	`$tranche = array_splice($index, 0, $tailleTranche);`	353	`$tranche = array_splice($index, 0, $tailleTranche);`
349	`//var_dump($tranche);`	354	`//var_dump($tranche);`
350	`$this->indexAlgolia->addObjects($tranche);`	355	`$this->indexAlgolia->addObjects($tranche);`
351	`}`	356	`}`
352	`}`	357	`}`
-		358
-		359	`/**`
-		360	`* Met à jour les images d'illustration`
-		361	`*/`
-		362	`protected function miseAJourPartielle($date) {`
-		363	`try {`
-		364	`$date = new DateTime($date);`
-		365	`$date = $date->format('Y-m-d');`
-		366	`} catch (Exception $e) {`
-		367	`die($e->getMessage());`
-		368	`}`
-		369
-		370	`// récupération des nn mis à jour`
-		371	`$sql = 'SELECT DISTINCT nn FROM del_image_top WHERE date_vote > ' . $date . ';';`
-		372	`$requete = $this->requete($sql);`
-		373	`$nns = $requete->fetchAll();`
-		374	`// var_dump($nns); die();`
-		375
-		376	`$donnees = array();`
-		377	`foreach ($nns as $nn) {`
-		378	`// récup des infos depuis le service d'images du cel`
-		379	`$retour = @file_get_contents($sprintf(Config::get('url_template_cel'), $nn));`
-		380	`if ($retour) {`
-		381	`try {`
-		382	`$infosCel = json_decode($retour, true);`
-		383	`if (! empty($infosCel['resultat']) && is_array($infosCel['resultat'])) {`
-		384	`foreach($infosCel['resultat'] as $organe => $imageSrc) {`
-		385	`$donnees[$nn]['thumbnails']['cel'][$organe] = $imageSrc;`
-		386	`}`
-		387	`// var_dump($donnees); die();`
-		388
-		389	`$response = $index->getObjects([$nn], ['objectID', 'nomenclatural_number', 'thumbnails']);`
-		390	`$response = json_decode($response, true);`
-		391	`// var_dump($response); die();`
-		392	`if (isset($response['results'])) {`
-		393	`$results = array_reduce($response['results'], function($carry, $item) use ($nn) {`
-		394	`if ($item['nomenclatural_number'] == $nn) {`
-		395	`$carry[] = $item;`
-		396	`}`
-		397	`return $carry;`
-		398	`});`
-		399	`// var_dump($results); die();`
-		400
-		401	`if (count($results) == 1) {`
-		402	`unset($results['thumbnails']['cel']);`
-		403	`$results = array_merge($results, $donnees[$nn]);`
-		404	`$index->partialUpdateObject([`
-		405	`'thumbnails' => $results['thumbnails'],`
-		406	`'objectID' => $results['objectID']`
-		407	`]);`
-		408	`}`
-		409
-		410	`}`
-		411	`}`
-		412	`} catch (Exception $e) {`
-		413	`die(var_dump($e));`
-		414	`}`
-		415	`}`
-		416	`}`
-		417
-		418	`}`
353		419
354	`// ---------------- utilitaires --------------------------------------------`	420	`// ---------------- utilitaires --------------------------------------------`
355		421
356	`protected function extrait($index, $clefsOuNombre) {`	422	`protected function extrait($index, $clefsOuNombre) {`
357	`// Debug`	423	`// Debug`
358	`echo PHP_EOL . "---- extrait des données --" . PHP_EOL;`	424	`echo PHP_EOL . "---- extrait des données --" . PHP_EOL;`
359	`if (is_array($clefsOuNombre)) {`	425	`if (is_array($clefsOuNombre)) {`
360	`foreach ($clefsOuNombre as $k) {`	426	`foreach ($clefsOuNombre as $k) {`
361	`var_dump($index[$k]);`	427	`var_dump($index[$k]);`
362	`}`	428	`}`
363	`} else {`	429	`} else {`
364	`for ($i=0; $i < $clefsOuNombre; $i++) {`	430	`for ($i=0; $i < $clefsOuNombre; $i++) {`
365	`var_dump($index[$i]);`	431	`var_dump($index[$i]);`
366	`}`	432	`}`
367	`}`	433	`}`
368	`}`	434	`}`
369		435
370	`protected function connecterPDO() {`	436	`protected function connecterPDO() {`
371	`Config::charger(dirname(__FILE__) . '/../../configurations/bdd.ini');`	437	`Config::charger(dirname(__FILE__) . '/../../configurations/bdd.ini');`
372	`try {`	438	`try {`
373	`$dsn = Config::get('bdd_type').':dbname='.Config::get('bdd_nom').';host='.`	439	`$dsn = Config::get('bdd_type').':dbname='.Config::get('bdd_nom').';host='.`
374	`Config::get('bdd_hote');`	440	`Config::get('bdd_hote');`
375	`$this->bdd = new PDO($dsn, Config::get('bdd_utilisateur'), Config::get('bdd_mot_de_passe'));`	441	`$this->bdd = new PDO($dsn, Config::get('bdd_utilisateur'), Config::get('bdd_mot_de_passe'));`
376	`// Passe en UTF-8 la connexion à la BDD`	442	`// Passe en UTF-8 la connexion à la BDD`
377	`$this->bdd->exec("SET NAMES 'utf8'");`	443	`$this->bdd->exec("SET NAMES 'utf8'");`
378	`// Affiche les erreurs détectées par PDO (sinon mode silencieux => aucune erreur affiché)`	444	`// Affiche les erreurs détectées par PDO (sinon mode silencieux => aucune erreur affiché)`
379	`$this->bdd->setAttribute(PDO::ATTR_ERRMODE, PDO::ERRMODE_EXCEPTION);`	445	`$this->bdd->setAttribute(PDO::ATTR_ERRMODE, PDO::ERRMODE_EXCEPTION);`
380	`} catch (PDOException $e) {`	446	`} catch (PDOException $e) {`
381	`//print_r($e);`	447	`//print_r($e);`
382	`echo 'La connexion à la base de données via PDO a échoué : ' . $e->getMessage() . PHP_EOL;`	448	`echo 'La connexion à la base de données via PDO a échoué : ' . $e->getMessage() . PHP_EOL;`
383	`exit;`	449	`exit;`
384	`}`	450	`}`
385	`}`	451	`}`
386		452
387	`protected function requete($requete) {`	453	`protected function requete($requete) {`
388	`$infos = null;`	454	`$infos = null;`
389	`try {`	455	`try {`
390	`$infos = $this->bdd->query($requete, PDO::FETCH_ASSOC);`	456	`$infos = $this->bdd->query($requete, PDO::FETCH_ASSOC);`
391	`/*if ($infos === false) {`	457	`/*if ($infos === false) {`
392	`echo $requete;`	458	`echo $requete;`
393	`}*/`	459	`}*/`
394	`} catch (PDOException $e) {`	460	`} catch (PDOException $e) {`
395	`echo sprintf($e->getFile(), $e->getLine(), $e->getMessage(), $e->getCode(), $requete);`	461	`echo sprintf($e->getFile(), $e->getLine(), $e->getMessage(), $e->getCode(), $requete);`
396	`}`	462	`}`
397	`return $infos;`	463	`return $infos;`
398	`}`	464	`}`
399		465
400	`/**`	466	`/**`
401	`* Demande confirmation, et sort du script à moins qu'on tape ce qui est`	467	`* Demande confirmation, et sort du script à moins qu'on tape ce qui est`
402	`* indiqué (par défaut "o" pour "oui")`	468	`* indiqué (par défaut "o" pour "oui")`
403	`*/`	469	`*/`
404	`protected function confirmer($question='Continuer ?', $codeAcceptation='o', $messageAnnulation='annulation') {`	470	`protected function confirmer($question='Continuer ?', $codeAcceptation='o', $messageAnnulation='annulation') {`
405	`echo $question . ' ("' . $codeAcceptation . '" pour confirmer, autre chose pour annuler)' . PHP_EOL;`	471	`echo $question . ' ("' . $codeAcceptation . '" pour confirmer, autre chose pour annuler)' . PHP_EOL;`
406	`$handle = fopen ("php://stdin","r");`	472	`$handle = fopen ("php://stdin","r");`
407	`$line = fgets($handle);`	473	`$line = fgets($handle);`
408	`if(strtolower(trim($line)) != strtolower($codeAcceptation)) {`	474	`if(strtolower(trim($line)) != strtolower($codeAcceptation)) {`
409	`echo $messageAnnulation . PHP_EOL;`	475	`echo $messageAnnulation . PHP_EOL;`
410	`return false;`	476	`return false;`
411	`}`	477	`}`
412	`fclose($handle);`	478	`fclose($handle);`
413	`return true;`	479	`return true;`
414	`}`	480	`}`
415	`}`	481	`}`
416	`?>`	482	`?>`

Subversion Repositories Applications.referentiel

(root)/trunk/scripts/modules/algolia/Algolia.php – Rev 401 → 402