WebSVN – Applications.referentiel – Diff – /trunk/scripts/modules/algolia/Algolia.php


<?php
/**
 * Indexation dans Algolia des référentiels
 *
 * Description : formate les données des référentiels choisis et envoie tout ça
 * dans Algolia
 * 
 * Utilisation : php script.php algolia [-ref "ref1,ref2,..."]
 *   -ref (optionnel): liste de codes de référentiels séparés par des virgules;
 *                     par défaut: "apd,bdtfx,bdtxa,isfan"
 * 
 * Exemples:
 *   php script.php algolia
 *   php script.php algolia -ref "bdtfx,isfan"
 * 
 * @note: ignorer le paramètre fasciste -a : on ne s'en sert pas
 *
 * @author       Tela Botanica <equipe-dev@tela-botanica.org>
 * @licence		GPL v3 & CeCILL v2
 */
restore_error_handler();
restore_exception_handler();
ini_set("display_errors","1");
error_reporting(E_ALL);
 
// composer autoload
require dirname(__FILE__) . '/../../../vendor/autoload.php';
 
class Algolia extends ScriptCommande {
 
	const SCRIPT_NOM = 'algolia';
 
	public $parametres = array(
		'-ref' => array(false, false, 'Celui qui lit ça est un con')
	);
 
	/** connexion PDO à la BDD "referentiels" */
	protected $bdd;
 
	/** client API Algolia */
	protected $algolia;
	protected $indexAlgolia;
	
	public function executer() {
		echo "Indexation des référentiels dans Algolia" . PHP_EOL;
 
		// Bibliothèque Algolia PHP pour appeler l'API
		Config::charger(dirname(__FILE__) . '/algolia.ini');
		$this->algolia = new \AlgoliaSearch\Client(Config::get('algolia_application_id'), Config::get('algolia_api_key'));
		$this->indexAlgolia = $this->algolia->initIndex(Config::get('algolia_index'));
 
		/*$settings = $this->indexAlgolia->getSettings();
		var_dump(json_encode($settings));
		exit;*/
 
		/*$idsexistants = $this->indexAlgolia->search("", array(
			"attributesToRetrieve" => array(
				"objectID"
			)
		));
		var_dump(count($idsexistants));
		var_dump($idsexistants);
		exit;*/
 
		// Réglages de l'index @TODO tenir à jour
		if ($this->confirmer("Charger les réglages par défaut (index_settings.json) dans la configuration de l'index Algolia ?")) {
			// Chargement des réglages par défaut
			$reglagesJson = file_get_contents(dirname(__FILE__) . '/index_settings.json');
			$reglages = json_decode($reglagesJson, true);
			$this->indexAlgolia->setSettings($reglages);
			echo "Réglages chargés dans Algolia" . PHP_EOL;
		}
 
		// Connexion à la base
		$this->connecterPDO();
 
		// Liste des référentiels à fusionner
		$refsTexte = Config::get('algolia_referentiels');
		$refs = explode(",", $refsTexte);
 
		// Liste des référentiels à mettre à jour
		$refsMajTexte = $this->getParam("ref");
		if ($refsMajTexte === false) {
			// si le paramètre est vide, on met tout à jour
			$refsMaj = $refs;
		} else {
			$refsMaj = explode(",", $refsMajTexte);
		}
 
		// Déniaisage 1
		foreach ($refs as $k => $r) {
			$fichierRequete = dirname(__FILE__) . "/algolia_" . $r . ".sql";
			if (! file_exists($fichierRequete)) {
				echo "- fichier [$fichierRequete] non trouvé, fusion de [$r] ignorée" . PHP_EOL;
				unset($refs[$k]);
			}
		}
		if (empty($refs)) {
			echo "Aucun référentiel à fusionner" . PHP_EOL;
			exit;
		}
 
		// Déniaisage 2
		foreach ($refsMaj as $k => $r) {
			if (! in_array($r, $refs)) {
				echo "- le référentiel à mettre à jour [$r] n'est pas présent dans la liste à fusionner, il sera ignoré" . PHP_EOL;
				unset($refsMaj[$k]);
			}
		}
		if (empty($refsMaj)) {
			echo "Aucun référentiel à mettre à jour" . PHP_EOL;
			exit;
		}
 
		// Confirmation
		if (! $this->confirmer("Fusion des référentiels [" . implode(',', $refs) . "] et mise à jour de [" . implode(',', $refsMaj) . "]. Continuer ?")) {
			exit;
		}
 
		//var_dump($refs);
		$donneesBrutes = array();
		// Exécution des requêtes pour chaque référentiel
		foreach ($refs as $ref) {
			$fichierRequete = dirname(__FILE__) . "/algolia_" . $ref . ".sql";
			// Exécution de la requête
			$requete = file_get_contents($fichierRequete);
			$resultat = $this->requete($requete);
			/*while ($ligne = $resultat->fetch()) {
				var_dump($ligne);
				break;
			}*/
			$donneesBrutes[$ref] = $resultat->fetchAll();
 
			// Info utilisation mémoire
			$mem = memory_get_usage(true);
			$memMio = round($mem / (1024 * 1024));
			echo "Mémoire utilisée : $memMio Mio" . PHP_EOL;
		}
 
		// Fusion !
		$index = $this->fusionnerReferentiels($donneesBrutes);
		//$this->extrait($index, array('Acacia dealbata Link','Acacia Mill.','Fabaceae'));
 
		// Mise en forme
		$index = $this->mettreEnForme($index);
		//$this->extrait($index, 3);
 
		// Stats
		$taille = count($index);
		echo "Taille de l'index: [$taille] lignes !" . PHP_EOL;
		//file_put_contents("couscous.json", json_encode($index));
 
		// Calcul des différences ?
		// Insertion ?
		$this->insererDansAlgolia($index);
 
		// Info utilisation mémoire totale
		$mem = memory_get_peak_usage(true);
		$memMio = round($mem / (1024 * 1024));
		echo "Mémoire maximale utilisée : $memMio Mio" . PHP_EOL;
	}
 
	/**
	 * Génère un index unique pour Algolia à partir des données de n référentiels
	 */
	protected function fusionnerReferentiels(&$donneesRefs) {
		$index = array();
		foreach ($donneesRefs as $ref => &$d) {
			$nbTaxons = count($d);
			echo "-- fusion du référentiel [$ref] : $nbTaxons taxons --" . PHP_EOL;
 
			$fusions = 0;
			foreach ($d as $taxon) {
				$nomSci = $taxon[$ref . '_nom_sci'];
				//$nn = $taxon[$ref . '_num_nom'];
				// Ajout du nom d'auteur pour éviter les collisions dans un même référentiel
				if (! empty ($taxon[$ref . '_auteur'])) {
					$nomSci .= ' ' . $taxon[$ref . '_auteur'];
				}
 
				// -- ÉLIMINATION DES NOMS SANS CORRESPONDANCE
				if (empty($taxon[$ref . '_num_nom_retenu'])) {
					//echo "XX élimination du nom sans correspondance : [$nomSci] (nn $nn)" . PHP_EOL;
					continue;
				}
 
				if (! isset($index[$nomSci])) {
					$index[$nomSci] = array(
						'objectID' => $nomSci,
						'referentiels' => array()
					);
				} else {
					//echo "> fusion sur [$nomSci] (nn $nn)" . PHP_EOL;
					$fusions++;
				}
				$index[$nomSci] = array_merge($index[$nomSci], $taxon);
				$index[$nomSci]['referentiels'][] = $ref;
				//break;
			}
			$taille = count($index);
			echo "- taille de l'index après ajout de [$ref]: [$taille] lignes ($fusions fusions)" . PHP_EOL;
		}
		return $index;
	}
 
	/**
	 * Organise les données de chaque objet conformément à la structure de
	 * l'index Algolia
	 * 
	 * Voir commentaires sur cette page :
	 * http://taiga.tela-botanica.net/project/mathias-site-web/task/75
	 * 
	 * L'objectID est le MD5 de la "clef" (nom scientifique avec auteur)
	 */
	protected function mettreEnForme($index) {
		$nouvelIndex = array();
		foreach ($index as $nomSci => $taxon) {
			$nouveauTaxon = array(
				'objectID' => md5($nomSci),
				'referentiels' => $taxon['referentiels']
			);
			foreach ($taxon['referentiels'] as $ref) {
				// ingrédients
				$nn = $taxon[$ref . '_num_nom'];
				$ns = $taxon[$ref . '_nom_sci'];
				$nts = $taxon[$ref . '_num_tax_sup'];
				$rang = $taxon[$ref . '_rang'];
				$auteur = $taxon[$ref . '_auteur'];
				$annee = $taxon[$ref . '_annee'];
				$biblio = $taxon[$ref . '_biblio'];
				$nom_supra_generique = $taxon[$ref . '_nom_supra_generique'];
				$genre = $taxon[$ref . '_genre'];
				$epithete_sp = $taxon[$ref . '_epithete_sp'];
				$type_epithete = $taxon[$ref . '_type_epithete'];
				$epithete_infra_sp = $taxon[$ref . '_epithete_infra_sp'];
				$cultivar = $taxon[$ref . '_cultivar'];
				$cultivar_groupe = $taxon[$ref . '_cultivar_groupe'];
				$nomCommun = (isset($taxon[$ref . '_nom_francais']) ? $taxon[$ref . '_nom_francais'] : '');
				$url = $taxon[$ref . '_url'];
				$synonymes = json_decode($taxon[$ref . '_synonymes'], true);
				$raccourcis = json_decode($taxon[$ref . '_shortcuts'], true);
				$raccourcis = ($raccourcis != null ? array_values(array_unique($raccourcis)) : null); // array_values réindexe pour obtenir une liste en JSON et non un objet
				// garniture
				$donneesRef = array(
					'nomenclatural_number' => intval($nn),
					'scientific_name' => $ns,
					'common_name' => $nomCommun,
					'synonyms' => $synonymes,
					'permalink' => $url,
					'parent_taxon_number' => intval($nts),
					'rank' => intval($rang),
					'author' => $auteur,
					'year' => intval($annee),
					'biblio' => $biblio,
					'supra_genus_name' => $nom_supra_generique,
					'genus' => $genre,
					'species_attribute' => $epithete_sp,
					'attribute_type' => $type_epithete,
					'infra_species_attribute' => $epithete_infra_sp,
					'cultivar' => $cultivar,
					'cultivar_groupe' => $cultivar_groupe
				);
				$nouveauTaxon[$ref] = $donneesRef;
				$nouveauTaxon['shortcuts'] = $raccourcis;
			}
			$nouvelIndex[] = $nouveauTaxon;
		}
		return $nouvelIndex;
	}
 
	/**
	 * Appelle l'API Algolia pour indexer les données présentes dans $index, par
	 * tranches.
	 */
	protected function insererDansAlgolia(&$index) {
		$tailleTranche = 5000;
		echo "++++ Insertion dans Algolia (" . count($index) . " objets) !! ++++" . PHP_EOL;
		// insertion par tranches pour éviter un timeout sur l'API Algolia
		while (count($index) > 0) {
			echo "++ insertion d'une tranche de $tailleTranche... (" . count($index) . " restant)" . PHP_EOL;
			$tranche = array_splice($index, 0, $tailleTranche);
			//var_dump($tranche);
			$this->indexAlgolia->addObjects($tranche);
		}
	}
 
	// ---------------- utilitaires --------------------------------------------
 
	protected function extrait($index, $clefsOuNombre) {
		// Debug
		echo PHP_EOL . "---- extrait des données --" . PHP_EOL;
		if (is_array($clefsOuNombre)) {
			foreach ($clefsOuNombre as $k) {
				var_dump($index[$k]);
			}
		} else {
			for ($i=0; $i < $clefsOuNombre; $i++) {
				var_dump($index[$i]);
			}
		}
	}
 
	protected function connecterPDO() {
		Config::charger(dirname(__FILE__) . '/../../configurations/bdd.ini');
		try {
			$dsn = Config::get('bdd_type').':dbname='.Config::get('bdd_nom').';host='.
				Config::get('bdd_hote');
			$this->bdd = new PDO($dsn, Config::get('bdd_utilisateur'), Config::get('bdd_mot_de_passe'));
			// Passe en UTF-8 la connexion à la BDD
			$this->bdd->exec("SET NAMES 'utf8'");
			// Affiche les erreurs détectées par PDO (sinon mode silencieux => aucune erreur affiché)
			$this->bdd->setAttribute(PDO::ATTR_ERRMODE, PDO::ERRMODE_EXCEPTION);
		} catch (PDOException $e) {
			//print_r($e);
			echo 'La connexion à la base de données via PDO a échoué : ' . $e->getMessage() . PHP_EOL;
			exit;
		}
	}
 
	protected function requete($requete) {
		$infos = null;
		try {
			$infos = $this->bdd->query($requete, PDO::FETCH_ASSOC);
			/*if ($infos === false) {
				echo $requete;
			}*/
		} catch (PDOException $e) {
			echo sprintf($e->getFile(), $e->getLine(), $e->getMessage(), $e->getCode(), $requete);
		}
		return $infos;
	}
 
	/**
	 * Demande confirmation, et sort du script à moins qu'on tape ce qui est
	 * indiqué (par défaut "o" pour "oui")
	 */
	protected function confirmer($question='Continuer ?', $codeAcceptation='o', $messageAnnulation='annulation') {
		echo $question . ' ("' . $codeAcceptation . '" pour confirmer, autre chose pour annuler)' . PHP_EOL;
		$handle = fopen ("php://stdin","r");
		$line = fgets($handle);
		if(strtolower(trim($line)) != strtolower($codeAcceptation)) {
			echo $messageAnnulation . PHP_EOL;
			return false;
		}
		fclose($handle);
		return true;
	}
}
?>

Rev 383	Rev 385
1	`<?php`	1	`<?php`
2	`/**`	2	`/**`
3	`* Indexation dans Algolia des référentiels`	3	`* Indexation dans Algolia des référentiels`
4	`*`	4	`*`
5	`* Description : formate les données des référentiels choisis et envoie tout ça`	5	`* Description : formate les données des référentiels choisis et envoie tout ça`
6	`* dans Algolia`	6	`* dans Algolia`
7	`*`	7	`*`
8	`* Utilisation : php script.php algolia [-ref "ref1,ref2,..."]`	8	`* Utilisation : php script.php algolia [-ref "ref1,ref2,..."]`
9	`* -ref (optionnel): liste de codes de référentiels séparés par des virgules;`	9	`* -ref (optionnel): liste de codes de référentiels séparés par des virgules;`
10	`* par défaut: "apd,bdtfx,bdtxa,isfan"`	10	`* par défaut: "apd,bdtfx,bdtxa,isfan"`
11	`*`	11	`*`
12	`* Exemples:`	12	`* Exemples:`
13	`* php script.php algolia`	13	`* php script.php algolia`
14	`* php script.php algolia -ref "bdtfx,isfan"`	14	`* php script.php algolia -ref "bdtfx,isfan"`
15	`*`	15	`*`
16	`* @note: ignorer le paramètre fasciste -a : on ne s'en sert pas`	16	`* @note: ignorer le paramètre fasciste -a : on ne s'en sert pas`
17	`*`	17	`*`
18	`* @author Tela Botanica <equipe-dev@tela-botanica.org>`	18	`* @author Tela Botanica <equipe-dev@tela-botanica.org>`
19	`* @licence GPL v3 & CeCILL v2`	19	`* @licence GPL v3 & CeCILL v2`
20	`*/`	20	`*/`
21	`restore_error_handler();`	21	`restore_error_handler();`
22	`restore_exception_handler();`	22	`restore_exception_handler();`
23	`ini_set("display_errors","1");`	23	`ini_set("display_errors","1");`
24	`error_reporting(E_ALL);`	24	`error_reporting(E_ALL);`
25		25
26	`// composer autoload`	26	`// composer autoload`
27	`require dirname(__FILE__) . '/../../../vendor/autoload.php';`	27	`require dirname(__FILE__) . '/../../../vendor/autoload.php';`
28		28
29	`class Algolia extends ScriptCommande {`	29	`class Algolia extends ScriptCommande {`
30		30
31	`const SCRIPT_NOM = 'algolia';`	31	`const SCRIPT_NOM = 'algolia';`
32		32
33	`public $parametres = array(`	33	`public $parametres = array(`
34	`'-ref' => array(false, false, 'Celui qui lit ça est un con')`	34	`'-ref' => array(false, false, 'Celui qui lit ça est un con')`
35	`);`	35	`);`
36		36
37	`/** connexion PDO à la BDD "referentiels" */`	37	`/** connexion PDO à la BDD "referentiels" */`
38	`protected $bdd;`	38	`protected $bdd;`
39		39
40	`/** client API Algolia */`	40	`/** client API Algolia */`
41	`protected $algolia;`	41	`protected $algolia;`
42	`protected $indexAlgolia;`	42	`protected $indexAlgolia;`
43		43
44	`public function executer() {`	44	`public function executer() {`
45	`echo "Indexation des référentiels dans Algolia" . PHP_EOL;`	45	`echo "Indexation des référentiels dans Algolia" . PHP_EOL;`
46		46
47	`// Bibliothèque Algolia PHP pour appeler l'API`	47	`// Bibliothèque Algolia PHP pour appeler l'API`
48	`Config::charger(dirname(__FILE__) . '/algolia.ini');`	48	`Config::charger(dirname(__FILE__) . '/algolia.ini');`
49	`$this->algolia = new \AlgoliaSearch\Client(Config::get('algolia_application_id'), Config::get('algolia_api_key'));`	49	`$this->algolia = new \AlgoliaSearch\Client(Config::get('algolia_application_id'), Config::get('algolia_api_key'));`
50	`$this->indexAlgolia = $this->algolia->initIndex(Config::get('algolia_index'));`	50	`$this->indexAlgolia = $this->algolia->initIndex(Config::get('algolia_index'));`
51		51
52	`/*$settings = $this->indexAlgolia->getSettings();`	52	`/*$settings = $this->indexAlgolia->getSettings();`
53	`var_dump(json_encode($settings));`	53	`var_dump(json_encode($settings));`
54	`exit;*/`	54	`exit;*/`
-		55
-		56	`/*$idsexistants = $this->indexAlgolia->search("", array(`
-		57	`"attributesToRetrieve" => array(`
-		58	`"objectID"`
-		59	`)`
-		60	`));`
-		61	`var_dump(count($idsexistants));`
-		62	`var_dump($idsexistants);`
-		63	`exit;*/`
55		64
56	`// Réglages de l'index @TODO tenir à jour`	65	`// Réglages de l'index @TODO tenir à jour`
57	`if ($this->confirmer("Charger les réglages par défaut (index_settings.json) dans la configuration de l'index Algolia ?")) {`	66	`if ($this->confirmer("Charger les réglages par défaut (index_settings.json) dans la configuration de l'index Algolia ?")) {`
58	`// Chargement des réglages par défaut`	67	`// Chargement des réglages par défaut`
59	`$reglagesJson = file_get_contents(dirname(__FILE__) . '/index_settings.json');`	68	`$reglagesJson = file_get_contents(dirname(__FILE__) . '/index_settings.json');`
60	`$reglages = json_decode($reglagesJson, true);`	69	`$reglages = json_decode($reglagesJson, true);`
61	`$this->indexAlgolia->setSettings($reglages);`	70	`$this->indexAlgolia->setSettings($reglages);`
62	`echo "Réglages chargés dans Algolia" . PHP_EOL;`	71	`echo "Réglages chargés dans Algolia" . PHP_EOL;`
63	`}`	72	`}`
64		73
65	`// Connexion à la base`	74	`// Connexion à la base`
66	`$this->connecterPDO();`	75	`$this->connecterPDO();`
67		76
68	`// Liste des référentiels à fusionner`	77	`// Liste des référentiels à fusionner`
69	`$refsTexte = Config::get('algolia_referentiels');`	78	`$refsTexte = Config::get('algolia_referentiels');`
70	`$refs = explode(",", $refsTexte);`	79	`$refs = explode(",", $refsTexte);`
71		80
72	`// Liste des référentiels à mettre à jour`	81	`// Liste des référentiels à mettre à jour`
73	`$refsMajTexte = $this->getParam("ref");`	82	`$refsMajTexte = $this->getParam("ref");`
74	`if ($refsMajTexte === false) {`	83	`if ($refsMajTexte === false) {`
75	`// si le paramètre est vide, on met tout à jour`	84	`// si le paramètre est vide, on met tout à jour`
76	`$refsMaj = $refs;`	85	`$refsMaj = $refs;`
77	`} else {`	86	`} else {`
78	`$refsMaj = explode(",", $refsMajTexte);`	87	`$refsMaj = explode(",", $refsMajTexte);`
79	`}`	88	`}`
80		89
81	`// Déniaisage 1`	90	`// Déniaisage 1`
82	`foreach ($refs as $k => $r) {`	91	`foreach ($refs as $k => $r) {`
83	`$fichierRequete = dirname(__FILE__) . "/algolia_" . $r . ".sql";`	92	`$fichierRequete = dirname(__FILE__) . "/algolia_" . $r . ".sql";`
84	`if (! file_exists($fichierRequete)) {`	93	`if (! file_exists($fichierRequete)) {`
85	`echo "- fichier [$fichierRequete] non trouvé, fusion de [$r] ignorée" . PHP_EOL;`	94	`echo "- fichier [$fichierRequete] non trouvé, fusion de [$r] ignorée" . PHP_EOL;`
86	`unset($refs[$k]);`	95	`unset($refs[$k]);`
87	`}`	96	`}`
88	`}`	97	`}`
89	`if (empty($refs)) {`	98	`if (empty($refs)) {`
90	`echo "Aucun référentiel à fusionner" . PHP_EOL;`	99	`echo "Aucun référentiel à fusionner" . PHP_EOL;`
91	`exit;`	100	`exit;`
92	`}`	101	`}`
93		102
94	`// Déniaisage 2`	103	`// Déniaisage 2`
95	`foreach ($refsMaj as $k => $r) {`	104	`foreach ($refsMaj as $k => $r) {`
96	`if (! in_array($r, $refs)) {`	105	`if (! in_array($r, $refs)) {`
97	`echo "- le référentiel à mettre à jour [$r] n'est pas présent dans la liste à fusionner, il sera ignoré" . PHP_EOL;`	106	`echo "- le référentiel à mettre à jour [$r] n'est pas présent dans la liste à fusionner, il sera ignoré" . PHP_EOL;`
98	`unset($refsMaj[$k]);`	107	`unset($refsMaj[$k]);`
99	`}`	108	`}`
100	`}`	109	`}`
101	`if (empty($refsMaj)) {`	110	`if (empty($refsMaj)) {`
102	`echo "Aucun référentiel à mettre à jour" . PHP_EOL;`	111	`echo "Aucun référentiel à mettre à jour" . PHP_EOL;`
103	`exit;`	112	`exit;`
104	`}`	113	`}`
105		114
106	`// Confirmation`	115	`// Confirmation`
107	`if (! $this->confirmer("Fusion des référentiels [" . implode(',', $refs) . "] et mise à jour de [" . implode(',', $refsMaj) . "]. Continuer ?")) {`	116	`if (! $this->confirmer("Fusion des référentiels [" . implode(',', $refs) . "] et mise à jour de [" . implode(',', $refsMaj) . "]. Continuer ?")) {`
108	`exit;`	117	`exit;`
109	`}`	118	`}`
110		119
111	`//var_dump($refs);`	120	`//var_dump($refs);`
112	`$donneesBrutes = array();`	121	`$donneesBrutes = array();`
113	`// Exécution des requêtes pour chaque référentiel`	122	`// Exécution des requêtes pour chaque référentiel`
114	`foreach ($refs as $ref) {`	123	`foreach ($refs as $ref) {`
115	`$fichierRequete = dirname(__FILE__) . "/algolia_" . $ref . ".sql";`	124	`$fichierRequete = dirname(__FILE__) . "/algolia_" . $ref . ".sql";`
116	`// Exécution de la requête`	125	`// Exécution de la requête`
117	`$requete = file_get_contents($fichierRequete);`	126	`$requete = file_get_contents($fichierRequete);`
118	`$resultat = $this->requete($requete);`	127	`$resultat = $this->requete($requete);`
119	`/*while ($ligne = $resultat->fetch()) {`	128	`/*while ($ligne = $resultat->fetch()) {`
120	`var_dump($ligne);`	129	`var_dump($ligne);`
121	`break;`	130	`break;`
122	`}*/`	131	`}*/`
123	`$donneesBrutes[$ref] = $resultat->fetchAll();`	132	`$donneesBrutes[$ref] = $resultat->fetchAll();`
124		133
125	`// Info utilisation mémoire`	134	`// Info utilisation mémoire`
126	`$mem = memory_get_usage(true);`	135	`$mem = memory_get_usage(true);`
127	`$memMio = round($mem / (1024 * 1024));`	136	`$memMio = round($mem / (1024 * 1024));`
128	`echo "Mémoire utilisée : $memMio Mio" . PHP_EOL;`	137	`echo "Mémoire utilisée : $memMio Mio" . PHP_EOL;`
129	`}`	138	`}`
130		139
131	`// Fusion !`	140	`// Fusion !`
132	`$index = $this->fusionnerReferentiels($donneesBrutes);`	141	`$index = $this->fusionnerReferentiels($donneesBrutes);`
133	`//$this->extrait($index, array('Acacia dealbata Link','Acacia Mill.','Fabaceae'));`	142	`//$this->extrait($index, array('Acacia dealbata Link','Acacia Mill.','Fabaceae'));`
134		143
135	`// Mise en forme`	144	`// Mise en forme`
136	`$index = $this->mettreEnForme($index);`	145	`$index = $this->mettreEnForme($index);`
137	`//$this->extrait($index, 3);`	146	`//$this->extrait($index, 3);`
138		147
139	`// Stats`	148	`// Stats`
140	`$taille = count($index);`	149	`$taille = count($index);`
141	`echo "Taille de l'index: [$taille] lignes !" . PHP_EOL;`	150	`echo "Taille de l'index: [$taille] lignes !" . PHP_EOL;`
142	`//file_put_contents("couscous.json", json_encode($index));`	151	`//file_put_contents("couscous.json", json_encode($index));`
143		152
144	`// Calcul des différences ?`	153	`// Calcul des différences ?`
145	`// Insertion ?`	154	`// Insertion ?`
146	`$this->insererDansAlgolia($index);`	155	`$this->insererDansAlgolia($index);`
147		156
148	`// Info utilisation mémoire totale`	157	`// Info utilisation mémoire totale`
149	`$mem = memory_get_peak_usage(true);`	158	`$mem = memory_get_peak_usage(true);`
150	`$memMio = round($mem / (1024 * 1024));`	159	`$memMio = round($mem / (1024 * 1024));`
151	`echo "Mémoire maximale utilisée : $memMio Mio" . PHP_EOL;`	160	`echo "Mémoire maximale utilisée : $memMio Mio" . PHP_EOL;`
152	`}`	161	`}`
153		162
154	`/**`	163	`/**`
155	`* Génère un index unique pour Algolia à partir des données de n référentiels`	164	`* Génère un index unique pour Algolia à partir des données de n référentiels`
156	`*/`	165	`*/`
157	`protected function fusionnerReferentiels(&$donneesRefs) {`	166	`protected function fusionnerReferentiels(&$donneesRefs) {`
158	`$index = array();`	167	`$index = array();`
159	`foreach ($donneesRefs as $ref => &$d) {`	168	`foreach ($donneesRefs as $ref => &$d) {`
160	`$nbTaxons = count($d);`	169	`$nbTaxons = count($d);`
161	`echo "-- fusion du référentiel [$ref] : $nbTaxons taxons --" . PHP_EOL;`	170	`echo "-- fusion du référentiel [$ref] : $nbTaxons taxons --" . PHP_EOL;`
162		171
163	`$fusions = 0;`	172	`$fusions = 0;`
164	`foreach ($d as $taxon) {`	173	`foreach ($d as $taxon) {`
165	`$nomSci = $taxon[$ref . '_nom_sci'];`	174	`$nomSci = $taxon[$ref . '_nom_sci'];`
166	`//$nn = $taxon[$ref . '_num_nom'];`	175	`//$nn = $taxon[$ref . '_num_nom'];`
167	`// Ajout du nom d'auteur pour éviter les collisions dans un même référentiel`	176	`// Ajout du nom d'auteur pour éviter les collisions dans un même référentiel`
168	`if (! empty ($taxon[$ref . '_auteur'])) {`	177	`if (! empty ($taxon[$ref . '_auteur'])) {`
169	`$nomSci .= ' ' . $taxon[$ref . '_auteur'];`	178	`$nomSci .= ' ' . $taxon[$ref . '_auteur'];`
170	`}`	179	`}`
171		180
172	`// -- ÉLIMINATION DES NOMS SANS CORRESPONDANCE`	181	`// -- ÉLIMINATION DES NOMS SANS CORRESPONDANCE`
173	`if (empty($taxon[$ref . '_num_nom_retenu'])) {`	182	`if (empty($taxon[$ref . '_num_nom_retenu'])) {`
174	`//echo "XX élimination du nom sans correspondance : [$nomSci] (nn $nn)" . PHP_EOL;`	183	`//echo "XX élimination du nom sans correspondance : [$nomSci] (nn $nn)" . PHP_EOL;`
175	`continue;`	184	`continue;`
176	`}`	185	`}`
177		186
178	`if (! isset($index[$nomSci])) {`	187	`if (! isset($index[$nomSci])) {`
179	`$index[$nomSci] = array(`	188	`$index[$nomSci] = array(`
180	`'objectID' => $nomSci,`	189	`'objectID' => $nomSci,`
181	`'referentiels' => array()`	190	`'referentiels' => array()`
182	`);`	191	`);`
183	`} else {`	192	`} else {`
184	`//echo "> fusion sur [$nomSci] (nn $nn)" . PHP_EOL;`	193	`//echo "> fusion sur [$nomSci] (nn $nn)" . PHP_EOL;`
185	`$fusions++;`	194	`$fusions++;`
186	`}`	195	`}`
187	`$index[$nomSci] = array_merge($index[$nomSci], $taxon);`	196	`$index[$nomSci] = array_merge($index[$nomSci], $taxon);`
188	`$index[$nomSci]['referentiels'][] = $ref;`	197	`$index[$nomSci]['referentiels'][] = $ref;`
189	`//break;`	198	`//break;`
190	`}`	199	`}`
191	`$taille = count($index);`	200	`$taille = count($index);`
192	`echo "- taille de l'index après ajout de [$ref]: [$taille] lignes ($fusions fusions)" . PHP_EOL;`	201	`echo "- taille de l'index après ajout de [$ref]: [$taille] lignes ($fusions fusions)" . PHP_EOL;`
193	`}`	202	`}`
194	`return $index;`	203	`return $index;`
195	`}`	204	`}`
196		205
197	`/**`	206	`/**`
198	`* Organise les données de chaque objet conformément à la structure de`	207	`* Organise les données de chaque objet conformément à la structure de`
199	`* l'index Algolia`	208	`* l'index Algolia`
200	`*`	209	`*`
201	`* Voir commentaires sur cette page :`	210	`* Voir commentaires sur cette page :`
202	`* http://taiga.tela-botanica.net/project/mathias-site-web/task/75`	211	`* http://taiga.tela-botanica.net/project/mathias-site-web/task/75`
203	`*`	212	`*`
204	`* L'objectID est le MD5 de la "clef" (nom scientifique avec auteur)`	213	`* L'objectID est le MD5 de la "clef" (nom scientifique avec auteur)`
205	`*/`	214	`*/`
206	`protected function mettreEnForme($index) {`	215	`protected function mettreEnForme($index) {`
207	`$nouvelIndex = array();`	216	`$nouvelIndex = array();`
208	`foreach ($index as $nomSci => $taxon) {`	217	`foreach ($index as $nomSci => $taxon) {`
209	`$nouveauTaxon = array(`	218	`$nouveauTaxon = array(`
210	`'objectID' => md5($nomSci),`	219	`'objectID' => md5($nomSci),`
211	`'referentiels' => $taxon['referentiels']`	220	`'referentiels' => $taxon['referentiels']`
212	`);`	221	`);`
213	`foreach ($taxon['referentiels'] as $ref) {`	222	`foreach ($taxon['referentiels'] as $ref) {`
214	`// ingrédients`	223	`// ingrédients`
215	`$nn = $taxon[$ref . '_num_nom'];`	224	`$nn = $taxon[$ref . '_num_nom'];`
216	`$ns = $taxon[$ref . '_nom_sci'];`	225	`$ns = $taxon[$ref . '_nom_sci'];`
217	`$nts = $taxon[$ref . '_num_tax_sup'];`	226	`$nts = $taxon[$ref . '_num_tax_sup'];`
218	`$rang = $taxon[$ref . '_rang'];`	227	`$rang = $taxon[$ref . '_rang'];`
219	`$auteur = $taxon[$ref . '_auteur'];`	228	`$auteur = $taxon[$ref . '_auteur'];`
220	`$annee = $taxon[$ref . '_annee'];`	229	`$annee = $taxon[$ref . '_annee'];`
221	`$biblio = $taxon[$ref . '_biblio'];`	230	`$biblio = $taxon[$ref . '_biblio'];`
222	`$nom_supra_generique = $taxon[$ref . '_nom_supra_generique'];`	231	`$nom_supra_generique = $taxon[$ref . '_nom_supra_generique'];`
223	`$genre = $taxon[$ref . '_genre'];`	232	`$genre = $taxon[$ref . '_genre'];`
224	`$epithete_sp = $taxon[$ref . '_epithete_sp'];`	233	`$epithete_sp = $taxon[$ref . '_epithete_sp'];`
225	`$type_epithete = $taxon[$ref . '_type_epithete'];`	234	`$type_epithete = $taxon[$ref . '_type_epithete'];`
226	`$epithete_infra_sp = $taxon[$ref . '_epithete_infra_sp'];`	235	`$epithete_infra_sp = $taxon[$ref . '_epithete_infra_sp'];`
227	`$cultivar = $taxon[$ref . '_cultivar'];`	236	`$cultivar = $taxon[$ref . '_cultivar'];`
228	`$cultivar_groupe = $taxon[$ref . '_cultivar_groupe'];`	237	`$cultivar_groupe = $taxon[$ref . '_cultivar_groupe'];`
229	`$nomCommun = (isset($taxon[$ref . '_nom_francais']) ? $taxon[$ref . '_nom_francais'] : '');`	238	`$nomCommun = (isset($taxon[$ref . '_nom_francais']) ? $taxon[$ref . '_nom_francais'] : '');`
230	`$url = $taxon[$ref . '_url'];`	239	`$url = $taxon[$ref . '_url'];`
231	`$synonymes = json_decode($taxon[$ref . '_synonymes'], true);`	240	`$synonymes = json_decode($taxon[$ref . '_synonymes'], true);`
232	`$raccourcis = json_decode($taxon[$ref . '_shortcuts'], true);`	241	`$raccourcis = json_decode($taxon[$ref . '_shortcuts'], true);`
233	`$raccourcis = ($raccourcis != null ? array_values(array_unique($raccourcis)) : null); // array_values réindexe pour obtenir une liste en JSON et non un objet`	242	`$raccourcis = ($raccourcis != null ? array_values(array_unique($raccourcis)) : null); // array_values réindexe pour obtenir une liste en JSON et non un objet`
234	`// garniture`	243	`// garniture`
235	`$donneesRef = array(`	244	`$donneesRef = array(`
236	`'nomenclatural_number' => intval($nn),`	245	`'nomenclatural_number' => intval($nn),`
237	`'scientific_name' => $ns,`	246	`'scientific_name' => $ns,`
238	`'common_name' => $nomCommun,`	247	`'common_name' => $nomCommun,`
239	`'synonyms' => $synonymes,`	248	`'synonyms' => $synonymes,`
240	`'url' => $url,`	249	`'permalink' => $url,`
241	`'parent_taxon_number' => intval($nts),`	250	`'parent_taxon_number' => intval($nts),`
242	`'rank' => intval($rang),`	251	`'rank' => intval($rang),`
243	`'author' => $auteur,`	252	`'author' => $auteur,`
244	`'year' => intval($annee),`	253	`'year' => intval($annee),`
245	`'biblio' => $biblio,`	254	`'biblio' => $biblio,`
246	`'supra_genus_name' => $nom_supra_generique,`	255	`'supra_genus_name' => $nom_supra_generique,`
247	`'genus' => $genre,`	256	`'genus' => $genre,`
248	`'species_attribute' => $epithete_sp,`	257	`'species_attribute' => $epithete_sp,`
249	`'attribute_type' => $type_epithete,`	258	`'attribute_type' => $type_epithete,`
250	`'infra_species_attribute' => $epithete_infra_sp,`	259	`'infra_species_attribute' => $epithete_infra_sp,`
251	`'cultivar' => $cultivar,`	260	`'cultivar' => $cultivar,`
252	`'cultivar_groupe' => $cultivar_groupe`	261	`'cultivar_groupe' => $cultivar_groupe`
253	`);`	262	`);`
254	`$nouveauTaxon[$ref] = $donneesRef;`	263	`$nouveauTaxon[$ref] = $donneesRef;`
255	`$nouveauTaxon['shortcuts'] = $raccourcis;`	264	`$nouveauTaxon['shortcuts'] = $raccourcis;`
256	`}`	265	`}`
257	`$nouvelIndex[] = $nouveauTaxon;`	266	`$nouvelIndex[] = $nouveauTaxon;`
258	`}`	267	`}`
259	`return $nouvelIndex;`	268	`return $nouvelIndex;`
260	`}`	269	`}`
261		270
262	`/**`	271	`/**`
263	`* Appelle l'API Algolia pour indexer les données présentes dans $index, par`	272	`* Appelle l'API Algolia pour indexer les données présentes dans $index, par`
264	`* tranches.`	273	`* tranches.`
265	`*/`	274	`*/`
266	`protected function insererDansAlgolia(&$index) {`	275	`protected function insererDansAlgolia(&$index) {`
267	`$tailleTranche = 5000;`	276	`$tailleTranche = 5000;`
268	`echo "++++ Insertion dans Algolia (" . count($index) . " objets) !! ++++" . PHP_EOL;`	277	`echo "++++ Insertion dans Algolia (" . count($index) . " objets) !! ++++" . PHP_EOL;`
269	`// insertion par tranches pour éviter un timeout sur l'API Algolia`	278	`// insertion par tranches pour éviter un timeout sur l'API Algolia`
270	`while (count($index) > 0) {`	279	`while (count($index) > 0) {`
271	`echo "++ insertion d'une tranche de $tailleTranche... (" . count($index) . " restant)" . PHP_EOL;`	280	`echo "++ insertion d'une tranche de $tailleTranche... (" . count($index) . " restant)" . PHP_EOL;`
272	`$tranche = array_splice($index, 0, $tailleTranche);`	281	`$tranche = array_splice($index, 0, $tailleTranche);`
273	`//var_dump($tranche);`	282	`//var_dump($tranche);`
274	`$this->indexAlgolia->addObjects($tranche);`	283	`$this->indexAlgolia->addObjects($tranche);`
275	`}`	284	`}`
276	`}`	285	`}`
277		286
278	`// ---------------- utilitaires --------------------------------------------`	287	`// ---------------- utilitaires --------------------------------------------`
279		288
280	`protected function extrait($index, $clefsOuNombre) {`	289	`protected function extrait($index, $clefsOuNombre) {`
281	`// Debug`	290	`// Debug`
282	`echo PHP_EOL . "---- extrait des données --" . PHP_EOL;`	291	`echo PHP_EOL . "---- extrait des données --" . PHP_EOL;`
283	`if (is_array($clefsOuNombre)) {`	292	`if (is_array($clefsOuNombre)) {`
284	`foreach ($clefsOuNombre as $k) {`	293	`foreach ($clefsOuNombre as $k) {`
285	`var_dump($index[$k]);`	294	`var_dump($index[$k]);`
286	`}`	295	`}`
287	`} else {`	296	`} else {`
288	`for ($i=0; $i < $clefsOuNombre; $i++) {`	297	`for ($i=0; $i < $clefsOuNombre; $i++) {`
289	`var_dump($index[$i]);`	298	`var_dump($index[$i]);`
290	`}`	299	`}`
291	`}`	300	`}`
292	`}`	301	`}`
293		302
294	`protected function connecterPDO() {`	303	`protected function connecterPDO() {`
295	`Config::charger(dirname(__FILE__) . '/../../configurations/bdd.ini');`	304	`Config::charger(dirname(__FILE__) . '/../../configurations/bdd.ini');`
296	`try {`	305	`try {`
297	`$dsn = Config::get('bdd_type').':dbname='.Config::get('bdd_nom').';host='.`	306	`$dsn = Config::get('bdd_type').':dbname='.Config::get('bdd_nom').';host='.`
298	`Config::get('bdd_hote');`	307	`Config::get('bdd_hote');`
299	`$this->bdd = new PDO($dsn, Config::get('bdd_utilisateur'), Config::get('bdd_mot_de_passe'));`	308	`$this->bdd = new PDO($dsn, Config::get('bdd_utilisateur'), Config::get('bdd_mot_de_passe'));`
300	`// Passe en UTF-8 la connexion à la BDD`	309	`// Passe en UTF-8 la connexion à la BDD`
301	`$this->bdd->exec("SET NAMES 'utf8'");`	310	`$this->bdd->exec("SET NAMES 'utf8'");`
302	`// Affiche les erreurs détectées par PDO (sinon mode silencieux => aucune erreur affiché)`	311	`// Affiche les erreurs détectées par PDO (sinon mode silencieux => aucune erreur affiché)`
303	`$this->bdd->setAttribute(PDO::ATTR_ERRMODE, PDO::ERRMODE_EXCEPTION);`	312	`$this->bdd->setAttribute(PDO::ATTR_ERRMODE, PDO::ERRMODE_EXCEPTION);`
304	`} catch (PDOException $e) {`	313	`} catch (PDOException $e) {`
305	`//print_r($e);`	314	`//print_r($e);`
306	`echo 'La connexion à la base de données via PDO a échoué : ' . $e->getMessage() . PHP_EOL;`	315	`echo 'La connexion à la base de données via PDO a échoué : ' . $e->getMessage() . PHP_EOL;`
307	`exit;`	316	`exit;`
308	`}`	317	`}`
309	`}`	318	`}`
310		319
311	`protected function requete($requete) {`	320	`protected function requete($requete) {`
312	`$infos = null;`	321	`$infos = null;`
313	`try {`	322	`try {`
314	`$infos = $this->bdd->query($requete, PDO::FETCH_ASSOC);`	323	`$infos = $this->bdd->query($requete, PDO::FETCH_ASSOC);`
315	`/*if ($infos === false) {`	324	`/*if ($infos === false) {`
316	`echo $requete;`	325	`echo $requete;`
317	`}*/`	326	`}*/`
318	`} catch (PDOException $e) {`	327	`} catch (PDOException $e) {`
319	`echo sprintf($e->getFile(), $e->getLine(), $e->getMessage(), $e->getCode(), $requete);`	328	`echo sprintf($e->getFile(), $e->getLine(), $e->getMessage(), $e->getCode(), $requete);`
320	`}`	329	`}`
321	`return $infos;`	330	`return $infos;`
322	`}`	331	`}`
323		332
324	`/**`	333	`/**`
325	`* Demande confirmation, et sort du script à moins qu'on tape ce qui est`	334	`* Demande confirmation, et sort du script à moins qu'on tape ce qui est`
326	`* indiqué (par défaut "o" pour "oui")`	335	`* indiqué (par défaut "o" pour "oui")`
327	`*/`	336	`*/`
328	`protected function confirmer($question='Continuer ?', $codeAcceptation='o', $messageAnnulation='annulation') {`	337	`protected function confirmer($question='Continuer ?', $codeAcceptation='o', $messageAnnulation='annulation') {`
329	`echo $question . ' ("' . $codeAcceptation . '" pour confirmer, autre chose pour annuler)' . PHP_EOL;`	338	`echo $question . ' ("' . $codeAcceptation . '" pour confirmer, autre chose pour annuler)' . PHP_EOL;`
330	`$handle = fopen ("php://stdin","r");`	339	`$handle = fopen ("php://stdin","r");`
331	`$line = fgets($handle);`	340	`$line = fgets($handle);`
332	`if(strtolower(trim($line)) != strtolower($codeAcceptation)) {`	341	`if(strtolower(trim($line)) != strtolower($codeAcceptation)) {`
333	`echo $messageAnnulation . PHP_EOL;`	342	`echo $messageAnnulation . PHP_EOL;`
334	`return false;`	343	`return false;`
335	`}`	344	`}`
336	`fclose($handle);`	345	`fclose($handle);`
337	`return true;`	346	`return true;`
338	`}`	347	`}`
339	`}`	348	`}`
340	`?>`	349	`?>`

Subversion Repositories Applications.referentiel

(root)/trunk/scripts/modules/algolia/Algolia.php – Rev 383 → 385