Subversion Repositories Applications.referentiel

<?php

/**

 * Indexation dans Algolia des référentiels

 *

 * Description : formate les données des référentiels choisis et envoie tout ça

 * dans Algolia

 *

 * Utilisation : php script.php algolia [-ref "ref1,ref2,..."]

 *   -ref (optionnel): liste de codes de référentiels séparés par des virgules;

 *                     par défaut: "apd,bdtfx,bdtxa,isfan"

 *

 * Exemples:

 *   php script.php algolia

 *   php script.php algolia -ref "bdtfx,isfan"

 *

 * @note: ignorer le paramètre fasciste -a : on ne s'en sert pas

 *

 * @author       Tela Botanica <equipe-dev@tela-botanica.org>

 * @licence		GPL v3 & CeCILL v2

 */

restore_error_handler();

restore_exception_handler();

ini_set("display_errors","1");

error_reporting(E_ALL);

// composer autoload

require dirname(__FILE__) . '/../../../vendor/autoload.php';

class Algolia extends ScriptCommande {

	const SCRIPT_NOM = 'algolia';

	public $parametres = array(

		'-ref' => array(false, false, 'Celui qui lit ça est un con'),

		'-update' => array(false, false, 'Timestamp de la dernière mise à jour (YYYY-MM-DD)')

	);

	/** connexion PDO à la BDD "referentiels" */

	protected $bdd;

	/** client API Algolia */

	protected $algolia;

	protected $indexAlgolia;

	public function executer() {

		echo "Indexation des référentiels dans Algolia" . PHP_EOL;

		// Bibliothèque Algolia PHP pour appeler l'API

		Config::charger(dirname(__FILE__) . '/algolia.ini');

		$this->algolia = new \AlgoliaSearch\Client(Config::get('algolia_application_id'), Config::get('algolia_api_key'));

		$this->indexAlgolia = $this->algolia->initIndex(Config::get('algolia_index'));

		// pour obtenir facilement la config existante et la répercuter dans

		// index_settings.json

		/*$settings = $this->indexAlgolia->getSettings();

		var_dump(json_encode($settings));

		exit;*/

		/*$idsexistants = $this->indexAlgolia->search("", array(

			"attributesToRetrieve" => array(

				"objectID"

			)

		));

		var_dump(count($idsexistants));

		var_dump($idsexistants);

		exit;*/

		if ($this->getParam('update')) {

			$this->miseAJourPartielle($this->getParam('update'));

		}

		// Réglages de l'index @TODO tenir à jour

		if ($this->confirmer("Charger les réglages par défaut (index_settings.json) dans la configuration de l'index Algolia ?")) {

			// Chargement des réglages par défaut

			$reglagesJson = file_get_contents(dirname(__FILE__) . '/index_settings.json');

			$reglages = json_decode($reglagesJson, true);

			$this->indexAlgolia->setSettings($reglages);

			echo "Réglages chargés dans Algolia" . PHP_EOL;

		}

		// Connexion à la base

		$this->connecterPDO();

		// Liste des référentiels à fusionner

		$refsTexte = Config::get('algolia_referentiels');

		$refs = explode(",", $refsTexte);

		// Liste des référentiels à mettre à jour

		$refsMajTexte = $this->getParam("ref");

		if ($refsMajTexte === false) {

			// si le paramètre est vide, on met tout à jour

			$refsMaj = $refs;

		} else {

			$refsMaj = explode(",", $refsMajTexte);

		}

		// Déniaisage 1

		foreach ($refs as $k => $r) {

			$fichierRequete = dirname(__FILE__) . "/algolia_" . $r . ".sql";

			if (! file_exists($fichierRequete)) {

				echo "- fichier [$fichierRequete] non trouvé, fusion de [$r] ignorée" . PHP_EOL;

				unset($refs[$k]);

			}

		}

		if (empty($refs)) {

			echo "Aucun référentiel à fusionner" . PHP_EOL;

			exit;

		}

		// Déniaisage 2

		foreach ($refsMaj as $k => $r) {

			if (! in_array($r, $refs)) {

				echo "- le référentiel à mettre à jour [$r] n'est pas présent dans la liste à fusionner, il sera ignoré" . PHP_EOL;

				unset($refsMaj[$k]);

			}

		}

		if (empty($refsMaj)) {

			echo "Aucun référentiel à mettre à jour" . PHP_EOL;

			exit;

		}

		// Confirmation

		if (! $this->confirmer("Fusion des référentiels [" . implode(',', $refs) . "] et mise à jour de [" . implode(',', $refsMaj) . "]. Continuer ?")) {

			exit;

		}

		//var_dump($refs);

		$donneesBrutes = array();

		// Exécution des requêtes pour chaque référentiel

		foreach ($refs as $ref) {

			$fichierRequete = dirname(__FILE__) . "/algolia_" . $ref . ".sql";

			// Exécution de la requête

			$requete = file_get_contents($fichierRequete);

			$resultat = $this->requete($requete);

			$donneesBrutes[$ref] = $resultat->fetchAll();

			// Info utilisation mémoire

			$mem = memory_get_usage(true);

			$memMio = round($mem / (1024 * 1024));

			echo "Mémoire utilisée : $memMio Mio" . PHP_EOL;

		}

		// Fusion !

		$index = $this->fusionnerReferentiels($donneesBrutes);

		//$this->extrait($index, array('Acacia dealbata Link','Acacia Mill.','Fabaceae'));

		// Mise en forme

		$index = $this->mettreEnForme($index);

		//$this->extrait($index, 100);

		// Stats

		$taille = count($index);

		echo "Taille de l'index: [$taille] lignes !" . PHP_EOL;

		//file_put_contents("couscous.json", json_encode($index));

		// Calcul des différences ?

		// @TODO bonjour la galère

		// Insertion ?

		if (! $this->confirmer("Prêt à insérer dans l'index Algolia [" . Config::get('algolia_index') . "]. Continuer ?")) {

			exit;

		}

		$this->insererDansAlgolia($index);

		// Info utilisation mémoire totale

		$mem = memory_get_peak_usage(true);

		$memMio = round($mem / (1024 * 1024));

		echo "Mémoire maximale utilisée : $memMio Mio" . PHP_EOL;

	}

	/**

	 * Génère un index unique pour Algolia à partir des données de n référentiels

	 */

	protected function fusionnerReferentiels(&$donneesRefs) {

		$index = array();

		foreach ($donneesRefs as $ref => &$d) {

			$nbTaxons = count($d);

			echo "-- fusion du référentiel [$ref] : $nbTaxons taxons --" . PHP_EOL;

			$fusions = 0;

			foreach ($d as $taxon) {

				// debug

				/*if ($taxon[$ref . '_num_nom'] == 141) {

					echo "> Taxon 141 :" . PHP_EOL;

					var_dump($taxon);

					echo PHP_EOL;

				}*/

				$nomSci = $taxon[$ref . '_nom_sci'];

				//$nn = $taxon[$ref . '_num_nom'];

				// Ajout du nom d'auteur pour éviter les collisions dans un même référentiel

				if (! empty ($taxon[$ref . '_auteur'])) {

					$nomSci .= ' ' . $taxon[$ref . '_auteur'];

				}

				// -- ÉLIMINATION DES NOMS SANS CORRESPONDANCE

				if (empty($taxon[$ref . '_num_nom_retenu'])) {

					//echo "XX élimination du nom sans correspondance : [$nomSci] (nn $nn)" . PHP_EOL;

					continue;

				}

				if (! isset($index[$nomSci])) {

					$index[$nomSci] = array(

						'objectID' => $nomSci,

						'referentiels' => array()

					);

				} else {

					//echo "> fusion sur [$nomSci] (nn $nn)" . PHP_EOL;

					$fusions++;

				}

				$index[$nomSci] = array_merge($index[$nomSci], $taxon);

				$index[$nomSci]['referentiels'][] = $ref;

				//break;

			}

			$taille = count($index);

			echo "- taille de l'index après ajout de [$ref]: [$taille] lignes ($fusions fusions)" . PHP_EOL;

		}

		return $index;

	}

	/**

	 * Organise les données de chaque objet conformément à la structure de

	 * l'index Algolia

	 *

	 * Voir commentaires sur cette page :

	 * http://taiga.tela-botanica.net/project/mathias-site-web/task/75

	 *

	 * L'objectID est le MD5 de la "clef" (nom scientifique avec auteur)

	 */

	protected function mettreEnForme($index) {

		$nouvelIndex = array();

		foreach ($index as $nomSci => $taxon) {

			$nouveauTaxon = array(

				'objectID' => md5($nomSci),

				'referentiels' => $taxon['referentiels']

			);

			foreach ($taxon['referentiels'] as $ref) {

				// ingrédients

				$nn = $taxon[$ref . '_num_nom'];

				$ns = $taxon[$ref . '_nom_sci'];

				$nts = $taxon[$ref . '_num_tax_sup'];

				$rang = $taxon[$ref . '_rang'];

				$auteur = $taxon[$ref . '_auteur'];

				$annee = $taxon[$ref . '_annee'];

				$biblio = $taxon[$ref . '_biblio'];

				$nom_supra_generique = $taxon[$ref . '_nom_supra_generique'];

				$genre = $taxon[$ref . '_genre'];

				$epithete_sp = $taxon[$ref . '_epithete_sp'];

				$type_epithete = $taxon[$ref . '_type_epithete'];

				$epithete_infra_sp = $taxon[$ref . '_epithete_infra_sp'];

				$cultivar = $taxon[$ref . '_cultivar'];

				$cultivar_groupe = $taxon[$ref . '_cultivar_groupe'];

				$nomCommun = (isset($taxon[$ref . '_nom_francais']) ? $taxon[$ref . '_nom_francais'] : '');

				$url = $taxon[$ref . '_url'];

				$synonymes = json_decode($taxon[$ref . '_synonymes'], true);

				// debug synonymes tronqués (group_concat limité en longueur)

				/*if ($nn == 141) {

					echo ">> Synonymes bruts: [" . $taxon[$ref . '_synonymes'] . "]" . PHP_EOL;

					echo ">> Synonymes décodés: [" . print_r($synonymes, true) . "]" . PHP_EOL;

					exit;

				}*/

				$raccourcis = json_decode($taxon[$ref . '_shortcuts'], true);

				$raccourcis = ($raccourcis != null ? array_values(array_unique($raccourcis)) : null); // array_values réindexe pour obtenir une liste en JSON et non un objet

				// garniture

				$donneesRef = array(

					'nomenclatural_number' => intval($nn),

					'scientific_name' => $ns,

					'common_name' => $nomCommun,

					'synonyms' => $synonymes,

					'permalink' => $url,

					'parent_taxon_number' => intval($nts),

					'rank' => intval($rang),

					'author' => $auteur,

					'year' => intval($annee),

					'biblio' => $biblio,

					'supra_genus_name' => $nom_supra_generique,

					'genus' => $genre,

					'species_attribute' => $epithete_sp,

					'attribute_type' => $type_epithete,

					'infra_species_attribute' => $epithete_infra_sp,

					'cultivar' => $cultivar,

					'cultivar_groupe' => $cultivar_groupe

				);

				// dans le cas de BDTFX, ajout de l'illustration de Coste et de

				// la carte Chorodep pour illustrer les résultats de recherche

				if (Config::get("activer_image_cel") == "1") {

					$this->ajouterImagesEflore($nn, $donneesRef);

				}

				$nouveauTaxon[$ref] = $donneesRef;

				$nouveauTaxon['shortcuts'] = $raccourcis;

			}

			$nouvelIndex[] = $nouveauTaxon;

		}

		return $nouvelIndex;

	}

	/**

	 * Interroge le service eFlore pour récupérer l'illustration de Coste pour

	 * le nn en cours, ainsi que les meilleures images d'eFlore et ajoute une

	 * URL pour obtenir la carte de répartition de Chorodep

	 */

	protected function ajouterImagesEflore($nn, &$donnees) {

		// carte de répartition - le service renvoie directement une image

		$donnees['thumbnails']['chorodep'] = sprintf(Config::get('url_template_chorodep'), $nn);

		// Coste

		$retour = @file_get_contents($sprintf(Config::get('url_template_coste'), $nn));

		if ($retour) {

			try {

				$infosCoste = json_decode($retour, true);

				if (! empty($infosCoste['resultats']) && is_array($infosCoste['resultats'])) {

					$res1 = array_shift($infosCoste['resultats']);

					if (is_array($res1) && ! empty($res1['binaire.href'])) {

						$donnees['thumbnails']['coste'] = $res1['binaire.href'];

					}

				}

			} catch (Exception $ex) {

				// pas de bol

			}

		}

		// CEL

		$retour = @file_get_contents($sprintf(Config::get('url_template_cel'), $nn));

		if ($retour) {

			try {

				$infosCel = json_decode($retour, true);

				if (! empty($infosCel['resultat']) && is_array($infosCel['resultat'])) {

					foreach($infosCel['resultat'] as $organe => $imageSrc) {

						$donnees['thumbnails']['cel'][$organe] = $imageSrc;

					}

				}

			} catch (Exception $ex) {

				// pas de bol

			}

		}

		// debug

		/*echo ">> nn : [$nn]" . PHP_EOL;

		echo ">> image Coste : [" . $donnees['thumbnails']['coste'] . "]" . PHP_EOL;

		echo ">> carte Chorodep : [" . $donnees['thumbnails']['chorodep'] . "]" . PHP_EOL;

		echo ">> images CeL :" . PHP_EOL;

		var_dump($donnees['thumbnails']['cel'])*/

	}

	/**

	 * Appelle l'API Algolia pour indexer les données présentes dans $index, par

	 * tranches.

	 */

	protected function insererDansAlgolia(&$index) {

		$tailleTranche = 5000;

		echo "++++ Insertion dans Algolia (" . count($index) . " objets) !! ++++" . PHP_EOL;

		// insertion par tranches pour éviter un timeout sur l'API Algolia

		while (count($index) > 0) {

			echo "++ insertion d'une tranche de $tailleTranche... (" . count($index) . " restant)" . PHP_EOL;

			$tranche = array_splice($index, 0, $tailleTranche);

			//var_dump($tranche);

			$this->indexAlgolia->addObjects($tranche);

		}

	}

	/**

	 * Met à jour les images d'illustration

	 */

	protected function miseAJourPartielle($date) {

		try {

			$date = new DateTime($date);

			$date = $date->format('Y-m-d');

		} catch (Exception $e) {

			die($e->getMessage());

		}

		// récupération des nn mis à jour

        $this->connecterPDO('agathis_');

		$sql = 'SELECT DISTINCT nn FROM del_image_top WHERE date_vote > ' . $date . ';';

		$requete = $this->requete($sql);

		$nns = $requete->fetchAll();

		// var_dump($nns); die();

		$donnees = array();

		foreach ($nns as $nn) {

			// récup des infos depuis le service d'images du cel

			$retour = @file_get_contents($sprintf(Config::get('url_template_cel'), $nn));

			if ($retour) {

				try {

					$infosCel = json_decode($retour, true);

					if (! empty($infosCel['resultat']) && is_array($infosCel['resultat'])) {

						foreach($infosCel['resultat'] as $organe => $imageSrc) {

							$donnees[$nn]['thumbnails']['cel'][$organe] = $imageSrc;

						}

						// var_dump($donnees); die();

						$response = $this->indexAlgolia->getObjects([$nn], ['objectID', 'nomenclatural_number', 'thumbnails']);

						$response = json_decode($response, true);

						// var_dump($response); die();

						if (isset($response['results'])) {

							$results = array_reduce($response['results'], function($carry, $item) use ($nn) {

								if ($item['nomenclatural_number'] == $nn) {

									$carry[] = $item;

								}

								return $carry;

							});

							// var_dump($results); die();

							if (count($results) == 1) {

								unset($results['thumbnails']['cel']);

								$results = array_merge($results, $donnees[$nn]);

								$this->indexAlgolia->partialUpdateObject([

									'thumbnails' => $results['thumbnails'],

									'objectID' => $results['objectID']

								]);

							}

						}

					}

				} catch (Exception $e) {

					die(var_dump($e));

				}

			}

		}

	}

	// ---------------- utilitaires --------------------------------------------

	protected function extrait($index, $clefsOuNombre) {

		// Debug

		echo PHP_EOL . "---- extrait des données --" . PHP_EOL;

		if (is_array($clefsOuNombre)) {

			foreach ($clefsOuNombre as $k) {

				var_dump($index[$k]);

			}

		} else {

			for ($i=0; $i < $clefsOuNombre; $i++) {

				var_dump($index[$i]);

			}

		}

	}

	protected function connecterPDO($base = '') {

		Config::charger(dirname(__FILE__) . '/../../configurations/bdd.ini');

		try {

			$dsn = Config::get($base . 'bdd_type').':dbname='.Config::get($base . 'bdd_nom').';host='.

				Config::get($base . 'bdd_hote');

			$this->bdd = new PDO($dsn, Config::get($base . 'bdd_utilisateur'), Config::get($base . 'bdd_mot_de_passe'));

			// Passe en UTF-8 la connexion à la BDD

			$this->bdd->exec("SET NAMES 'utf8'");

			// Affiche les erreurs détectées par PDO (sinon mode silencieux => aucune erreur affiché)

			$this->bdd->setAttribute(PDO::ATTR_ERRMODE, PDO::ERRMODE_EXCEPTION);

		} catch (PDOException $e) {

			//print_r($e);

			echo 'La connexion à la base de données via PDO a échoué : ' . $e->getMessage() . PHP_EOL;

			exit;

		}

	}

	protected function requete($requete) {

		$infos = null;

		try {

			$infos = $this->bdd->query($requete, PDO::FETCH_ASSOC);

			/*if ($infos === false) {

				echo $requete;

			}*/

		} catch (PDOException $e) {

			echo sprintf($e->getFile(), $e->getLine(), $e->getMessage(), $e->getCode(), $requete);

		}

		return $infos;

	}

	/**

	 * Demande confirmation, et sort du script à moins qu'on tape ce qui est

	 * indiqué (par défaut "o" pour "oui")

	 */

	protected function confirmer($question='Continuer ?', $codeAcceptation='o', $messageAnnulation='annulation') {

		echo $question . ' ("' . $codeAcceptation . '" pour confirmer, autre chose pour annuler)' . PHP_EOL;

		$handle = fopen ("php://stdin","r");

		$line = fgets($handle);

		if(strtolower(trim($line)) != strtolower($codeAcceptation)) {

			echo $messageAnnulation . PHP_EOL;

			return false;

		}

		fclose($handle);

		return true;

	}

}

?>