| 1 |
<?php
|
1 |
<?php
|
| 2 |
/**
|
2 |
/**
|
| 3 |
* Indexation dans Algolia des référentiels
|
3 |
* Indexation dans Algolia des référentiels
|
| 4 |
*
|
4 |
*
|
| 5 |
* Description : formate les données des référentiels choisis et envoie tout ça
|
5 |
* Description : formate les données des référentiels choisis et envoie tout ça
|
| 6 |
* dans Algolia
|
6 |
* dans Algolia
|
| 7 |
*
|
7 |
*
|
| 8 |
* Utilisation : php script.php algolia [-ref "ref1,ref2,..."]
|
8 |
* Utilisation : php script.php algolia [-ref "ref1,ref2,..."]
|
| 9 |
* -ref (optionnel): liste de codes de référentiels séparés par des virgules;
|
9 |
* -ref (optionnel): liste de codes de référentiels séparés par des virgules;
|
| 10 |
* par défaut: "apd,bdtfx,bdtxa,isfan"
|
10 |
* par défaut: "apd,bdtfx,bdtxa,isfan"
|
| 11 |
*
|
11 |
*
|
| 12 |
* Exemples:
|
12 |
* Exemples:
|
| 13 |
* php script.php algolia
|
13 |
* php script.php algolia
|
| 14 |
* php script.php algolia -ref "bdtfx,isfan"
|
14 |
* php script.php algolia -ref "bdtfx,isfan"
|
| 15 |
*
|
15 |
*
|
| 16 |
* @note: ignorer le paramètre fasciste -a : on ne s'en sert pas
|
16 |
* @note: ignorer le paramètre fasciste -a : on ne s'en sert pas
|
| 17 |
*
|
17 |
*
|
| 18 |
* @author Tela Botanica <equipe-dev@tela-botanica.org>
|
18 |
* @author Tela Botanica <equipe-dev@tela-botanica.org>
|
| 19 |
* @licence GPL v3 & CeCILL v2
|
19 |
* @licence GPL v3 & CeCILL v2
|
| 20 |
*/
|
20 |
*/
|
| 21 |
restore_error_handler();
|
21 |
restore_error_handler();
|
| 22 |
restore_exception_handler();
|
22 |
restore_exception_handler();
|
| 23 |
ini_set("display_errors","1");
|
23 |
ini_set("display_errors","1");
|
| 24 |
error_reporting(E_ALL);
|
24 |
error_reporting(E_ALL);
|
| 25 |
|
25 |
|
| 26 |
// composer autoload
|
26 |
// composer autoload
|
| 27 |
require dirname(__FILE__) . '/../../../vendor/autoload.php';
|
27 |
require dirname(__FILE__) . '/../../../vendor/autoload.php';
|
| 28 |
|
28 |
|
| 29 |
class Algolia extends ScriptCommande {
|
29 |
class Algolia extends ScriptCommande {
|
| 30 |
|
30 |
|
| 31 |
const SCRIPT_NOM = 'algolia';
|
31 |
const SCRIPT_NOM = 'algolia';
|
| 32 |
|
32 |
|
| 33 |
public $parametres = array(
|
33 |
public $parametres = array(
|
| 34 |
'-ref' => array(false, false, 'Celui qui lit ça est un con')
|
34 |
'-ref' => array(false, false, 'Celui qui lit ça est un con')
|
| 35 |
);
|
35 |
);
|
| 36 |
|
36 |
|
| 37 |
/** connexion PDO à la BDD "referentiels" */
|
37 |
/** connexion PDO à la BDD "referentiels" */
|
| 38 |
protected $bdd;
|
38 |
protected $bdd;
|
| 39 |
|
39 |
|
| 40 |
/** client API Algolia */
|
40 |
/** client API Algolia */
|
| 41 |
protected $algolia;
|
41 |
protected $algolia;
|
| 42 |
protected $indexAlgolia;
|
42 |
protected $indexAlgolia;
|
| 43 |
|
43 |
|
| 44 |
public function executer() {
|
44 |
public function executer() {
|
| 45 |
echo "Indexation des référentiels dans Algolia" . PHP_EOL;
|
45 |
echo "Indexation des référentiels dans Algolia" . PHP_EOL;
|
| 46 |
|
46 |
|
| 47 |
// Bibliothèque Algolia PHP pour appeler l'API
|
47 |
// Bibliothèque Algolia PHP pour appeler l'API
|
| 48 |
Config::charger(dirname(__FILE__) . '/algolia.ini');
|
48 |
Config::charger(dirname(__FILE__) . '/algolia.ini');
|
| 49 |
$this->algolia = new \AlgoliaSearch\Client(Config::get('algolia_application_id'), Config::get('algolia_api_key'));
|
49 |
$this->algolia = new \AlgoliaSearch\Client(Config::get('algolia_application_id'), Config::get('algolia_api_key'));
|
| 50 |
$this->indexAlgolia = $this->algolia->initIndex(Config::get('algolia_index'));
|
50 |
$this->indexAlgolia = $this->algolia->initIndex(Config::get('algolia_index'));
|
| 51 |
|
51 |
|
| 52 |
/*$settings = $this->indexAlgolia->getSettings();
|
52 |
/*$settings = $this->indexAlgolia->getSettings();
|
| 53 |
var_dump(json_encode($settings));
|
53 |
var_dump(json_encode($settings));
|
| 54 |
exit;*/
|
54 |
exit;*/
|
| 55 |
|
55 |
|
| 56 |
/*$idsexistants = $this->indexAlgolia->search("", array(
|
56 |
/*$idsexistants = $this->indexAlgolia->search("", array(
|
| 57 |
"attributesToRetrieve" => array(
|
57 |
"attributesToRetrieve" => array(
|
| 58 |
"objectID"
|
58 |
"objectID"
|
| 59 |
)
|
59 |
)
|
| 60 |
));
|
60 |
));
|
| 61 |
var_dump(count($idsexistants));
|
61 |
var_dump(count($idsexistants));
|
| 62 |
var_dump($idsexistants);
|
62 |
var_dump($idsexistants);
|
| 63 |
exit;*/
|
63 |
exit;*/
|
| 64 |
|
64 |
|
| 65 |
// Réglages de l'index @TODO tenir à jour
|
65 |
// Réglages de l'index @TODO tenir à jour
|
| 66 |
if ($this->confirmer("Charger les réglages par défaut (index_settings.json) dans la configuration de l'index Algolia ?")) {
|
66 |
if ($this->confirmer("Charger les réglages par défaut (index_settings.json) dans la configuration de l'index Algolia ?")) {
|
| 67 |
// Chargement des réglages par défaut
|
67 |
// Chargement des réglages par défaut
|
| 68 |
$reglagesJson = file_get_contents(dirname(__FILE__) . '/index_settings.json');
|
68 |
$reglagesJson = file_get_contents(dirname(__FILE__) . '/index_settings.json');
|
| 69 |
$reglages = json_decode($reglagesJson, true);
|
69 |
$reglages = json_decode($reglagesJson, true);
|
| 70 |
$this->indexAlgolia->setSettings($reglages);
|
70 |
$this->indexAlgolia->setSettings($reglages);
|
| 71 |
echo "Réglages chargés dans Algolia" . PHP_EOL;
|
71 |
echo "Réglages chargés dans Algolia" . PHP_EOL;
|
| 72 |
}
|
72 |
}
|
| 73 |
|
73 |
|
| 74 |
// Connexion à la base
|
74 |
// Connexion à la base
|
| 75 |
$this->connecterPDO();
|
75 |
$this->connecterPDO();
|
| 76 |
|
76 |
|
| 77 |
// Liste des référentiels à fusionner
|
77 |
// Liste des référentiels à fusionner
|
| 78 |
$refsTexte = Config::get('algolia_referentiels');
|
78 |
$refsTexte = Config::get('algolia_referentiels');
|
| 79 |
$refs = explode(",", $refsTexte);
|
79 |
$refs = explode(",", $refsTexte);
|
| 80 |
|
80 |
|
| 81 |
// Liste des référentiels à mettre à jour
|
81 |
// Liste des référentiels à mettre à jour
|
| 82 |
$refsMajTexte = $this->getParam("ref");
|
82 |
$refsMajTexte = $this->getParam("ref");
|
| 83 |
if ($refsMajTexte === false) {
|
83 |
if ($refsMajTexte === false) {
|
| 84 |
// si le paramètre est vide, on met tout à jour
|
84 |
// si le paramètre est vide, on met tout à jour
|
| 85 |
$refsMaj = $refs;
|
85 |
$refsMaj = $refs;
|
| 86 |
} else {
|
86 |
} else {
|
| 87 |
$refsMaj = explode(",", $refsMajTexte);
|
87 |
$refsMaj = explode(",", $refsMajTexte);
|
| 88 |
}
|
88 |
}
|
| 89 |
|
89 |
|
| 90 |
// Déniaisage 1
|
90 |
// Déniaisage 1
|
| 91 |
foreach ($refs as $k => $r) {
|
91 |
foreach ($refs as $k => $r) {
|
| 92 |
$fichierRequete = dirname(__FILE__) . "/algolia_" . $r . ".sql";
|
92 |
$fichierRequete = dirname(__FILE__) . "/algolia_" . $r . ".sql";
|
| 93 |
if (! file_exists($fichierRequete)) {
|
93 |
if (! file_exists($fichierRequete)) {
|
| 94 |
echo "- fichier [$fichierRequete] non trouvé, fusion de [$r] ignorée" . PHP_EOL;
|
94 |
echo "- fichier [$fichierRequete] non trouvé, fusion de [$r] ignorée" . PHP_EOL;
|
| 95 |
unset($refs[$k]);
|
95 |
unset($refs[$k]);
|
| 96 |
}
|
96 |
}
|
| 97 |
}
|
97 |
}
|
| 98 |
if (empty($refs)) {
|
98 |
if (empty($refs)) {
|
| 99 |
echo "Aucun référentiel à fusionner" . PHP_EOL;
|
99 |
echo "Aucun référentiel à fusionner" . PHP_EOL;
|
| 100 |
exit;
|
100 |
exit;
|
| 101 |
}
|
101 |
}
|
| 102 |
|
102 |
|
| 103 |
// Déniaisage 2
|
103 |
// Déniaisage 2
|
| 104 |
foreach ($refsMaj as $k => $r) {
|
104 |
foreach ($refsMaj as $k => $r) {
|
| 105 |
if (! in_array($r, $refs)) {
|
105 |
if (! in_array($r, $refs)) {
|
| 106 |
echo "- le référentiel à mettre à jour [$r] n'est pas présent dans la liste à fusionner, il sera ignoré" . PHP_EOL;
|
106 |
echo "- le référentiel à mettre à jour [$r] n'est pas présent dans la liste à fusionner, il sera ignoré" . PHP_EOL;
|
| 107 |
unset($refsMaj[$k]);
|
107 |
unset($refsMaj[$k]);
|
| 108 |
}
|
108 |
}
|
| 109 |
}
|
109 |
}
|
| 110 |
if (empty($refsMaj)) {
|
110 |
if (empty($refsMaj)) {
|
| 111 |
echo "Aucun référentiel à mettre à jour" . PHP_EOL;
|
111 |
echo "Aucun référentiel à mettre à jour" . PHP_EOL;
|
| 112 |
exit;
|
112 |
exit;
|
| 113 |
}
|
113 |
}
|
| 114 |
|
114 |
|
| 115 |
// Confirmation
|
115 |
// Confirmation
|
| 116 |
if (! $this->confirmer("Fusion des référentiels [" . implode(',', $refs) . "] et mise à jour de [" . implode(',', $refsMaj) . "]. Continuer ?")) {
|
116 |
if (! $this->confirmer("Fusion des référentiels [" . implode(',', $refs) . "] et mise à jour de [" . implode(',', $refsMaj) . "]. Continuer ?")) {
|
| 117 |
exit;
|
117 |
exit;
|
| 118 |
}
|
118 |
}
|
| 119 |
|
119 |
|
| 120 |
//var_dump($refs);
|
120 |
//var_dump($refs);
|
| 121 |
$donneesBrutes = array();
|
121 |
$donneesBrutes = array();
|
| 122 |
// Exécution des requêtes pour chaque référentiel
|
122 |
// Exécution des requêtes pour chaque référentiel
|
| 123 |
foreach ($refs as $ref) {
|
123 |
foreach ($refs as $ref) {
|
| 124 |
$fichierRequete = dirname(__FILE__) . "/algolia_" . $ref . ".sql";
|
124 |
$fichierRequete = dirname(__FILE__) . "/algolia_" . $ref . ".sql";
|
| 125 |
// Exécution de la requête
|
125 |
// Exécution de la requête
|
| 126 |
$requete = file_get_contents($fichierRequete);
|
126 |
$requete = file_get_contents($fichierRequete);
|
| 127 |
$resultat = $this->requete($requete);
|
127 |
$resultat = $this->requete($requete);
|
| 128 |
/*while ($ligne = $resultat->fetch()) {
|
- |
|
| 129 |
var_dump($ligne);
|
- |
|
| 130 |
break;
|
- |
|
| 131 |
}*/
|
- |
|
| 132 |
$donneesBrutes[$ref] = $resultat->fetchAll();
|
128 |
$donneesBrutes[$ref] = $resultat->fetchAll();
|
| 133 |
|
129 |
|
| 134 |
// Info utilisation mémoire
|
130 |
// Info utilisation mémoire
|
| 135 |
$mem = memory_get_usage(true);
|
131 |
$mem = memory_get_usage(true);
|
| 136 |
$memMio = round($mem / (1024 * 1024));
|
132 |
$memMio = round($mem / (1024 * 1024));
|
| 137 |
echo "Mémoire utilisée : $memMio Mio" . PHP_EOL;
|
133 |
echo "Mémoire utilisée : $memMio Mio" . PHP_EOL;
|
| 138 |
}
|
134 |
}
|
| 139 |
|
135 |
|
| 140 |
// Fusion !
|
136 |
// Fusion !
|
| 141 |
$index = $this->fusionnerReferentiels($donneesBrutes);
|
137 |
$index = $this->fusionnerReferentiels($donneesBrutes);
|
| 142 |
//$this->extrait($index, array('Acacia dealbata Link','Acacia Mill.','Fabaceae'));
|
138 |
//$this->extrait($index, array('Acacia dealbata Link','Acacia Mill.','Fabaceae'));
|
| 143 |
|
139 |
|
| 144 |
// Mise en forme
|
140 |
// Mise en forme
|
| 145 |
$index = $this->mettreEnForme($index);
|
141 |
$index = $this->mettreEnForme($index);
|
| 146 |
//$this->extrait($index, 3);
|
142 |
//$this->extrait($index, 100);
|
| 147 |
|
143 |
|
| 148 |
// Stats
|
144 |
// Stats
|
| 149 |
$taille = count($index);
|
145 |
$taille = count($index);
|
| 150 |
echo "Taille de l'index: [$taille] lignes !" . PHP_EOL;
|
146 |
echo "Taille de l'index: [$taille] lignes !" . PHP_EOL;
|
| 151 |
//file_put_contents("couscous.json", json_encode($index));
|
147 |
//file_put_contents("couscous.json", json_encode($index));
|
| 152 |
|
148 |
|
| 153 |
// Calcul des différences ?
|
149 |
// Calcul des différences ?
|
| - |
|
150 |
// @TODO bonjour la galère
|
| - |
|
151 |
|
| 154 |
// Insertion ?
|
152 |
// Insertion ?
|
| - |
|
153 |
if (! $this->confirmer("Prêt à insérer dans l'index Algolia [" . Config::get('algolia_index') . "]. Continuer ?")) {
|
| - |
|
154 |
exit;
|
| - |
|
155 |
}
|
| 155 |
$this->insererDansAlgolia($index);
|
156 |
$this->insererDansAlgolia($index);
|
| 156 |
|
157 |
|
| 157 |
// Info utilisation mémoire totale
|
158 |
// Info utilisation mémoire totale
|
| 158 |
$mem = memory_get_peak_usage(true);
|
159 |
$mem = memory_get_peak_usage(true);
|
| 159 |
$memMio = round($mem / (1024 * 1024));
|
160 |
$memMio = round($mem / (1024 * 1024));
|
| 160 |
echo "Mémoire maximale utilisée : $memMio Mio" . PHP_EOL;
|
161 |
echo "Mémoire maximale utilisée : $memMio Mio" . PHP_EOL;
|
| 161 |
}
|
162 |
}
|
| 162 |
|
163 |
|
| 163 |
/**
|
164 |
/**
|
| 164 |
* Génère un index unique pour Algolia à partir des données de n référentiels
|
165 |
* Génère un index unique pour Algolia à partir des données de n référentiels
|
| 165 |
*/
|
166 |
*/
|
| 166 |
protected function fusionnerReferentiels(&$donneesRefs) {
|
167 |
protected function fusionnerReferentiels(&$donneesRefs) {
|
| 167 |
$index = array();
|
168 |
$index = array();
|
| 168 |
foreach ($donneesRefs as $ref => &$d) {
|
169 |
foreach ($donneesRefs as $ref => &$d) {
|
| 169 |
$nbTaxons = count($d);
|
170 |
$nbTaxons = count($d);
|
| 170 |
echo "-- fusion du référentiel [$ref] : $nbTaxons taxons --" . PHP_EOL;
|
171 |
echo "-- fusion du référentiel [$ref] : $nbTaxons taxons --" . PHP_EOL;
|
| 171 |
|
172 |
|
| 172 |
$fusions = 0;
|
173 |
$fusions = 0;
|
| - |
|
174 |
|
| 173 |
foreach ($d as $taxon) {
|
175 |
foreach ($d as $taxon) {
|
| - |
|
176 |
// debug
|
| - |
|
177 |
/*if ($taxon[$ref . '_num_nom'] == 141) {
|
| - |
|
178 |
echo "> Taxon 141 :" . PHP_EOL;
|
| - |
|
179 |
var_dump($taxon);
|
| - |
|
180 |
echo PHP_EOL;
|
| - |
|
181 |
}*/
|
| 174 |
$nomSci = $taxon[$ref . '_nom_sci'];
|
182 |
$nomSci = $taxon[$ref . '_nom_sci'];
|
| 175 |
//$nn = $taxon[$ref . '_num_nom'];
|
183 |
//$nn = $taxon[$ref . '_num_nom'];
|
| 176 |
// Ajout du nom d'auteur pour éviter les collisions dans un même référentiel
|
184 |
// Ajout du nom d'auteur pour éviter les collisions dans un même référentiel
|
| 177 |
if (! empty ($taxon[$ref . '_auteur'])) {
|
185 |
if (! empty ($taxon[$ref . '_auteur'])) {
|
| 178 |
$nomSci .= ' ' . $taxon[$ref . '_auteur'];
|
186 |
$nomSci .= ' ' . $taxon[$ref . '_auteur'];
|
| 179 |
}
|
187 |
}
|
| 180 |
|
188 |
|
| 181 |
// -- ÉLIMINATION DES NOMS SANS CORRESPONDANCE
|
189 |
// -- ÉLIMINATION DES NOMS SANS CORRESPONDANCE
|
| 182 |
if (empty($taxon[$ref . '_num_nom_retenu'])) {
|
190 |
if (empty($taxon[$ref . '_num_nom_retenu'])) {
|
| 183 |
//echo "XX élimination du nom sans correspondance : [$nomSci] (nn $nn)" . PHP_EOL;
|
191 |
//echo "XX élimination du nom sans correspondance : [$nomSci] (nn $nn)" . PHP_EOL;
|
| 184 |
continue;
|
192 |
continue;
|
| 185 |
}
|
193 |
}
|
| 186 |
|
194 |
|
| 187 |
if (! isset($index[$nomSci])) {
|
195 |
if (! isset($index[$nomSci])) {
|
| 188 |
$index[$nomSci] = array(
|
196 |
$index[$nomSci] = array(
|
| 189 |
'objectID' => $nomSci,
|
197 |
'objectID' => $nomSci,
|
| 190 |
'referentiels' => array()
|
198 |
'referentiels' => array()
|
| 191 |
);
|
199 |
);
|
| 192 |
} else {
|
200 |
} else {
|
| 193 |
//echo "> fusion sur [$nomSci] (nn $nn)" . PHP_EOL;
|
201 |
//echo "> fusion sur [$nomSci] (nn $nn)" . PHP_EOL;
|
| 194 |
$fusions++;
|
202 |
$fusions++;
|
| 195 |
}
|
203 |
}
|
| 196 |
$index[$nomSci] = array_merge($index[$nomSci], $taxon);
|
204 |
$index[$nomSci] = array_merge($index[$nomSci], $taxon);
|
| 197 |
$index[$nomSci]['referentiels'][] = $ref;
|
205 |
$index[$nomSci]['referentiels'][] = $ref;
|
| 198 |
//break;
|
206 |
//break;
|
| 199 |
}
|
207 |
}
|
| 200 |
$taille = count($index);
|
208 |
$taille = count($index);
|
| 201 |
echo "- taille de l'index après ajout de [$ref]: [$taille] lignes ($fusions fusions)" . PHP_EOL;
|
209 |
echo "- taille de l'index après ajout de [$ref]: [$taille] lignes ($fusions fusions)" . PHP_EOL;
|
| 202 |
}
|
210 |
}
|
| 203 |
return $index;
|
211 |
return $index;
|
| 204 |
}
|
212 |
}
|
| 205 |
|
213 |
|
| 206 |
/**
|
214 |
/**
|
| 207 |
* Organise les données de chaque objet conformément à la structure de
|
215 |
* Organise les données de chaque objet conformément à la structure de
|
| 208 |
* l'index Algolia
|
216 |
* l'index Algolia
|
| 209 |
*
|
217 |
*
|
| 210 |
* Voir commentaires sur cette page :
|
218 |
* Voir commentaires sur cette page :
|
| 211 |
* http://taiga.tela-botanica.net/project/mathias-site-web/task/75
|
219 |
* http://taiga.tela-botanica.net/project/mathias-site-web/task/75
|
| 212 |
*
|
220 |
*
|
| 213 |
* L'objectID est le MD5 de la "clef" (nom scientifique avec auteur)
|
221 |
* L'objectID est le MD5 de la "clef" (nom scientifique avec auteur)
|
| 214 |
*/
|
222 |
*/
|
| 215 |
protected function mettreEnForme($index) {
|
223 |
protected function mettreEnForme($index) {
|
| 216 |
$nouvelIndex = array();
|
224 |
$nouvelIndex = array();
|
| 217 |
foreach ($index as $nomSci => $taxon) {
|
225 |
foreach ($index as $nomSci => $taxon) {
|
| 218 |
$nouveauTaxon = array(
|
226 |
$nouveauTaxon = array(
|
| 219 |
'objectID' => md5($nomSci),
|
227 |
'objectID' => md5($nomSci),
|
| 220 |
'referentiels' => $taxon['referentiels']
|
228 |
'referentiels' => $taxon['referentiels']
|
| 221 |
);
|
229 |
);
|
| 222 |
foreach ($taxon['referentiels'] as $ref) {
|
230 |
foreach ($taxon['referentiels'] as $ref) {
|
| 223 |
// ingrédients
|
231 |
// ingrédients
|
| 224 |
$nn = $taxon[$ref . '_num_nom'];
|
232 |
$nn = $taxon[$ref . '_num_nom'];
|
| 225 |
$ns = $taxon[$ref . '_nom_sci'];
|
233 |
$ns = $taxon[$ref . '_nom_sci'];
|
| 226 |
$nts = $taxon[$ref . '_num_tax_sup'];
|
234 |
$nts = $taxon[$ref . '_num_tax_sup'];
|
| 227 |
$rang = $taxon[$ref . '_rang'];
|
235 |
$rang = $taxon[$ref . '_rang'];
|
| 228 |
$auteur = $taxon[$ref . '_auteur'];
|
236 |
$auteur = $taxon[$ref . '_auteur'];
|
| 229 |
$annee = $taxon[$ref . '_annee'];
|
237 |
$annee = $taxon[$ref . '_annee'];
|
| 230 |
$biblio = $taxon[$ref . '_biblio'];
|
238 |
$biblio = $taxon[$ref . '_biblio'];
|
| 231 |
$nom_supra_generique = $taxon[$ref . '_nom_supra_generique'];
|
239 |
$nom_supra_generique = $taxon[$ref . '_nom_supra_generique'];
|
| 232 |
$genre = $taxon[$ref . '_genre'];
|
240 |
$genre = $taxon[$ref . '_genre'];
|
| 233 |
$epithete_sp = $taxon[$ref . '_epithete_sp'];
|
241 |
$epithete_sp = $taxon[$ref . '_epithete_sp'];
|
| 234 |
$type_epithete = $taxon[$ref . '_type_epithete'];
|
242 |
$type_epithete = $taxon[$ref . '_type_epithete'];
|
| 235 |
$epithete_infra_sp = $taxon[$ref . '_epithete_infra_sp'];
|
243 |
$epithete_infra_sp = $taxon[$ref . '_epithete_infra_sp'];
|
| 236 |
$cultivar = $taxon[$ref . '_cultivar'];
|
244 |
$cultivar = $taxon[$ref . '_cultivar'];
|
| 237 |
$cultivar_groupe = $taxon[$ref . '_cultivar_groupe'];
|
245 |
$cultivar_groupe = $taxon[$ref . '_cultivar_groupe'];
|
| 238 |
$nomCommun = (isset($taxon[$ref . '_nom_francais']) ? $taxon[$ref . '_nom_francais'] : '');
|
246 |
$nomCommun = (isset($taxon[$ref . '_nom_francais']) ? $taxon[$ref . '_nom_francais'] : '');
|
| 239 |
$url = $taxon[$ref . '_url'];
|
247 |
$url = $taxon[$ref . '_url'];
|
| 240 |
$synonymes = json_decode($taxon[$ref . '_synonymes'], true);
|
248 |
$synonymes = json_decode($taxon[$ref . '_synonymes'], true);
|
| - |
|
249 |
// debug synonymes tronqués (group_concat limité en longueur)
|
| - |
|
250 |
/*if ($nn == 141) {
|
| - |
|
251 |
echo ">> Synonymes bruts: [" . $taxon[$ref . '_synonymes'] . "]" . PHP_EOL;
|
| - |
|
252 |
echo ">> Synonymes décodés: [" . print_r($synonymes, true) . "]" . PHP_EOL;
|
| - |
|
253 |
exit;
|
| - |
|
254 |
}*/
|
| 241 |
$raccourcis = json_decode($taxon[$ref . '_shortcuts'], true);
|
255 |
$raccourcis = json_decode($taxon[$ref . '_shortcuts'], true);
|
| 242 |
$raccourcis = ($raccourcis != null ? array_values(array_unique($raccourcis)) : null); // array_values réindexe pour obtenir une liste en JSON et non un objet
|
256 |
$raccourcis = ($raccourcis != null ? array_values(array_unique($raccourcis)) : null); // array_values réindexe pour obtenir une liste en JSON et non un objet
|
| 243 |
// garniture
|
257 |
// garniture
|
| 244 |
$donneesRef = array(
|
258 |
$donneesRef = array(
|
| 245 |
'nomenclatural_number' => intval($nn),
|
259 |
'nomenclatural_number' => intval($nn),
|
| 246 |
'scientific_name' => $ns,
|
260 |
'scientific_name' => $ns,
|
| 247 |
'common_name' => $nomCommun,
|
261 |
'common_name' => $nomCommun,
|
| 248 |
'synonyms' => $synonymes,
|
262 |
'synonyms' => $synonymes,
|
| 249 |
'permalink' => $url,
|
263 |
'permalink' => $url,
|
| 250 |
'parent_taxon_number' => intval($nts),
|
264 |
'parent_taxon_number' => intval($nts),
|
| 251 |
'rank' => intval($rang),
|
265 |
'rank' => intval($rang),
|
| 252 |
'author' => $auteur,
|
266 |
'author' => $auteur,
|
| 253 |
'year' => intval($annee),
|
267 |
'year' => intval($annee),
|
| 254 |
'biblio' => $biblio,
|
268 |
'biblio' => $biblio,
|
| 255 |
'supra_genus_name' => $nom_supra_generique,
|
269 |
'supra_genus_name' => $nom_supra_generique,
|
| 256 |
'genus' => $genre,
|
270 |
'genus' => $genre,
|
| 257 |
'species_attribute' => $epithete_sp,
|
271 |
'species_attribute' => $epithete_sp,
|
| 258 |
'attribute_type' => $type_epithete,
|
272 |
'attribute_type' => $type_epithete,
|
| 259 |
'infra_species_attribute' => $epithete_infra_sp,
|
273 |
'infra_species_attribute' => $epithete_infra_sp,
|
| 260 |
'cultivar' => $cultivar,
|
274 |
'cultivar' => $cultivar,
|
| 261 |
'cultivar_groupe' => $cultivar_groupe
|
275 |
'cultivar_groupe' => $cultivar_groupe
|
| 262 |
);
|
276 |
);
|
| - |
|
277 |
// dans le cas de BDTFX, ajout de l'illustration de Coste et de
|
| - |
|
278 |
// la carte Chorodep pour illustrer les résultats de recherche
|
| - |
|
279 |
if ($ref == "bdtfx" && (Config::get("activer_image_coste") == "1")) {
|
| - |
|
280 |
$this->ajouterImagesCosteEtChorodep($nn, $donneesRef);
|
| - |
|
281 |
}
|
| - |
|
282 |
|
| 263 |
$nouveauTaxon[$ref] = $donneesRef;
|
283 |
$nouveauTaxon[$ref] = $donneesRef;
|
| 264 |
$nouveauTaxon['shortcuts'] = $raccourcis;
|
284 |
$nouveauTaxon['shortcuts'] = $raccourcis;
|
| 265 |
}
|
285 |
}
|
| 266 |
$nouvelIndex[] = $nouveauTaxon;
|
286 |
$nouvelIndex[] = $nouveauTaxon;
|
| 267 |
}
|
287 |
}
|
| 268 |
return $nouvelIndex;
|
288 |
return $nouvelIndex;
|
| 269 |
}
|
289 |
}
|
| - |
|
290 |
|
| - |
|
291 |
/**
|
| - |
|
292 |
* Interroge le service eFlore pour récupérer l'illustration de Coste pour
|
| - |
|
293 |
* le nn en cours, et ajoute une URL pour obtenir la carte de répartition
|
| - |
|
294 |
* de Chorodep
|
| - |
|
295 |
*/
|
| - |
|
296 |
protected function ajouterImagesCosteEtChorodep($nn, &$donnees) {
|
| - |
|
297 |
// carte de répartition - le service renvoie directement une image
|
| - |
|
298 |
$donnees['thumbnails.chorodep'] = sprintf(Config::get('url_template_chorodep'), $nn);
|
| - |
|
299 |
// Coste
|
| - |
|
300 |
$urlServiceCoste = sprintf(Config::get('url_template_coste'), $nn);
|
| - |
|
301 |
$retour = @file_get_contents($urlServiceCoste);
|
| - |
|
302 |
if ($retour) {
|
| - |
|
303 |
try {
|
| - |
|
304 |
$infosCoste = json_decode($retour, true);
|
| - |
|
305 |
if (! empty($infosCoste['resultats']) && is_array($infosCoste['resultats'])) {
|
| - |
|
306 |
$res1 = array_shift($infosCoste['resultats']);
|
| - |
|
307 |
if (is_array($res1) && ! empty($res1['binaire.href'])) {
|
| - |
|
308 |
$donnees['thumbnails.coste'] = $res1['binaire.href'];
|
| - |
|
309 |
}
|
| - |
|
310 |
}
|
| - |
|
311 |
} catch (Exception $ex) {
|
| - |
|
312 |
// pas de bol
|
| - |
|
313 |
}
|
| - |
|
314 |
}
|
| - |
|
315 |
// debug
|
| - |
|
316 |
/*echo ">> nn : [$nn]" . PHP_EOL;
|
| - |
|
317 |
echo ">> image Coste : [" . $donnees['thumbnails.coste'] . "]" . PHP_EOL;
|
| - |
|
318 |
echo ">> carte Chorodep : [" . $donnees['thumbnails.chorodep'] . "]" . PHP_EOL;*/
|
| - |
|
319 |
}
|
| 270 |
|
320 |
|
| 271 |
/**
|
321 |
/**
|
| 272 |
* Appelle l'API Algolia pour indexer les données présentes dans $index, par
|
322 |
* Appelle l'API Algolia pour indexer les données présentes dans $index, par
|
| 273 |
* tranches.
|
323 |
* tranches.
|
| 274 |
*/
|
324 |
*/
|
| 275 |
protected function insererDansAlgolia(&$index) {
|
325 |
protected function insererDansAlgolia(&$index) {
|
| 276 |
$tailleTranche = 5000;
|
326 |
$tailleTranche = 5000;
|
| 277 |
echo "++++ Insertion dans Algolia (" . count($index) . " objets) !! ++++" . PHP_EOL;
|
327 |
echo "++++ Insertion dans Algolia (" . count($index) . " objets) !! ++++" . PHP_EOL;
|
| 278 |
// insertion par tranches pour éviter un timeout sur l'API Algolia
|
328 |
// insertion par tranches pour éviter un timeout sur l'API Algolia
|
| 279 |
while (count($index) > 0) {
|
329 |
while (count($index) > 0) {
|
| 280 |
echo "++ insertion d'une tranche de $tailleTranche... (" . count($index) . " restant)" . PHP_EOL;
|
330 |
echo "++ insertion d'une tranche de $tailleTranche... (" . count($index) . " restant)" . PHP_EOL;
|
| 281 |
$tranche = array_splice($index, 0, $tailleTranche);
|
331 |
$tranche = array_splice($index, 0, $tailleTranche);
|
| 282 |
//var_dump($tranche);
|
332 |
//var_dump($tranche);
|
| 283 |
$this->indexAlgolia->addObjects($tranche);
|
333 |
$this->indexAlgolia->addObjects($tranche);
|
| 284 |
}
|
334 |
}
|
| 285 |
}
|
335 |
}
|
| 286 |
|
336 |
|
| 287 |
// ---------------- utilitaires --------------------------------------------
|
337 |
// ---------------- utilitaires --------------------------------------------
|
| 288 |
|
338 |
|
| 289 |
protected function extrait($index, $clefsOuNombre) {
|
339 |
protected function extrait($index, $clefsOuNombre) {
|
| 290 |
// Debug
|
340 |
// Debug
|
| 291 |
echo PHP_EOL . "---- extrait des données --" . PHP_EOL;
|
341 |
echo PHP_EOL . "---- extrait des données --" . PHP_EOL;
|
| 292 |
if (is_array($clefsOuNombre)) {
|
342 |
if (is_array($clefsOuNombre)) {
|
| 293 |
foreach ($clefsOuNombre as $k) {
|
343 |
foreach ($clefsOuNombre as $k) {
|
| 294 |
var_dump($index[$k]);
|
344 |
var_dump($index[$k]);
|
| 295 |
}
|
345 |
}
|
| 296 |
} else {
|
346 |
} else {
|
| 297 |
for ($i=0; $i < $clefsOuNombre; $i++) {
|
347 |
for ($i=0; $i < $clefsOuNombre; $i++) {
|
| 298 |
var_dump($index[$i]);
|
348 |
var_dump($index[$i]);
|
| 299 |
}
|
349 |
}
|
| 300 |
}
|
350 |
}
|
| 301 |
}
|
351 |
}
|
| 302 |
|
352 |
|
| 303 |
protected function connecterPDO() {
|
353 |
protected function connecterPDO() {
|
| 304 |
Config::charger(dirname(__FILE__) . '/../../configurations/bdd.ini');
|
354 |
Config::charger(dirname(__FILE__) . '/../../configurations/bdd.ini');
|
| 305 |
try {
|
355 |
try {
|
| 306 |
$dsn = Config::get('bdd_type').':dbname='.Config::get('bdd_nom').';host='.
|
356 |
$dsn = Config::get('bdd_type').':dbname='.Config::get('bdd_nom').';host='.
|
| 307 |
Config::get('bdd_hote');
|
357 |
Config::get('bdd_hote');
|
| 308 |
$this->bdd = new PDO($dsn, Config::get('bdd_utilisateur'), Config::get('bdd_mot_de_passe'));
|
358 |
$this->bdd = new PDO($dsn, Config::get('bdd_utilisateur'), Config::get('bdd_mot_de_passe'));
|
| 309 |
// Passe en UTF-8 la connexion à la BDD
|
359 |
// Passe en UTF-8 la connexion à la BDD
|
| 310 |
$this->bdd->exec("SET NAMES 'utf8'");
|
360 |
$this->bdd->exec("SET NAMES 'utf8'");
|
| 311 |
// Affiche les erreurs détectées par PDO (sinon mode silencieux => aucune erreur affiché)
|
361 |
// Affiche les erreurs détectées par PDO (sinon mode silencieux => aucune erreur affiché)
|
| 312 |
$this->bdd->setAttribute(PDO::ATTR_ERRMODE, PDO::ERRMODE_EXCEPTION);
|
362 |
$this->bdd->setAttribute(PDO::ATTR_ERRMODE, PDO::ERRMODE_EXCEPTION);
|
| 313 |
} catch (PDOException $e) {
|
363 |
} catch (PDOException $e) {
|
| 314 |
//print_r($e);
|
364 |
//print_r($e);
|
| 315 |
echo 'La connexion à la base de données via PDO a échoué : ' . $e->getMessage() . PHP_EOL;
|
365 |
echo 'La connexion à la base de données via PDO a échoué : ' . $e->getMessage() . PHP_EOL;
|
| 316 |
exit;
|
366 |
exit;
|
| 317 |
}
|
367 |
}
|
| 318 |
}
|
368 |
}
|
| 319 |
|
369 |
|
| 320 |
protected function requete($requete) {
|
370 |
protected function requete($requete) {
|
| 321 |
$infos = null;
|
371 |
$infos = null;
|
| 322 |
try {
|
372 |
try {
|
| 323 |
$infos = $this->bdd->query($requete, PDO::FETCH_ASSOC);
|
373 |
$infos = $this->bdd->query($requete, PDO::FETCH_ASSOC);
|
| 324 |
/*if ($infos === false) {
|
374 |
/*if ($infos === false) {
|
| 325 |
echo $requete;
|
375 |
echo $requete;
|
| 326 |
}*/
|
376 |
}*/
|
| 327 |
} catch (PDOException $e) {
|
377 |
} catch (PDOException $e) {
|
| 328 |
echo sprintf($e->getFile(), $e->getLine(), $e->getMessage(), $e->getCode(), $requete);
|
378 |
echo sprintf($e->getFile(), $e->getLine(), $e->getMessage(), $e->getCode(), $requete);
|
| 329 |
}
|
379 |
}
|
| 330 |
return $infos;
|
380 |
return $infos;
|
| 331 |
}
|
381 |
}
|
| 332 |
|
382 |
|
| 333 |
/**
|
383 |
/**
|
| 334 |
* Demande confirmation, et sort du script à moins qu'on tape ce qui est
|
384 |
* Demande confirmation, et sort du script à moins qu'on tape ce qui est
|
| 335 |
* indiqué (par défaut "o" pour "oui")
|
385 |
* indiqué (par défaut "o" pour "oui")
|
| 336 |
*/
|
386 |
*/
|
| 337 |
protected function confirmer($question='Continuer ?', $codeAcceptation='o', $messageAnnulation='annulation') {
|
387 |
protected function confirmer($question='Continuer ?', $codeAcceptation='o', $messageAnnulation='annulation') {
|
| 338 |
echo $question . ' ("' . $codeAcceptation . '" pour confirmer, autre chose pour annuler)' . PHP_EOL;
|
388 |
echo $question . ' ("' . $codeAcceptation . '" pour confirmer, autre chose pour annuler)' . PHP_EOL;
|
| 339 |
$handle = fopen ("php://stdin","r");
|
389 |
$handle = fopen ("php://stdin","r");
|
| 340 |
$line = fgets($handle);
|
390 |
$line = fgets($handle);
|
| 341 |
if(strtolower(trim($line)) != strtolower($codeAcceptation)) {
|
391 |
if(strtolower(trim($line)) != strtolower($codeAcceptation)) {
|
| 342 |
echo $messageAnnulation . PHP_EOL;
|
392 |
echo $messageAnnulation . PHP_EOL;
|
| 343 |
return false;
|
393 |
return false;
|
| 344 |
}
|
394 |
}
|
| 345 |
fclose($handle);
|
395 |
fclose($handle);
|
| 346 |
return true;
|
396 |
return true;
|
| 347 |
}
|
397 |
}
|
| 348 |
}
|
398 |
}
|
| 349 |
?>
|
399 |
?>
|