Subversion Repositories eFlore/Applications.cel

Rev

Rev 3780 | Go to most recent revision | Details | Compare with Previous | Last modification | View Log | RSS feed

Rev Author Line No. Line
3755 killian 1
<?php
2
 
3
/*
4
	PHP 7
5
 
3772 killian 6
	Script used to synchronize PN occ with Flora Data
7
 
8
	Écrit en franglish pour une meilleure compréhension (lol)
3755 killian 9
*/
10
 
11
class PullPlantnet extends Script {
12
 
13
	protected $bdd;
14
 
3772 killian 15
	protected $debug = false;
16
 
3755 killian 17
	protected $allowedPartners = ['tb', 'pn'];
18
 
19
	// Nom du fichier contenant les correspondances d'ID TB/PN
20
	protected $correspondingIdsFilename = '';
21
 
22
	// Cache d'informations utilisateurs provenant de l'annuaire TB
23
	protected $userInfos = [];
24
 
3757 killian 25
	// Cache des obs id PN traitées pendant cette run
26
	protected $processedObsId = [];
27
 
3755 killian 28
	// Paramètre de suivi et de pagination de l'API des obs PN
29
	protected $currentPage = '';
30
	protected $currentProject = '';
3784 killian 31
	protected $lastTimestamp = '';
3755 killian 32
	protected $hasMore = false;
33
 
34
	// Traduction des organes de PN
35
	protected $tagsImageTraduits = [
36
		'flower' => 'fleur',
37
		'fruit' => 'fruit',
38
		'leaf' => 'feuille',
39
		'bark' => 'écorce',
40
		'branch' => 'branche',
41
		'habit' => 'port',
42
	];
43
 
3767 killian 44
	// Différents types de lifecle possible pour filtrer les obs
45
	// Modified renvoi les obs en fonction de leur date de modif
46
	// Created, en fonction de la date de création
47
	// Deleted, well, you already got it
48
	protected $lifecycles = [
49
		'created',
50
		'modified',
3772 killian 51
		'deleted', // deleted peut être très lent (pas d'index coté PN pour le moment)
3767 killian 52
	];
53
 
3755 killian 54
	/**
55
	 * Paramêtres par défaut disponibles pour la ligne de commande
56
	 * le tableau se construit de la forme suivante :
57
	 * - clé =  nom du paramêtre '-foo'
58
	 * - value = contient un nouveau tableau composé de cette façon :
59
	 *  - booléen: true si le paramêtre est obligatoire
60
	 *  - booléen ou var : true si le paramêtre nécessite un valeur à sa suite ou la valeur par défaut
61
	 *  - string: description du contenu du paramêtre
62
	 * Les paramêtres optionels devraient être déclaré à la fin du tableau.
63
	 * Le dernier parametre du tableau peut avoir la valeur '...',
64
	 * il contiendra alors l'ensemble des paramêtres suivant trouvés sur la ligne de commande.
65
	 * @var array
66
	 */
67
	protected $parametres_autorises = array(
3767 killian 68
		'-startDate' => array(false, true, 'Date de début (parsée par strtotime). Ex: "YYYY:MM:DD HH:II:SS"'),
69
		'-lifecycle' => array(false, true, 'Par défaut : modified ; Au choix parmi : created/modified/deleted (deleted est lent)'),
3755 killian 70
		'-pnObsId' => array(false, true, "ID de l'obs chez PlantNet"),
3761 killian 71
		'-project' => array(false, true, "projectId de l'obs chez PlantNet"),
3755 killian 72
		'-tbObsId' => array(false, true, "ID de l'obs chez Tela"),
3772 killian 73
		'-debug' => array(false, false, "Mode débug (ajoute du log) Au choix parmi : debug/log (log est plus verbeux)"),
3755 killian 74
	);
75
 
76
	public function __construct($script_nom, $parametres_cli) {
77
		parent::__construct($script_nom, $parametres_cli);
78
		$this->bdd = new Bdd();
79
 
80
		$this->correspondingIdsFilename = Config::get('correspondingIdsFilename');
3772 killian 81
 
82
		$this->debug = $this->getParametre('debug');
3755 killian 83
	}
84
 
85
	public function executer() {
86
		$cmd = $this->getParametre('a');
87
 
88
		switch ($cmd) {
89
			case 'updateLatest':
3772 killian 90
				$this->updateLatest($this->getParametre('startDate'), $this->getParametre('lifecycle'));
3755 killian 91
				break;
92
			case 'updateOnePN':
3761 killian 93
				$this->updateOnePN((int)$this->getParametre('pnObsId'), $this->getParametre('project'));
3755 killian 94
				break;
95
			case 'updateOneTB':
3772 killian 96
				$this->updateOneTB((int)$this->getParametre('tbObsId'));
3755 killian 97
				break;
98
			case 'updateCorrespondingIdsTable':
99
				$this->updateCorrespondingIdsTable();
100
				break;
101
			default:
102
				$msg = "Erreur : la commande '$cmd' n'existe pas!\n"
103
						. ', utilisez plutôt :' . "\n"
3767 killian 104
						. 'php cli.php PullPlantnet -a updateLatest -startDate "YYYY:MM:DD HH:II:SS" [[-lifecycle [modified]/created/deleted]]' . "\n"
3772 killian 105
						. 'php cli.php PullPlantnet -a updateOnePN -pnObsId "1234567890" -project "xxxxxx"' . "\n"
106
						. 'php cli.php PullPlantnet -a updateOneTB -tbObsId "1234567890"' . "\n"
3755 killian 107
						. 'php cli.php PullPlantnet -a updateCorrespondingIdsTable' . "\n"
108
						;
109
				throw new Exception($msg);
110
		}
111
	}
112
 
113
	/**
114
	 * Considering all modified pn obs since startDate
115
	 * One pn project after an other
116
	 * Inserting obs in tb db (if new and matching user email)
117
	 */
3767 killian 118
	private function updateLatest(string $startDate = '1917:03:15 00:00:00', string $lifecycle = 'modified') {
119
		$startDate = strtotime($startDate) * 1000; // we need a microtimestamp
3755 killian 120
 
121
		$pnProjects = $this->getProjects(); // refresh projects list
122
		foreach ($pnProjects as $project) {
123
			do {
3767 killian 124
				$observations_PN = $this->getProjectLatest($project, $startDate, $lifecycle);
3755 killian 125
				$this->updateObs($observations_PN);
126
			} while ($this->hasMore);
127
		}
128
	}
129
 
3767 killian 130
	private function getProjectLatest(array $project, int $startDate, string $lifecycle): array {
3755 killian 131
		$this->currentProject = $project;
3778 killian 132
		$this->refreshBddConnexion();
3755 killian 133
 
134
		if (!$this->currentPage) {
135
			echo 'Projet ' . $project['name'] . "\n";
136
 
137
			// hop, on appelle le service de PN
138
			$url_service = str_replace(
3767 killian 139
				['{project}', '{token}', '{startDate}', '{lifecycle}'],
140
				[$project['id'], Config::get('tokenPlantnet'), $startDate, $lifecycle],
3755 killian 141
				Config::get('urlPlantnetBase').Config::get('urlPlantnetLatestChanges')
142
			);
3772 killian 143
 
144
			$this->debug("URL service derniers changements : $url_service");
145
 
3755 killian 146
			$this->currentPage = $url_service;
147
		}
148
 
149
		$ch = curl_init($this->currentPage);
150
		curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
151
		$reponse = curl_exec($ch);
152
		$code = curl_getinfo($ch, CURLINFO_HTTP_CODE);
3784 killian 153
		$temps = curl_getinfo($ch, CURLINFO_TOTAL_TIME);
3755 killian 154
		curl_close($ch);
155
 
3784 killian 156
		$this->debug('Temps total en secondes : '.$temps);
157
 
3755 killian 158
		// cool, maintenant on va trier ce qu'on a reçu
159
		if (!$reponse) {
160
			throw new Exception("\nPN ne répond rien à l'adresse {$this->currentPage}\n");
161
		} elseif (200 != $code) {
162
			// l'api répond avec une 404 quand y'a une date dans le futur ou simplement pas de nouvelle obs...
163
			if (404 == $code && strpos($reponse, 'No more results')) {
3772 killian 164
				$this->log("Pas d'autres résultats");
3755 killian 165
				$this->hasMore = false;
166
				$this->currentPage = '';
167
				return [];
168
			}
169
			throw new Exception("\nPN répond avec une $code à l'adresse {$this->currentPage} : $reponse\n");
170
		}
171
		$responseJson = json_decode($reponse, true);
172
		$observations_PN = $responseJson['data'] ?? [];
173
 
174
		$this->hasMore = $responseJson['hasMore'];
3784 killian 175
		$this->lastTimestamp = end($observations_PN)['dateUpdated'];
3755 killian 176
		if ($this->hasMore) {
3784 killian 177
			// $url_service = Config::get('urlPlantnetBase').$responseJson['next'];
178
			// Build next page url with last read timestamp, to avoid pagination latency
179
			$url_service = str_replace(
180
				['{project}', '{token}', '{startDate}', '{lifecycle}'],
181
				[$project['id'], Config::get('tokenPlantnet'), $this->lastTimestamp, $lifecycle],
182
				Config::get('urlPlantnetBase').Config::get('urlPlantnetLatestChanges')
183
			);
184
			$this->currentPage = $url_service;
3772 killian 185
			$this->debug("URL service derniers changements, page suivante : {$this->currentPage}");
3755 killian 186
		} else {
187
			$this->currentPage = '';
188
		}
189
 
190
		return $observations_PN;
191
	}
192
 
193
	private function getProjects(): array {
194
		// get PN projects list
195
		$url = str_replace('{token}', Config::get('tokenPlantnet'), Config::get('urlPlantnetBase').Config::get('urlPlantnetProjects'));
196
 
3772 killian 197
		$this->debug("URL service liste projets : $url");
198
 
3755 killian 199
		$ch = curl_init($url);
200
		curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
201
		$reponse = curl_exec($ch);
202
		$code = curl_getinfo($ch, CURLINFO_HTTP_CODE);
203
		curl_close($ch);
204
 
205
		if (!$reponse || 200 != $code) {
3767 killian 206
			throw new Exception("\nPN répond avec une $code à l'adresse $url : $reponse\n");
3755 killian 207
		}
208
		$pnProjects = json_decode($reponse, true);
209
 
210
		echo 'Liste de projets récupérée : ' . count($pnProjects) . " projets dans la liste\n";
211
 
3772 killian 212
		$this->debug("Liste projets : " . json_encode($pnProjects));
213
 
3755 killian 214
		return $pnProjects;
215
	}
216
 
217
	/**
218
	 * For a given bunch of plantnet obs, post new one threw saisie widget service
219
	 */
220
	private function updateObs(array $observations_PN) {
221
 
222
		$url_cel_widget_saisie = Config::get('urlCelWidgetSaisie');
223
 
224
		foreach ($observations_PN as $obs) {
3757 killian 225
			// est-ce qu'on a déjà traité cette obs ? (oui une même obs peut être dans plusieurs projects)
3784 killian 226
			if (array_key_exists($obs['id'], $this->processedObsId)) {
3772 killian 227
				$this->log("Obs {$obs['id']} déjà traitée pendant cette run");
3757 killian 228
				continue;
229
			} else {
3784 killian 230
				$this->processedObsId[$obs['id']] = true;
231
				$this->log("Obs {$obs['id']} ajoutée à la liste des obs traitées pendant cette run");
3757 killian 232
			}
233
 
3755 killian 234
			// on ne teste pas la suppression de l'obs ici, faut le faire après avoir vérifié si on l'a déjà synchro
235
			if (!isset($obs['currentName'])) {
3772 killian 236
				$this->log("Obs {$obs['id']} sans nom de taxon, on zap");
3755 killian 237
				continue; // pas de nom de taxon, obs inutile
238
			}
239
			if (!isset($obs['geo'])) {
3772 killian 240
				$this->log("Obs {$obs['id']} sans geom, on zap");
3755 killian 241
				continue; // pas de position, obs inutile
242
			}
243
			if (!isset($obs['dateObs'])) {
3772 killian 244
				$this->log("Obs {$obs['id']} sans date, on zap");
3755 killian 245
				continue; // pas de date, obs inutile
246
			}
247
 
248
			if (isset($obs['partner']['id']) && 'tela' === $obs['partner']['id']) {
249
				// c'est une obs tela
250
				// si c'est mis à jour récemment coté PN et qu'on l'a pas supprimée chez nous entre temps
251
					// on update les votes PN
252
					// on update l'identification proposée par PN
253
 
254
				// @TODO
3772 killian 255
				$this->log("Obs {$obs['id']} venant de Tela, mise à jour pas implémentée, on zap");
3755 killian 256
				continue;
257
			} elseif (!isset($obs['partner']['id'])) {
258
				// ce n'est pas une obs d'un partenaire, c'est donc une obs PN
259
				// on récupère l'id utilisateur tela via son mail
260
				$email = $obs['author']['email'];
261
				$infos_utilisateur = $this->findUserInfo($email);
262
				if (!$infos_utilisateur) {
3772 killian 263
					$this->log("Obs {$obs['id']} email $email ne provient pas d'un telabotaniste");
3755 killian 264
					continue; // c'est pas un telabotaniste
265
				}
3772 killian 266
				$this->log("Obs {$obs['id']} email $email provient d'un telabotaniste");
267
				$this->log(json_encode($obs));
3755 killian 268
				// die(var_dump($obs));
269
 
270
				// vérification que l'obs n'a pas déjà été ajoutée à la BdD de Tela
271
				$sql = "SELECT date_maj, id_observation FROM cel_plantnet WHERE id_plantnet = '{$obs['id']}'"
272
						. ' -- ' . __FILE__ . ':' . __LINE__;
273
				$res = $this->bdd->recupererTous($sql);
274
				// die(var_dump($res));
275
				if ($res) {
276
					// l'obs existe déjà, on vérifie si il faut màj puis on passe à la suite
277
					// la date de l'obs est un microtime, donc on coupe les millièmes
278
					// die(var_dump((int)($obs['dateUpdated']/1000), strtotime($res[0]['date_maj'])));
279
					if ((int)($obs['dateUpdated']/1000) > strtotime($res[0]['date_maj'])) {
3761 killian 280
						echo "Obs déjà en base, mise à jour : ID PN {$obs['id']} ; ID TB {$res[0]['id_observation']} ; utilisateur_tb $email\n";
3755 killian 281
						$this->updateFromPN($obs, $res[0]['id_observation']);
282
					} else {
3761 killian 283
						echo "Obs déjà en base, déjà à jour : ID PN {$obs['id']} ; ID TB {$res[0]['id_observation']} ; utilisateur_tb $email\n";
3755 killian 284
					}
285
					continue;
286
				}
287
 
288
				if (isset($obs['deleted']) && (true === $obs['deleted'])) {
3772 killian 289
					$this->log("Obs {$obs['id']} supprimée coté PlantNet");
3755 killian 290
					continue; // obs supprimée chez PN sans être passée par nos serveurs
291
				}
292
 
293
				$images = [];
294
				$tags_images = [];
3770 killian 295
				$images_size = 0;
3755 killian 296
				foreach ($obs['images'] ?? [] as $i => $image) {
297
					if ($image['deleted']) {
3772 killian 298
						$this->log("Obs {$obs['id']} image {$image['id']} supprimée coté PlantNet");
3755 killian 299
						continue;
300
					}
301
 
302
					// téléchargement de l'image PN
3762 killian 303
					$img = false;
304
					$retry = 3;
305
					do {
306
						$img = file_get_contents($image['o']);
3780 killian 307
						if (!$img) {
308
							$retry--;
309
							$this->log("Obs {$obs['id']} lecture image {$image['id']} tentatives restantes : $retry");
310
						}
3762 killian 311
					} while (!$img && $retry);
312
 
313
					if (!$img) {
314
						echo "Abandon, image impossible à télécharger : {$image['o']}\n";
315
						continue;
316
					}
317
 
318
					// Écriture dans un fichier temporaire
3755 killian 319
					$tempfile = tempnam("/tmp", "PullPN_") . ".jpg";
320
					$handle = fopen($tempfile, "w");
3762 killian 321
					fwrite($handle, $img);
3755 killian 322
					fclose($handle);
3770 killian 323
					$images_size += filesize($tempfile);
3755 killian 324
 
3772 killian 325
					$this->log("Obs {$obs['id']} image {$image['id']} créée " . number_format(filesize($tempfile), 0, ',', ' ') . " octets : $tempfile");
3755 killian 326
 
327
					$params = [
328
						'name' => 'image' . $i,
329
						'fichier' => new CURLFile($tempfile, 'image/jpg')
330
					];
331
 
332
					// envoi de l'image PN à l'api de création
333
					$ch = curl_init(Config::get('urlCelUploadImageTemp'));
334
					curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
335
					curl_setopt($ch, CURLOPT_POST, true);
336
					curl_setopt($ch, CURLOPT_POSTFIELDS, $params);
337
					$reponse = curl_exec($ch);
3772 killian 338
					$this->log("Obs {$obs['id']} image {$image['id']} envoyée à l'api de création. Réponse : $reponse");
3755 killian 339
					$code = curl_getinfo($ch, CURLINFO_HTTP_CODE);
340
					curl_close($ch);
341
 
342
					unlink($tempfile);
343
 
344
					$reponse = simplexml_load_string($reponse);
345
					/* Response format if success:
346
					<?xml version="1.0" encoding="UTF-8"?>
347
					<root>
348
						<miniature-url>https://api-test.tela-botanica.org/tmp/cel/imgtmp/chaflipe_min.jpg</miniature-url>
349
						<image-nom>chaflipe.jpg</image-nom>
350
						<message></message>
351
						<debogage></debogage>
352
					</root>
353
					*/
354
					// var_dump($reponse);
355
					if ($reponse && '' == $reponse->message /* && '' != $reponse->{'image-nom'} */) {
356
						$images[] = (string)$reponse->{'image-nom'};
3769 killian 357
 
358
						$tag = $this->tagsImageTraduits[$image['organ']] ?? $image['organ'];
359
						if (trim($tag)) {
360
							$tags_images[] = $tag;
361
						}
3755 killian 362
					}
363
				}
364
				// var_dump($images, $tags_images);
365
				// die();
366
 
3761 killian 367
				$geo = $this->getGeoInfo($obs['geo']);
3772 killian 368
				$this->log("Obs {$obs['id']} décodage du geom : " . json_encode($obs['geo']));
369
				$this->log("Obs {$obs['id']} geom décodé : " . json_encode($geo));
3761 killian 370
 
3755 killian 371
				// on insère l'obs via le service CelWidgetSaisie
372
				$infos_obs = [
3761 killian 373
					'obsId1[date]' => date('d/m/Y', intdiv($obs['dateObs'], 1000)),
374
					'obsId1[latitude]' => $geo['lat'] ?? null,
375
					'obsId1[longitude]' => $geo['lon'] ?? null,
376
					'obsId1[pays]' => $geo['countryCode'] ?? null,
377
					'obsId1[code_postal]' => $geo['postcode'] ?? null,
378
					'obsId1[commune_nom]' => $geo['city'] ?? null,
3755 killian 379
					// 'obsId1[commune_code_insee]' => '',
380
					// 'obsId1[lieudit]' => '',
381
					// 'obsId1[milieu]' => '',
3761 killian 382
					'obsId1[nom_sel]' => $obs['currentName'],
3755 killian 383
					// 'obsId1[nom_ret]' => '',
3761 killian 384
					// 'obsId1[famille]' => '',
3755 killian 385
					'obsId1[certitude]' => 'douteux',
386
					// 'obsId1[notes]' => '',
387
					// 'obsId1[num_nom_ret]' => '',
388
					// 'obsId1[num_nom_sel]' => '',
389
					// 'obsId1[num_taxon]' => '',
3772 killian 390
					'obsId1[referentiel]' => $this->findProbableTaxoRepos($this->currentProject['id']), // @TODO faire une fois et mettre en cache
3755 killian 391
					// 'obsId1[station]' => '',
392
					'obsId1[obs_id]' => $obs['id'],
393
					'projet' => 'PlantNet',
394
					'tag-img' => implode(', ', $tags_images ?? []),
395
					'tag-obs' => 'plantnet, plantnet-mobile, pn:referentiel-' . $this->currentProject['id'],
396
					'utilisateur[courriel]' => $email,
397
					'utilisateur[id_utilisateur]' => $infos_utilisateur['id'],
398
					'utilisateur[nom]' => $infos_utilisateur['nom'],
399
					'utilisateur[prenom]' => $infos_utilisateur['prenom'],
400
					'origin' => 'pullPlantnet',
401
				];
402
 
403
				foreach ($images as $i => $image) {
404
					$infos_obs["obsId1[image_nom][$i]"] = $image;
405
				}
406
 
3772 killian 407
				$this->log("Obs {$obs['id']} prête à être insérée : " . json_encode($infos_obs));
408
 
3755 killian 409
				// curl post $infos_obs
410
				$ch = curl_init($url_cel_widget_saisie);
411
				curl_setopt($ch, CURLOPT_POST, true);
412
				curl_setopt($ch, CURLOPT_POSTFIELDS, $infos_obs);
413
				curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
414
				$reponse = curl_exec($ch);
3772 killian 415
				$this->log("Obs {$obs['id']} réponse de la requête d'insertion : " . json_encode($reponse));
3755 killian 416
				$code = curl_getinfo($ch, CURLINFO_HTTP_CODE);
417
				curl_close($ch);
418
 
419
				if (!$reponse || 200 != $code) {
420
					throw new Exception("Ça a pété à l'envoi de l'obs :\n $reponse\n avec l'obs : " . json_encode($infos_obs) . "\n");
421
				}
422
 
3761 killian 423
				$id_obs_tb = json_decode($reponse, true)['id'];
424
				$id_obs_pn = $obs['id'];
3755 killian 425
				// on insère les ids de correspondance obsPN obsTB dans la table cel_plantnet
426
				$sql = 'INSERT INTO cel_plantnet (id_observation, id_plantnet, date_maj)'
427
						.' VALUES (%s, %s, NOW())'
428
						. ' -- ' . __FILE__ . ':' . __LINE__;
3761 killian 429
				$sql = sprintf($sql, $this->bdd->proteger($id_obs_tb), $this->bdd->proteger($id_obs_pn));
3755 killian 430
				$this->bdd->requeter($sql);
3761 killian 431
 
3770 killian 432
				$date = date('d/m/Y H:i:s', intdiv($obs['dateObs'], 1000));
433
				$count_img = count($images);
434
				$images_size = number_format($images_size, 0, ',', ' ');
3772 killian 435
				echo "Obs insérée en base : ID PN $id_obs_pn ; ID TB $id_obs_tb ; utilisateur_tb $email ; date_obs $date ; images $count_img ; taille_octets $images_size \n";
3755 killian 436
			}
437
		}
438
	}
439
 
440
	/**
441
	 * Return TB taxo repos names for given PN project
442
	 *
443
	 * @return string
444
	 */
445
	private function findProbableTaxoRepos($pnProjectId) {
446
		$selectedRepos = [];
447
		// Référentiels tela botanica indexés par référentiels PN (version octobre 2019)
448
		// @TODO à revoir en fonction des nouvelles mises en prod de nouveaux référentiels
449
		$tbTaxoRepos = [
450
			'afn' => [/*'apd', */'isfan'],
451
			'aft' => ['apd'],
452
			'antilles' => ['bdtxa', 'taxref'],
453
			'canada' => ['vascan'],
454
			'comores' => ['apd'],
455
			'endemia' => ['florical', 'taxref'],
456
			'taxref	' => ['bdtfx'],
457
			'guyane' => ['aublet', 'taxref'],
458
			'hawai' => [],
459
			'lapaz' => ['aublet', 'taxref'],
460
			'martinique' => ['bdtxa', 'taxref'],
461
			'maurice' => ['apd'],
462
			'medor' => ['lbf'],
463
			'namerica' => [],
464
			'polynesiefr' => ['taxref'],
465
			'prosea' => ['asia'],
466
			'prota' => ['isfan', 'apd'],
467
			'provence' => ['bdtfx', 'taxref'],
468
			'reunion' => ['bdtre', 'taxref'],
469
			'salad' => ['bdtfx', 'taxref'],
470
			'useful' => [],
471
			'weurope' => ['bdtfx'],
472
			'the-plant-list' => [],
473
			'iscantree' => ['apd'],
474
			'central-america' => [],
475
			'invasion' => ['bdtfx'],
476
			'weeds' => ['bdtfx'],
477
			'malaysia' => [],
478
		];
479
 
480
		if (array_key_exists($pnProjectId, $tbTaxoRepos)) {
481
			array_map(function($repo) use ($selectedRepos) {
482
				$selectedRepos[] = $repo;
483
			}, $tbTaxoRepos[$pnProjectId]);
484
		}
485
 
486
		// @TODO chercher le nom dans plusieurs référentiels avant d'envoyer l'obs
487
		// prendre "enrichirDonneesTaxonomiques" du service de saisie et le coller ici
488
		// en attendant on envoi juste le premier référentiel trouvé
489
		return $selectedRepos[0] ?? '';
490
	}
491
 
492
	/*
493
	 * Retrouve les infos d'un utilisateur tela à partir de son email
494
	 * @param string $email User email
495
	 * @return mixed 		Tableau des infos de l'utilisateur
496
	 *						False si l'email n'est pas trouvé dans l'annuaire
497
	 */
498
	private function findUserInfo($email) {
499
		// cherche dans le cache
500
		if (array_key_exists($email, $this->userInfos)) {
501
			$infosUtilisateur = $this->userInfos[$email];
502
			// echo("Email in cache : $email\n");
503
		} else {
504
			$infosUtilisateur = false;
505
			$urlInfosUtilisateur = str_replace('{email}', $email, Config::get('urlAnnuaireIdParEmail'));
506
 
3780 killian 507
			$reponse = false;
508
			$retry = 3;
509
			do {
510
				$ch = curl_init($urlInfosUtilisateur);
511
				curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
512
				$reponse = curl_exec($ch);
513
				$code = curl_getinfo($ch, CURLINFO_HTTP_CODE);
514
				curl_close($ch);
515
				$retry--;
516
				if (!$reponse) {
517
					sleep(1);
518
					$this->log("Echec annuaire pour la requête $urlInfosUtilisateur tentatives restantes : $retry");
519
				}
520
			} while (!$reponse && $retry);
3755 killian 521
 
3780 killian 522
			if (!$reponse) {
523
				echo "Abandon, l'annuaire semble injoignable, impossible à télécharger : $urlInfosUtilisateur\n";
524
				return false;
525
			}
526
 
3755 killian 527
			// on peut pas tester le code de réponse de cette api, si l'utilisateur n'est pas trouvé ça fait une 500 >_<
528
			// une bonne réponse ressemble à ça :
529
			// {"killian@tela-botanica.org":{"id":"30489","prenom":"Killian","nom":"Stefanini","pseudo":"Killian Stefanini","pseudoUtilise":true,"intitule":"Killian Stefanini","avatar":"\/\/www.gravatar.com\/avatar\/a9b9b8484076540924c03af816c77fc8?s=50&r=g&d=mm","groupes":{"19226":"adm","18943":"","23152":"","21684":"","21598":"adm","23184":"","23516":""},"permissions":["editor"],"nomWiki":"KillianStefanini"}}
530
			$reponse = json_decode($reponse, true);
531
			if (!isset($reponse)) {
532
				throw new Exception("\nL'annuaire n'a pas répondu avec du json : code $code à l'adresse $urlInfosUtilisateur : $reponse\n");
533
			}
534
 
535
			if (!isset($reponse['error'])) {
536
				$infosUtilisateur = array_shift($reponse);
537
			}
538
 
539
			// met en cache
540
			$this->userInfos[$email] = $infosUtilisateur;
541
			// echo("Email cached : $email\n");
542
		}
543
 
544
		return $infosUtilisateur;
545
	}
546
 
3761 killian 547
	private function getGeoInfo($obs) {
548
		$geo = [];
549
		if (!isset($obs['lat']) && !isset($obs['lon'])) {
550
			return $geo;
551
		}
552
 
553
		// $data = [
554
		// 	'hitsPerPage' => 1,
555
		// 	'aroundLatLng' => "{$obs['lat']},{$obs['lon']}"
556
		// ];
557
		$headers = [
558
			'X-Algolia-Application-Id' => Config::get('algoliaApplicationId'),
559
			'X-Algolia-API-Key' => Config::get('algoliaAPIKey'),
560
		];
561
 
562
		$lat = number_format($obs['lat'], 6, '.', '');
563
		$lon = number_format($obs['lon'], 6, '.', '');
564
 
565
		$ch = curl_init(Config::get('urlReverseGeocodingLatLng')."$lat,$lon");
566
		curl_setopt($ch, CURLOPT_HTTPHEADER, $headers);
567
		curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
568
		$reponse = curl_exec($ch);
569
		$code = curl_getinfo($ch, CURLINFO_HTTP_CODE);
570
		curl_close($ch);
571
 
572
		if ($reponse) {
573
			$reponse = json_decode($reponse, true);
574
			// die(var_dump($reponse));
575
			$infos = $reponse['hits'][0];
576
 
577
			$geo = [
578
				'lat' => (string) $obs['lat'],
579
				'lon' => (string) $obs['lon'],
580
				'country' => $infos['country']['fr'] ?? $infos['country']['default'],
581
				'city' => $infos['city']['default'][0] ?? null,
582
				'postcode' => $infos['postcode'][0] ?? null,
583
				'countryCode' => strtoupper($infos['country_code']),
584
			];
585
		}
586
 
587
		return $geo;
588
	}
589
 
3755 killian 590
	private function updateFromPN(array $pnObs, string $tbObsId) {
591
		if (!is_array($pnObs) || !is_string($tbObsId)) {
592
			// die(var_dump($pnObs, $tbObsId));
3761 killian 593
			throw new Exception("\nBad params types, give me an array and an integer plz\n");
3755 killian 594
		}
595
		// die(var_dump($pnObs));
596
 
3761 killian 597
		// log update date to cel_plantnet
598
		$sql = "UPDATE cel_plantnet SET date_maj = NOW() WHERE id_observation = $tbObsId"
599
				. ' -- ' . __FILE__ . ':' . __LINE__;
600
		$this->bdd->requeter($sql);
601
 
3755 killian 602
		// check for deleted
603
		if (isset($pnObs['deleted']) && (true === $pnObs['deleted'])) {
604
			// est-ce une obs issue de PN ?
605
			//// faut regarder le champ input_source == PlantNet
606
			$sql = "SELECT input_source FROM occurrence WHERE id = '$tbObsId'"
607
					. ' -- ' . __FILE__ . ':' . __LINE__;
608
			$res = $this->bdd->recupererTous($sql);
3761 killian 609
 
3755 killian 610
			if (isset($res[0]) && ('PlantNet' === $res[0]['input_source'])) {
611
				// oui ? alors supprimer obs !
3780 killian 612
				echo "Obs supprimée coté PN, suppression : ID PN {$pnObs['id']} ; ID TB {$res[0]['id_observation']}\n";
3761 killian 613
 
3780 killian 614
				$sql = "UPDATE photo SET occurrence_id = NULL WHERE occurrence_id = '$tbObsId'"
3755 killian 615
						. ' -- ' . __FILE__ . ':' . __LINE__;
616
				$this->bdd->requeter($sql);
3761 killian 617
 
618
				$sql = "DELETE FROM occurrence WHERE id = '$tbObsId'"
3755 killian 619
						. ' -- ' . __FILE__ . ':' . __LINE__;
620
				$this->bdd->requeter($sql);
621
			}
622
		}
623
 
624
		// check for deleted images
625
		foreach ($pnObs['images'] as $image) {
626
			if ($image['deleted']) {
627
				// no idea
628
				// y'a pas encore de lien tangible entre les images PN et les notres
629
			}
630
		}
631
 
632
		// @TODO : finir la comparaison des proposition entre celles de Tela et celles PN
633
		// // check for votes (notes et taxon)
634
		// $names = [];
635
		// foreach ($pnObs['computed']['votes'] as $vote) {
636
		// 	echo($vote['name']);
637
		// 	echo($vote['score']['pn']);
638
		// 	echo($vote['score']['total']);
639
 
640
		// 	$names[$vote['score']['pn']] = $vote['name'];
641
		// }
642
		// ksort($names, SORT_NUMERIC); // votes sorted by score asc
643
		// $pn_sorted_votes = array_reverse($names, true); // desc
644
 
645
		// // get existing votes
646
		// $sql = "SELECT id_commentaire, nom_sel, nom_sel_nn, nom_referentiel, nom_referentiel, utilisateur_courriel, proposition_initiale, proposition_retenue"
647
		// 		. "WHERE ce_observation = '$tbObsId' AND ce_commentaire_parent = 0"
648
		// 		. ' -- ' . __FILE__ . ':' . __LINE__;
649
		// $existing_votes = $this->bdd->recupererTous($sql);
650
 
651
		// // @TODO : compare votes
652
		// // insert_new_votes($pn_sorted_votes, $existing_votes);
653
	}
654
 
3761 killian 655
	private function updateOnePN($pnObsId, $pnProjectId) {
656
		if (!is_int($pnObsId) || !is_string($pnProjectId)) {
657
			die(var_dump($pnObsId, $pnProjectId));
658
			throw new Exception("\nBad params types, give me an integer and a string plz\n");
3755 killian 659
		}
3761 killian 660
		// get PN project list
661
		$list = [];
662
		$pnProjects = $this->getProjects(); // refresh projects list
663
		foreach ($pnProjects as $project) {
664
			$list[$project['id']] = $project['name'];
665
		}
3755 killian 666
 
3761 killian 667
		// if project not in list display list
668
		if (!array_key_exists($pnProjectId, $list)) {
669
			echo "Available projects:\n";
670
			foreach ($list as $projectId => $projectName) {
671
				echo " - $projectId ($projectName)\n";
672
			}
673
			throw new Exception("Project $pnProjectId does not exist\n");
674
		} else {
675
			$this->currentProject = [
676
				'id' => $pnProjectId,
677
				'name' => $list[$pnProjectId],
678
			];
679
		}
680
 
681
		// get PN obs
3755 killian 682
		$urlInfosObs = str_replace(
3761 killian 683
			['{token}', '{project}', '{id}'],
684
			[Config::get('tokenPlantnet'), $pnProjectId, $pnObsId],
3755 killian 685
			Config::get('urlPlantnetBase').Config::get('urlPlantnetObsById')
686
		);
687
		$ch = curl_init($urlInfosObs);
688
		curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
3761 killian 689
		$response = curl_exec($ch);
3755 killian 690
		$code = curl_getinfo($ch, CURLINFO_HTTP_CODE);
691
		curl_close($ch);
692
 
3761 killian 693
		if (!$response || 200 != $code) {
694
			throw new Exception("\nPlantnet api ($urlInfosObs) replied with code $code : $response\n");
3755 killian 695
		}
696
 
3761 killian 697
		// change last modification date to force update
698
		$obs = json_decode($response, true);
699
		$date = new DateTime();
700
		$date->setTimestamp(intdiv($obs['dateUpdated'], 1000) - 1);
701
		$date = $this->bdd->proteger($date->format('Y-m-d H:i:s'));
702
		$sql = "UPDATE cel_plantnet SET date_maj = $date WHERE id_plantnet = '$pnObsId'"
703
				. ' -- ' . __FILE__ . ':' . __LINE__;
704
		$this->bdd->requeter($sql);
705
 
706
		$this->updateObs([$obs]);
3755 killian 707
	}
708
 
709
	private function updateOneTB($id) {
710
		$corres = $this->findMatchingPartnerId($id, 'tb');
711
		echo "L'obs tela avec l'id $id a été trouvée chez plantnet avec l'id : " .$corres['pn'] . "\n";
712
		echo "La suite n'a pas été implémentée.\n";
713
	}
714
 
715
	/*
716
	 * Trouve les ids d'une obs chez les partenaires
717
	 * Il faut lancer updateMatchingPartnersIds pour obtenir une liste fraiche
718
	 *
719
	 * @param 	string $id			L'id de l'obs
720
	 * @param 	string $partner		Le partenaire correspondant à l'id de l'obs
721
	 *
722
	 * @return  mixed 				Le tableau de correspondances d'ids
723
	 *								False si l'id n'est pas trouvé
724
	 */
725
	private function findMatchingPartnerId($id, $partner) {
726
		if (!in_array($partner, $this->allowedPartners)) {
727
			throw new Exception("\nUnknown partner : $partner. Available Partners : " . implode(', ', $this->allowedPartners) . "\n");
728
		}
729
 
730
		// le json ressemble à ça :
731
		// {"tb":"2369732","pn":"1001020199"}, {"tb":"2369733","pn":"1001020176"}, ...
732
		$ids = json_decode(file_get_contents($this->correspondingIdsFilename), true);
733
		// extrait la colonne du partenaire recherché du tableau multidimensionnel fraichement décodé
734
		$partnerColumn = array_column($ids, $partner);
735
		// cherche l'index de l'id recherché
736
		$index = array_search($id, $partnerColumn);
737
 
738
		return $index ? $ids[$index] : false;
739
	}
740
 
741
	private function updateCorrespondingIdsTable() {
742
		// first update cache file if necessary
743
		if (!file_exists($this->correspondingIdsFilename) || time() > (filemtime($this->correspondingIdsFilename) + (24 * 3600))) {
744
			$this->updateMatchingPartnersIds();
745
		}
746
 
747
		$data = file_get_contents($this->correspondingIdsFilename);
748
		$data = json_decode($data, true);
749
 
750
		$now = new DateTime;
751
		$now = $this->bdd->proteger($now->format('Y-m-d H:i:s'));
752
 
753
		$sqlInsert = 'INSERT INTO cel_plantnet (id_observation, id_plantnet, date_maj)'
754
					. ' VALUES %s'
755
					. ' ON DUPLICATE KEY UPDATE id_observation=VALUES(id_observation), id_plantnet=VALUES(id_plantnet)'
756
					. ' -- ' . __FILE__ . ':' . __LINE__;
757
		$values = '';
758
 
3761 killian 759
		echo "Updating matching partners ids table\n";
3755 killian 760
		foreach ($data as $id => $corres) {
761
			$id_obs_tb = $this->bdd->proteger($corres['tb']);
762
			$id_obs_pn = $this->bdd->proteger($corres['pn']);
763
			// on insère les ids de correspondance obsPN obsTB dans la table cel_plantnet
764
			$values .= " ($id_obs_tb, $id_obs_pn, $now),";
765
 
766
			if (0 === $id % 100) {
767
				$values = substr($values, 0, -1); // retire la dernière virgule
768
				$sql = sprintf($sqlInsert, $values);
769
				// var_dump($sql);
770
				$this->bdd->requeter($sql);
771
				$values = '';
772
			}
773
		}
774
		// Faut envoyer les dernières données qui sont pas passées dans le modulo
775
		$values = substr($values, 0, -1); // retire la dernière virgule
776
		$sql = sprintf($sqlInsert, $values);
777
		// var_dump($sql);
778
		$this->bdd->requeter($sql);
779
 
3761 killian 780
		$count = count($data);
781
		echo "Success: #$count updated\n";
3755 killian 782
	}
783
 
784
	private function updateMatchingPartnersIds() {
785
		// curl -X GET --header 'Accept: application/json' 'https://bourbonnais.cirad.fr:8081/v1/edi/observations/partnerids?token=f0ca433febe320675c24ee2ddfab8b82f65d556b' > partnerids.txt
786
		$matchingPartnersIdsServiceUrl = str_replace(
787
			'{token}',
788
			Config::get('tokenPlantnet'),
789
			Config::get('urlPlantnetBase').Config::get('urlPlantnetMatchingPartner')
790
		);
791
		$ch = curl_init($matchingPartnersIdsServiceUrl);
792
		curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
793
 
794
		echo "Updating matching partners ids...\n";
795
		$reponse = curl_exec($ch);
796
		$code = curl_getinfo($ch, CURLINFO_HTTP_CODE);
797
		curl_close($ch);
798
 
799
 
800
		if (!$reponse || 200 != $code) {
801
			throw new Exception("\nError updating partners ids, http error code \"$code\" whith url \"$matchingPartnersIdsServiceUrl\"...\n");
802
		}
803
		echo "Response data from PN api gathered, know computing...\n";
804
 
805
		if (!file_put_contents($this->correspondingIdsFilename, $reponse)) {
806
			throw new Exception("\nError writing correspondingIdsFilename with path : " . $this->correspondingIdsFilename . "\n");
807
		}
808
		echo "Matching partners ids saved!";
809
	}
3772 killian 810
 
811
	private function debug($text) {
812
		if ($this->debug) {
813
			echo 'DEBUG - ' . $text . "\n";
814
		}
815
	}
816
 
817
	private function log($text) {
818
		if ('log' == $this->debug) {
819
			echo 'LOG - ' . $text . "\n";
820
		}
821
	}
3778 killian 822
 
823
	private function refreshBddConnexion() {
824
		$this->bdd = null;
825
		$this->log("Fermeture et création d'une nouvelle connexion à la BdD");
826
		$this->bdd = new Bdd();
827
	}
3755 killian 828
}