WebSVN – eFlore/Applications.cel – Diff – /branches/v3.00-serfouette/scripts/modules/pull_plantnet/PullPlantnet.php

 <?php
 /*
 	PHP 7
+	Script used to synchronize PN occ with Flora Data
-	Script used to synchronize PN occ with CEL
+	Écrit en franglish pour une meilleure compréhension (lol)
 */
+class PullPlantnet extends Script {
-class PullPlantnet extends Script {
+	protected $bdd;
 	// Paramètre de suivi et de pagination de l'API des obs PN
 	protected $currentPage = '';
 	protected $currentProject = '';
-	protected $hasMore = false;
-	protected $count = 0;
+	protected $hasMore = false;
 	// Traduction des organes de PN
 	protected $tagsImageTraduits = [
 	// Created, en fonction de la date de création
 	// Deleted, well, you already got it
 	protected $lifecycles = [
 		'created',
 		'modified',
-		'deleted', // deleted peut être très lent
+		'deleted', // deleted peut être très lent (pas d'index coté PN pour le moment)
 	];
 	/**
 	 * Paramêtres par défaut disponibles pour la ligne de commande
 		'-startDate' => array(false, true, 'Date de début (parsée par strtotime). Ex: "YYYY:MM:DD HH:II:SS"'),
 		'-lifecycle' => array(false, true, 'Par défaut : modified ; Au choix parmi : created/modified/deleted (deleted est lent)'),
 		'-pnObsId' => array(false, true, "ID de l'obs chez PlantNet"),
 		'-project' => array(false, true, "projectId de l'obs chez PlantNet"),
 		'-tbObsId' => array(false, true, "ID de l'obs chez Tela"),
+		'-debug' => array(false, false, "Mode débug (ajoute du log) Au choix parmi : debug/log (log est plus verbeux)"),
 	);
 	public function __construct($script_nom, $parametres_cli) {
 		parent::__construct($script_nom, $parametres_cli);
 		$this->bdd = new Bdd();
+		$this->correspondingIdsFilename = Config::get('correspondingIdsFilename');
-		$this->correspondingIdsFilename = Config::get('correspondingIdsFilename');
+		$this->debug = $this->getParametre('debug');
+	}
 	public function executer() {
 		$cmd = $this->getParametre('a');
 		switch ($cmd) {
 			case 'updateLatest':
-				$this->updateLatest($this->getParametre('startDate'));
+				$this->updateLatest($this->getParametre('startDate'), $this->getParametre('lifecycle'));
 				break;
 			case 'updateOnePN':
 				$this->updateOnePN((int)$this->getParametre('pnObsId'), $this->getParametre('project'));
 				break;
 			case 'updateOneTB':
-				$this->updateOneTB($this->getParametre('tbObsId'));
+				$this->updateOneTB((int)$this->getParametre('tbObsId'));
 				break;
 			case 'updateCorrespondingIdsTable':
 				$this->updateCorrespondingIdsTable();
 				break;
 			default:
 				$msg = "Erreur : la commande '$cmd' n'existe pas!\n"
 						. ', utilisez plutôt :' . "\n"
 						. 'php cli.php PullPlantnet -a updateLatest -startDate "YYYY:MM:DD HH:II:SS" [[-lifecycle [modified]/created/deleted]]' . "\n"
-						. 'php cli.php PullPlantnet -a updateOnePN -pnObsId "xxxxxx" -project "xxxxxx"' . "\n"
+						. 'php cli.php PullPlantnet -a updateOnePN -pnObsId "1234567890" -project "xxxxxx"' . "\n"
-						. 'php cli.php PullPlantnet -a updateOneTB -tbObsId "xxxxxx"' . "\n"
+						. 'php cli.php PullPlantnet -a updateOneTB -tbObsId "1234567890"' . "\n"
 						. 'php cli.php PullPlantnet -a updateCorrespondingIdsTable' . "\n"
 			$url_service = str_replace(
 				['{project}', '{token}', '{startDate}', '{lifecycle}'],
 				[$project['id'], Config::get('tokenPlantnet'), $startDate, $lifecycle],
 				Config::get('urlPlantnetBase').Config::get('urlPlantnetLatestChanges')
 			);
-			// die(var_dump($url_service));
+			$this->debug("URL service derniers changements : $url_service");
 			$this->currentPage = $url_service;
+		}
 		$ch = curl_init($this->currentPage);
 		if (!$reponse) {
 			throw new Exception("\nPN ne répond rien à l'adresse {$this->currentPage}\n");
 		} elseif (200 != $code) {
 			// l'api répond avec une 404 quand y'a une date dans le futur ou simplement pas de nouvelle obs...
 			if (404 == $code && strpos($reponse, 'No more results')) {
+				$this->log("Pas d'autres résultats");
 				$this->hasMore = false;
 				$this->currentPage = '';
 				return [];
+			}
 			throw new Exception("\nPN répond avec une $code à l'adresse {$this->currentPage} : $reponse\n");
 		$responseJson = json_decode($reponse, true);
 		$observations_PN = $responseJson['data'] ?? [];
 		$this->hasMore = $responseJson['hasMore'];
-		if ($this->hasMore) {
-			$this->count += count($observations_PN);
+		if ($this->hasMore) {
+			$this->currentPage = Config::get('urlPlantnetBase').$responseJson['next'];
-			$this->currentPage = Config::get('urlPlantnetBase').$responseJson['next'];
+			$this->debug("URL service derniers changements, page suivante : {$this->currentPage}");
 		} else {
-			$this->currentPage = '';
-			$this->count = 0;
+			$this->currentPage = '';
+		}
 		return $observations_PN;
+	}
+	private function getProjects(): array {
+		// get PN projects list
-	private function getProjects(): array {
+		$url = str_replace('{token}', Config::get('tokenPlantnet'), Config::get('urlPlantnetBase').Config::get('urlPlantnetProjects'));
 		// get PN projects list
-		$url = str_replace('{token}', Config::get('tokenPlantnet'), Config::get('urlPlantnetBase').Config::get('urlPlantnetProjects'));
+		$this->debug("URL service liste projets : $url");
 		$ch = curl_init($url);
+		}
 		$pnProjects = json_decode($reponse, true);
+		echo 'Liste de projets récupérée : ' . count($pnProjects) . " projets dans la liste\n";
-		echo 'Liste de projets récupérée : ' . count($pnProjects) . " projets dans la liste\n";
+		$this->debug("Liste projets : " . json_encode($pnProjects));
 		return $pnProjects;
+	}
 		$url_cel_widget_saisie = Config::get('urlCelWidgetSaisie');
 		foreach ($observations_PN as $obs) {
 			// est-ce qu'on a déjà traité cette obs ? (oui une même obs peut être dans plusieurs projects)
+			if (in_array($obs['id'], $this->processedObsId)) {
-			if (in_array($obs['id'], $this->processedObsId)) {
+				$this->log("Obs {$obs['id']} déjà traitée pendant cette run");
 				continue;
 			} else {
+				$this->processedObsId[] = $obs['id'];
-				$this->processedObsId[] = $obs['id'];
+				$this->log("Obs {$obs['id']} ajoutée à la liste de cette run");
+			}
+			// on ne teste pas la suppression de l'obs ici, faut le faire après avoir vérifié si on l'a déjà synchro
-			// on ne teste pas la suppression de l'obs ici, faut le faire après avoir vérifié si on l'a déjà synchro
+			if (!isset($obs['currentName'])) {
-			if (!isset($obs['currentName'])) {
+				$this->log("Obs {$obs['id']} sans nom de taxon, on zap");
 				continue; // pas de nom de taxon, obs inutile
+			}
 			if (!isset($obs['geo'])) {
-			if (!isset($obs['geo'])) {
+				$this->log("Obs {$obs['id']} sans geom, on zap");
 				continue; // pas de position, obs inutile
+			}
 			if (!isset($obs['dateObs'])) {
-			if (!isset($obs['dateObs'])) {
+				$this->log("Obs {$obs['id']} sans date, on zap");
 				continue; // pas de date, obs inutile
+			}
 			if (isset($obs['partner']['id']) && 'tela' === $obs['partner']['id']) {
 				// c'est une obs tela
 				// si c'est mis à jour récemment coté PN et qu'on l'a pas supprimée chez nous entre temps
+					// on update les votes PN
-					// on update les votes PN
+					// on update l'identification proposée par PN
 					// on update l'identification proposée par PN
 				// @TODO
-				// @TODO
+				$this->log("Obs {$obs['id']} venant de Tela, mise à jour pas implémentée, on zap");
 				continue;
 			} elseif (!isset($obs['partner']['id'])) {
 				// ce n'est pas une obs d'un partenaire, c'est donc une obs PN
+				// on récupère l'id utilisateur tela via son mail
-				// on récupère l'id utilisateur tela via son mail
+				$email = $obs['author']['email'];
-				$email = $obs['author']['email'];
+				$infos_utilisateur = $this->findUserInfo($email);
-				$infos_utilisateur = $this->findUserInfo($email);
+				if (!$infos_utilisateur) {
-				if (!$infos_utilisateur) {
+					$this->log("Obs {$obs['id']} email $email ne provient pas d'un telabotaniste");
 					continue; // c'est pas un telabotaniste
+				}
-				//echo "Synchro d'une obs d'un telabotaniste : $email";
+				$this->log("Obs {$obs['id']} email $email provient d'un telabotaniste");
-				// echo json_encode($obs);
+				$this->log(json_encode($obs));
+					}
 					continue;
+				}
+				if (isset($obs['deleted']) && (true === $obs['deleted'])) {
-				if (isset($obs['deleted']) && (true === $obs['deleted'])) {
+					$this->log("Obs {$obs['id']} supprimée coté PlantNet");
 					continue; // obs supprimée chez PN sans être passée par nos serveurs
+				}
 				$images = [];
 				$tags_images = [];
 				$images_size = 0;
+				foreach ($obs['images'] ?? [] as $i => $image) {
-				foreach ($obs['images'] ?? [] as $i => $image) {
+					if ($image['deleted']) {
-					if ($image['deleted']) {
+						$this->log("Obs {$obs['id']} image {$image['id']} supprimée coté PlantNet");
 						continue;
+					}
 					// téléchargement de l'image PN
 					$img = false;
 					$retry = 3;
+					do {
-					do {
+						$img = file_get_contents($image['o']);
-						$img = file_get_contents($image['o']);
+						$retry--;
-						$retry--;
+						$this->log("Obs {$obs['id']} lecture image {$image['id']} tentatives restantes : $retry");
 					} while (!$img && $retry);
 					$handle = fopen($tempfile, "w");
 					fwrite($handle, $img);
 					fclose($handle);
 					$images_size += filesize($tempfile);
-					// echo "Image de " . number_format(filesize($tempfile), 0, ',', ' ') . " octets créé : $tempfile\n";
+					$this->log("Obs {$obs['id']} image {$image['id']} créée " . number_format(filesize($tempfile), 0, ',', ' ') . " octets : $tempfile");
 					$params = [
 						'name' => 'image' . $i,
 					$ch = curl_init(Config::get('urlCelUploadImageTemp'));
 					curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
 					curl_setopt($ch, CURLOPT_POST, true);
 					curl_setopt($ch, CURLOPT_POSTFIELDS, $params);
 					$reponse = curl_exec($ch);
-					// var_dump($reponse);
+					$this->log("Obs {$obs['id']} image {$image['id']} envoyée à l'api de création. Réponse : $reponse");
 					$code = curl_getinfo($ch, CURLINFO_HTTP_CODE);
 					curl_close($ch);
+				}
 				// var_dump($images, $tags_images);
 				// die();
+				$geo = $this->getGeoInfo($obs['geo']);
+				$this->log("Obs {$obs['id']} décodage du geom : " . json_encode($obs['geo']));
-				$geo = $this->getGeoInfo($obs['geo']);
+				$this->log("Obs {$obs['id']} geom décodé : " . json_encode($geo));
 				// on insère l'obs via le service CelWidgetSaisie
 				$infos_obs = [
 					'obsId1[certitude]' => 'douteux',
 					// 'obsId1[notes]' => '',
 					// 'obsId1[num_nom_ret]' => '',
 					// 'obsId1[num_nom_sel]' => '',
 					// 'obsId1[num_taxon]' => '',
-					'obsId1[referentiel]' => $this->findProbableTaxoRepos($this->currentProject['id']),
+					'obsId1[referentiel]' => $this->findProbableTaxoRepos($this->currentProject['id']), // @TODO faire une fois et mettre en cache
 					// 'obsId1[station]' => '',
 					'obsId1[obs_id]' => $obs['id'],
 					'projet' => 'PlantNet',
 					'tag-img' => implode(', ', $tags_images ?? []),
 					'tag-obs' => 'plantnet, plantnet-mobile, pn:referentiel-' . $this->currentProject['id'],
 				];
 				foreach ($images as $i => $image) {
 					$infos_obs["obsId1[image_nom][$i]"] = $image;
+				}
-				}
-				// var_dump($infos_obs);
+				$this->log("Obs {$obs['id']} prête à être insérée : " . json_encode($infos_obs));
 				// curl post $infos_obs
 				$ch = curl_init($url_cel_widget_saisie);
 				curl_setopt($ch, CURLOPT_POST, true);
 				curl_setopt($ch, CURLOPT_POSTFIELDS, $infos_obs);
+				curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
-				curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
+				$reponse = curl_exec($ch);
-				$reponse = curl_exec($ch);
+				$this->log("Obs {$obs['id']} réponse de la requête d'insertion : " . json_encode($reponse));
 				$code = curl_getinfo($ch, CURLINFO_HTTP_CODE);
 				curl_close($ch);
-				if (!$reponse || 200 != $code) {
-					throw new Exception("Ça a pété à l'envoi de l'obs :\n $reponse\n avec l'obs : " . json_encode($infos_obs) . "\n");
+				if (!$reponse || 200 != $code) {
 					throw new Exception("Ça a pété à l'envoi de l'obs :\n $reponse\n avec l'obs : " . json_encode($infos_obs) . "\n");
+				}
 				// var_dump($reponse);
 				$id_obs_tb = json_decode($reponse, true)['id'];
 				$this->bdd->requeter($sql);
 				$date = date('d/m/Y H:i:s', intdiv($obs['dateObs'], 1000));
 				$count_img = count($images);
 				$images_size = number_format($images_size, 0, ',', ' ');
-				echo "Obs insérée en base : ID PN $id_obs_pn ; ID TB $id_obs_tb ; utilisateur_tb $email ; date $date ; images $count_img ; taille_octets $images_size \n";
+				echo "Obs insérée en base : ID PN $id_obs_pn ; ID TB $id_obs_tb ; utilisateur_tb $email ; date_obs $date ; images $count_img ; taille_octets $images_size \n";
+			}
+		}
+	}
 		if (!file_put_contents($this->correspondingIdsFilename, $reponse)) {
 			throw new Exception("\nError writing correspondingIdsFilename with path : " . $this->correspondingIdsFilename . "\n");
+		}
 		echo "Matching partners ids saved!";
+	}
+	private function debug($text) {
+		if ($this->debug) {
+			echo 'DEBUG - ' . $text . "\n";
+		}
+	}
+	private function log($text) {
+		if ('log' == $this->debug) {
+			echo 'LOG - ' . $text . "\n";
+		}
+	}
+}

Subversion Repositories eFlore/Applications.cel

(root)/branches/v3.00-serfouette/scripts/modules/pull_plantnet/PullPlantnet.php – Rev 3771 → 3773