Subversion Repositories eFlore/Applications.cel

<?php

class MigrationObs extends Cel {

	public static $bdd_cel_migration;

	public static $bdd_utilisateurs;

	const truncate = true; //Doit on vider les tables de destination ?

	const dry_run = false;

	/** Tableau associatif permettant de stocker l'avancement dans une boucle.

	* La clé est un md5 du message à afficher au démarrage de la boucle.

	* @var array

	*/

	private static $avancement = array();

	private $communesOubliees = array();

	private $tableau_utilisateurs = array();

	private $tableau_mots_cles = array();

	private $tableau_zones_geo = array();

	private $tableau_nouveau_ancien = array(

		'id_observation' 		=> 'id',

		'ordre'					=> 'ordre',

		'ce_utilisateur'		=> 'traiterIdentifiantUtilisateur',

		'prenom_utilisateur'	=> 'traiterPrenomUtilisateur',

		'nom_utilisateur'		=> 'traiterNomUtilisateur',

		'courriel_utilisateur'  => 'identifiant',

		'nom_sel'				=> 'nom_sel',

		'nom_sel_nn'			=> 'num_nom_sel',

		'nom_ret'				=> 'nom_ret',

		'nom_ret_nn'			=> 'num_nom_ret',

		'nt'					=> 'num_taxon',

		'famille'				=> 'famille',

		'nom_referentiel'		=> 'traiterReferentiel',

		'ce_zone_geo'			=> 'traiterIdentifiantZoneGeo',

		'zone_geo'				=> 'location',

		'lieudit'				=> 'lieudit',

		'station'				=> 'station',

		'milieu'				=> 'milieu',

		'latitude'				=> 'coord_x',

		'longitude'				=> 'coord_y',

		'geodatum'				=> 'ref_geo',

		'date_observation'		=> 'date_observation',

		'mots_cles_texte'		=> 'traiterMotsClesTexte',

		'commentaire'			=> 'commentaire',

		'transmission'			=> 'transmission',

		'date_creation'			=> 'date_creation',

		'date_modification'		=> 'date_modification',

		'date_transmission'		=> 'date_transmission'

		);

	private $tableau_ancien_nouveau = array(

		'id'					=> 'id_observation',

		'identifiant'			=> '',

		'prenom_utilisateur'	=> 'prenom_utilisateur',

		'nom_utilisateur'		=> 'nom_utilisateur',

		'ordre'					=> 'ordre',

		'nom_sel'				=> 'nom_sel',

		'num_nom_sel'			=> 'nom_sel_nn',

		'nom_ret'				=> 'nom_ret',

		'num_nom_ret'			=> 'nom_ret_nn',

		'num_taxon'				=> 'nt',

		'famille'				=> 'famille',

		'location'				=> '',

		'id_location'			=> '',

		'date_observation'		=> 'date_observation',

		'lieu_dit'				=> 'lieudit',

		'station'				=> 'station',

		'milieu'				=> 'milieu',

		'commentaire'			=> 'commentaire',

		'transmission'			=> 'transmission',

		'date_creation' 		=> 'date_creation',

		'date_modification' 	=> 'date_modification',

		'date_transmission'		=> 'date_transmission',

		'mots_cles'				=> '',

		'coord_x'				=> 'latitude',

		'coord_y'				=> 'longitude',

		'ref_geo'				=> 'geodatum'

		);

	/**

	 * Méthode appelée avec une requête de type GET.

	 */

	public function getElement($params) {

		if(!isset($this->config['database_cel']['database_migration']) || $this->config['database_cel']['database_migration'] == '') {

			echo 'Attention la variable de configuration database_migration dans la section database_cel, contenant la base de données d\'arrivée, doit être remplie '."\n";

			exit;

		}

		if(!isset($this->config['database_ident']['database']) || $this->config['database_ident']['database'] == '') {

			echo 'Attention la variable de configuration database dans la section database_ident, contenant la base de données utilisateurs, doit être remplie '."\n";

			exit;

		}

		self::$bdd_cel_migration = $this->config['database_cel']['database_migration'];

		self::$bdd_utilisateurs = $this->config['database_ident']['database'];

		echo "--MIGRATION DES OBSERVATIONS --------------------------------------\n";

		//1. TEMPORAIRE : vider les tables de destinations

		if (self::truncate) {

			echo "-------------------------------------------------------------------\n\n";

			echo "  ETAPE 0. Vider les tables ... \n\n";

			echo "-------------------------------------------------------------------\n\n";

			$nouvellesTables = array('`cel_images`', '`cel_images_mots_cles`', '`cel_mots_cles_images`', '`cel_mots_cles_obs`;',

								'`cel_obs`', '`cel_obs_images`', '`cel_obs_mots_cles`', '`cel_utilisateurs`', '`cel_utilisateurs`', '`cel_zones_geo`');

			foreach ($nouvellesTables as $nomTable) {

				echo 'Vider la table '.$nomTable.'...';

				$requeteTruncate = 'TRUNCATE TABLE '.self::$bdd_cel_migration.'.'.$nomTable;

				$resultatTruncate = $this->executerRequete($requeteTruncate);

				echo "ok \n";

			}

			echo "\n---------------------------------------------------------------- OK\n\n";

		}

		echo "-------------------------------------------------------------------\n\n";

		echo "  ETAPE 1. Paramétrage ... \n\n";

		echo "-------------------------------------------------------------------\n\n";

		$this->getUtilisateurs();

		$this->getMotsCles();

		echo "-------------------------------------------------------------------\n\n";

		echo "  ETAPE 2. Migration des utilisateurs ... \n\n";

		echo "-------------------------------------------------------------------\n\n";

		$this->migrerUtilisateurs();

		echo "-------------------------------------------------------------------\n\n";

		echo "  ETAPE 3. Migration des zone géographiques ... \n\n";

		echo "-------------------------------------------------------------------\n\n";

		$this->migrerZonesGeo();

		echo "-------------------------------------------------------------------\n\n";

		echo "  ETAPE 4. Migration des observations ... \n\n";

		echo "-------------------------------------------------------------------\n\n";

		$this->migrerObs();

		echo "\n"."\n"."\n";

	}

	public function executerRequeteSimple($requete) {

		// Fonction de commodité pour afficher les requetes au lieu de les executer

		if (self::dry_run) {

			echo str_replace('),','),'."\n", $requete);

			return true;

		} else {

			return parent::executerRequeteSimple($requete);

		}

	}

	private function getUtilisateurs() {

		echo "\n-------------------------------------------------------------------\n";

		echo "--SELECTION DES UTILISATEURS---------------------------------------\n\n";

		$requete_selection_utilisateurs = 'SELECT U_ID as id, U_MAIL as mail, U_NAME as nom, U_SURNAME as prenom, U_PASSWD as pass FROM '.self::$bdd_utilisateurs.'.annuaire_tela';

		$tableau_utilisateurs = $this->executerRequete($requete_selection_utilisateurs);

		foreach( $tableau_utilisateurs as &$utilisateur) {

			$this->tableau_utilisateurs[$utilisateur['mail']] = $utilisateur;

		}

		echo sizeof($this->tableau_utilisateurs)." utilisateurs sélectionnés";

		echo "\n-----------------------------------------------------------------OK\n";

	}

	private function getMotsCles() {

		echo "\n-------------------------------------------------------------------\n";

		echo "--SELECTION DES MOTS-CLES -----------------------------------------\n\n";

		$requete_selection_mots_cles = 'SELECT cmc_id_proprietaire as id_utilisateur, cmc_id_mot_cle_utilisateur as id_mot_cle, cmc_mot_cle as mot_cle FROM cel_mots_cles_obs';

		$tableau_mots_cles = $this->executerRequete($requete_selection_mots_cles);

		foreach( $tableau_mots_cles as &$mot_cle) {

			$this->tableau_mots_cles[$mot_cle['id_utilisateur']][$mot_cle['id_mot_cle']] = $mot_cle;

		}

		echo sizeof($this->tableau_mots_cles)." mots-clés sélectionnés";

		echo "\n-----------------------------------------------------------------OK\n";

	}

	/**

	 * Utiliser cette méthode dans une boucle pour afficher un message suivi du nombre de tour de boucle effectué.

	 * Vous devrez vous même gérer le retour à la ligne à la sortie de la boucle.

	 *

	 * @param string le message d'information.

	 * @param int le nombre de départ à afficher.

	 * @return void le message est affiché dans la console.

	 */

	protected function afficherAvancement($message, $depart = 0) {

		if (! isset(self::$avancement[$message])) {

			self::$avancement[$message] = $depart;

			echo "$message : ";

			$actuel =& self::$avancement[$message];

			echo $actuel++;

		} else {

			$actuel =& self::$avancement[$message];

			// Cas du passage de 99 (= 2 caractères) à 100 (= 3 caractères)

			$passage = 0;

			if (strlen((string) ($actuel - 1)) < strlen((string) ($actuel))) {

				$passage = 1;

			}

			echo str_repeat(chr(8), (strlen((string) $actuel) - $passage));

			echo $actuel++;

		}

	}

	private function migrerUtilisateurs() {

		$pas = 1000;

		$nbTotal = 0;

		$tabUtilisateurs = $this->tableau_utilisateurs;

		while (!empty($tabUtilisateurs)) {

			$requete_insertion_utilisateurs = 'INSERT INTO '.self::$bdd_cel_migration.'.cel_utilisateurs '.

						'(id_utilisateur, prenom, nom, courriel, mot_de_passe) '.

						'VALUES ';

			$sous_requete_insertion = '';

			$i = 0;

			foreach ($tabUtilisateurs as $id => &$utilisateur) {

				$i++;

				if ($i == $pas) {

					break;

				}

				$sous_requete_insertion .= '('.$this->proteger($utilisateur['id']).','.

												$this->proteger($utilisateur['prenom']).','.

												$this->proteger($utilisateur['nom']).','.

												$this->proteger($utilisateur['mail']).','.

												$this->proteger($utilisateur['pass']).'),';

				unset($tabUtilisateurs[$id]);

			}

			$sous_requete_insertion = rtrim($sous_requete_insertion,',');

			$requete_insertion_utilisateurs = $requete_insertion_utilisateurs.$sous_requete_insertion;

			$migration_utilisateurs = $this->executerRequeteSimple($requete_insertion_utilisateurs);

			if ($migration_utilisateurs) {

				$nbTotal ++;

				$this->afficherAvancement('Migration utilisateurs (par '.$pas.')', $nbTotal);

			} else {

				exit('Erreur lors de la migration des utilisateurs '."\n");

			}

		}

		echo "\n---------------------------------------------------------------- OK\n\n";

	}

	private function migrerZonesGeo() {

		$pas = 5000;

		//SELECTIONNER LE NOMBRE DE ZONE GEO

		$requete_nombreZonesGeo = 'SELECT count(*) as nb FROM locations';

		$resultatNbZonesGeo = $this->executerRequete($requete_nombreZonesGeo);

		$nbZones = (int) $resultatNbZonesGeo[0]['nb'];

		$nbTotal = 0;

		for($i = 0; $i <= $nbZones ; $i += $pas) {

			$requete_selection_zones_geo = 'SELECT * FROM locations LIMIT '.$i.', '.$pas;

			$zones_geo = $this->executerRequete($requete_selection_zones_geo);

			$requete_insertion_nouvelles_zones_geo = 'INSERT INTO '.self::$bdd_cel_migration.'.cel_zones_geo '.

					'(id_zone_geo, code, nom, utm_secteur, utm_x, utm_y, wgs84_latitude, wgs84_longitude, date_modification) '.

					'VALUES ';

			$sous_requete_insertion_valeurs = '';

			if(count($zones_geo) > 0) {

				foreach($zones_geo as $zone_geo) {

					$zone_geo['nouveau_code_geo'] = 'INSEE-C:'.$zone_geo['insee_code'];

					$lat_long = $this->convertirUtmVersLatLong($zone_geo['x_utm'],$zone_geo['y_utm'],$zone_geo['sector']);

					$indice_tableau_localites = $this->construireIndiceTableauLocalites($zone_geo['name'], $zone_geo['insee_code']);

					$this->tableau_zones_geo[$indice_tableau_localites] = $zone_geo;

					$sous_requete_insertion_valeurs .= '('.$this->proteger($zone_geo['nouveau_code_geo']).','.

														$this->proteger($zone_geo['insee_code']).','.

														$this->proteger($zone_geo['name']).','.

														$this->proteger($zone_geo['sector']).','.

														$this->proteger($zone_geo['x_utm']).','.

														$this->proteger($zone_geo['y_utm']).','.

														$this->proteger($lat_long['lat']).','.

														$this->proteger($lat_long['long']).','.

														$this->proteger($zone_geo['update_date']).

														'),';

				}

				$sous_requete_insertion_valeurs = rtrim($sous_requete_insertion_valeurs,',');

				$requete_insertion_nouvelles_zones_geo .= $sous_requete_insertion_valeurs;

				$migration_zones_geo = $this->executerRequeteSimple($requete_insertion_nouvelles_zones_geo);

			} else {

				echo 'Fin de migration des zones géo '."\n";

				return;

			}

			if ($migration_zones_geo) {

				$nbTotal ++;

				$this->afficherAvancement('Migration des zones (par '.$pas.')', $nbTotal);

			} else {

				exit('Erreur lors de la migration des zones géo '.$i.' à '.($i+$pas)."\n");

			}

		}

		echo "\n---------------------------------------------------------------- OK\n\n";

	}

	private function convertirUtmVersLatLong($x, $y, $sector) {

    	$lat_long = array();

    	$convertisseur = new gPoint();

		$convertisseur->setUTM($x, $y, $sector);

		$convertisseur->convertTMtoLL();

		$lat_long['lat'] = str_replace(',','.',$convertisseur->Lat());

		$lat_long['long'] = str_replace(',','.',$convertisseur->Long());

		return $lat_long;

    }

	private function migrerObs() {

		$debut = 0;

		$pas = 1000;

		$nbTotal = 0;

		//Selectionner le nombre d'observations

		$requeteNbObs = "SELECT COUNT(*) as nb FROM cel_inventory";

		$resultatNbObs = $this->executerRequete($requeteNbObs);

		$fin = $resultatNbObs[0]['nb'];

		for ($i = $debut; $i < $fin ; $i += $pas) {

			$requete_selection_obs = 'SELECT * FROM cel_inventory '.

											'ORDER BY identifiant LIMIT '.$i.','.$pas;

			$observations = $this->requeter($requete_selection_obs);

			$requete_insertion_observations = 'INSERT IGNORE INTO '.self::$bdd_cel_migration.'.cel_obs (';

			foreach ($this->tableau_nouveau_ancien as $nouveau_champ => $ancien_champ) {

				$requete_insertion_observations .= $nouveau_champ.',';

			}

			$requete_insertion_observations = rtrim($requete_insertion_observations, ',');

			$requete_insertion_observations = $requete_insertion_observations.') VALUES ';

			if (count($observations) > 0) {

				foreach($observations as $observation) {

					$nouvelle_observation = $this->traiterLigneObservation($observation);

					$nouvelle_observation = array_map(array($this,'protegerSiNonNull'),$nouvelle_observation);

					$requete_insertion_observations .= '('.join(',',array_values($nouvelle_observation)).'),';

				}

				$requete_insertion_observations = rtrim($requete_insertion_observations, ',');

				$migration_observations = $this->executerRequeteSimple($requete_insertion_observations);

			} else {

				echo 'Fin de migration des observations '."\n"."\n";

				return;

			}

			if ($migration_observations) {

				$nbTotal ++;

				$this->afficherAvancement('Migration des observations (par '.$pas.')', $nbTotal);

			} else {

				exit('Erreur lors de la migration des observation de '.$i.' à '.($i+$pas)."\n");

			}

		}

		if (sizeof($this->communesOubliees) > 0) {

			echo "\nxxxxxxxxx communes oubliées : ".sizeof($this->communesOubliees)." xxxxxxxxx \\n";

		}

		echo "\n---------------------------------------------------------------- OK\n\n";

	}

	private function traiterLigneObservation($obs) {

		$nouvelle_obs = array();

		foreach($this->tableau_nouveau_ancien as $nouveau_champ_obs => $ancien_champ_obs) {

			if ($this->estUnChampATraiter($ancien_champ_obs)) {

				if (method_exists($this,$ancien_champ_obs)) {

					$nouvelle_obs[$nouveau_champ_obs] = $this->$ancien_champ_obs($obs);

				} else {

					$nouvelle_obs[$nouveau_champ_obs] = '';

				}

			} else {

				if($obs[$ancien_champ_obs] == '000null' || $obs[$ancien_champ_obs] == 'null' || trim($obs[$ancien_champ_obs]) == '') {

					$obs[$ancien_champ_obs] = 'NULL';

				}

				if(($ancien_champ_obs == 'coord_x' || $ancien_champ_obs == 'coord_y') && ($obs[$ancien_champ_obs] == '0' || $obs[$ancien_champ_obs] == 0)) {

					$obs[$ancien_champ_obs] = 'NULL';

				}

				$nouvelle_obs[$nouveau_champ_obs] = $obs[$ancien_champ_obs];

			}

		}

		return $nouvelle_obs;

	}

	private function protegerSiNonNull($valeur) {

		if($valeur != 'NULL') {

			$valeur = $this->proteger($valeur);

		}

		return $valeur;

	}

	private function estUnChampATraiter($champ) {

		return strpos($champ,'traiter') !== false;

	}

	private function traiterReferentiel($observation) {

		return 'bdtfx_v1';

	}

	private function traiterMotsClesTexte($ligne_observation) {

		$mail_observation = $ligne_observation['identifiant'];

		$retour = $ligne_observation['mots_cles'];

		if (isset($this->tableau_mots_cles[$mail_observation])) {

			$mots_cles_tableau = $this->parserMotsCles($mail_observation, $ligne_observation['mots_cles'], ';');

			$retour =  join(',',$mots_cles_tableau);

			$retour = ltrim($retour,',,') ;

		}

		return $retour;

	}

	private function parserMotsCles($utilisateur, $mot_cles, $separateur = ',') {

		$tableau_mots_cles = explode($separateur,$mot_cles);

		$tableau_mots_cles_formates = array();

		foreach($tableau_mots_cles as $mot_cle) {

			$mot_cle = str_replace($separateur.$separateur,'',$mot_cle);

			$mot_cle = str_replace('null','',$mot_cle);

			if ($this->estUnIdentifiantMotCle($mot_cle)) {

				// certains mots clés mal formatés contiennent des virgules

				if (strpos($mot_cle,',') !== false) {

					$tab_mot_cle_mal_formate = explode(',',$mot_cle);

					foreach ($tab_mot_cle_mal_formate as $mot_cle_mal_formate) {

						if ($this->estUnIdentifiantMotCle($mot_cle_mal_formate)) {

							$tableau_mots_cles_formates[$mot_cle_mal_formate] = $this->tableau_mots_cles[$utilisateur][$mot_cle_mal_formate]['mot_cle'];

						}

					}

				} else {

					// on met le mot clé dans sa propre case afin d'éviter

					// facilement les doublons provoqués par de mauvais formatages

					if (isset($this->tableau_mots_cles[$utilisateur][$mot_cle]) && trim($this->tableau_mots_cles[$utilisateur][$mot_cle]['mot_cle']) != '') {

						$tableau_mots_cles_formates[$mot_cle] = $this->tableau_mots_cles[$utilisateur][$mot_cle]['mot_cle'];

					}

				}

			}

		}

		return $tableau_mots_cles_formates;

	}

	private function estUnIdentifiantMotCle($chaine) {

		return trim($chaine) != '' && preg_match('/[0-9A-Z]+\.[0-9A-Z]+/i', $chaine) ;

	}

	private function traiterIdentifiantUtilisateur($ligne_observation) {

		$mail_observation = $ligne_observation['identifiant'];

		$retour = $mail_observation;

		if (isset($this->tableau_utilisateurs[$mail_observation])) {

			$retour =  $this->tableau_utilisateurs[$mail_observation]['id'];

		}

		return $retour;

	}

	private function traiterPrenomUtilisateur($ligne_observation) {

		$mail_observation = $ligne_observation['identifiant'];

		$retour = $mail_observation;

		if (isset($this->tableau_utilisateurs[$mail_observation])) {

			$retour =  $this->tableau_utilisateurs[$mail_observation]['prenom'];

		}

		return $retour;

	}

	private function traiterNomUtilisateur($ligne_observation) {

		$mail_observation = $ligne_observation['identifiant'];

		$retour = $mail_observation;

		if (isset($this->tableau_utilisateurs[$mail_observation])) {

			$retour =  $this->tableau_utilisateurs[$mail_observation]['nom'];

		}

		return $retour;

	}

	private function traiterZoneGeo($ligne_observation) {

		$zone_geo = $ligne_observation['location'];

		if($ligne_observation['id_location'] != null && !is_numeric($ligne_observation['id_location']) && $ligne_observation['id_location'] != '000null') {

			$id_zone_geo_ancienne = $ligne_observation['id_location'];

			if($zone_geo != '') {

				$id_zone_geo_ancienne = '('.$id_zone_geo_ancienne.')';

			}

			$zone_geo .= $id_zone_geo_ancienne;

		} elseif($ligne_observation['location'] == null || $ligne_observation['location'] == "" || $ligne_observation['location'] == "000null") {

			if($ligne_observation['id_location'] != '' && $ligne_observation['id_location'] != '000null') {

				$id_zone_geo_ancienne = $ligne_observation['id_location'];

				$id_zone_geo_ancienne = $id_zone_geo_ancienne;

				$zone_geo = $id_zone_geo_ancienne;

			} else {

				$zones_geo = 'NULL';

			}

		}

		return $zone_geo;

	}

	private function traiterIdentifiantZoneGeo($ligne_observation) {

		$id_zone_geo = '';

		if($ligne_observation['id_location'] != '' && $ligne_observation['id_location'] != '000null') {

			$indice = $this->construireIndiceTableauLocalites($ligne_observation['location'], $ligne_observation['id_location']);

			if(isset($this->tableau_zones_geo[$indice])) {

				$id_zone_geo = $this->tableau_zones_geo[$indice]['nouveau_code_geo'];

			} else {

				if($ligne_observation['location'] != "000null") {

					$this->communesOubliees[$indice] = false;

				}

			}

		} else {

			$id_zone_geo = 'NULL';

		}

		return $id_zone_geo;

	}

	private function construireIndiceTableauLocalites($nom, $id) {

		$nom = htmlentities($nom, ENT_NOQUOTES, 'UTF-8');

    	$nom = preg_replace('#&([A-za-z])(?:acute|cedil|circ|grave|orn|ring|slash|th|tilde|uml);#', '\1', $nom);

    	$nom = preg_replace('#&([A-za-z]{2})(?:lig);#', '\1', $nom); // pour les ligatures e.g. 'œ'

    	$nom = preg_replace('#&[^;]+;#', '', $nom); // supprime les autres caractères

    	$nom = str_replace("'",'_',$nom);

		$nom = str_replace(' ','_',$nom);

		$nom = str_replace('-','_',$nom);

		$nom = str_replace('  ','_',$nom);

		$indice = strtolower($nom).substr($id,0,2);

		return $indice;

	}

}