Subversion Repositories eFlore/Applications.cel

Rev

Rev 2002 | Rev 2018 | Go to most recent revision | Show entire file | Ignore whitespace | Details | Blame | Last modification | View Log | RSS feed

Rev 2002 Rev 2014
Line 3... Line 3...
3 
// +-------------------------------------------------------------------------------------------------------------------+
 3 
// +-------------------------------------------------------------------------------------------------------------------+
4 
/**
 4 
/**
5 
 * Traitement des observations sauvages pour les migrer vers des champs étendus
 5 
 * Traitement des observations sauvages pour les migrer vers des champs étendus
6 
 *
 6 
 *
7 
 * Description : classe permettant d'affecter des champs étendus aux observations sauvages
 7 
 * Description : classe permettant d'affecter des champs étendus aux observations sauvages
8 
 * Utilisation : php script.php migrationsauvages -a migrerObservationsSauvages
 8 
 * Utilisation : php script.php migration_sauvages -a migrerObservationsSauvages -v 3
9 
 *
 9 
 *
10 
 * @category		PHP 5.3
 10 
 * @category	PHP 5.3
11 
 * @package		scripts
 11 
 * @package		scripts
12 
 //Auteur original :
 12 
 //Auteur original :
13 
 * @author		Aurélien PERONNET <aurelien@tela-botanica.org>
 13 
 * @author		Aurélien PERONNET <aurelien@tela-botanica.org>
14 
 * @copyright	Copyright (c) 2009, Tela Botanica (accueil@tela-botanica.org)
 14 
 * @copyright	Copyright (c) 2009, Tela Botanica (accueil@tela-botanica.org)
15 
 * @license		http://www.gnu.org/licenses/gpl.html Licence GNU-GPL-v3
 15 
 * @license		http://www.gnu.org/licenses/gpl.html Licence GNU-GPL-v3
16 
 * @license		http://www.cecill.info/licences/Licence_CeCILL_V2-fr.txt Licence CECILL-v2
 16 
 * @license		http://www.cecill.info/licences/Licence_CeCILL_V2-fr.txt Licence CECILL-v2
17 
 * @version		$Id$
 17 
 * @version		$Id$
18 
 */
 18 
 */
19 
// +-------------------------------------------------------------------------------------------------------------------+
 19 
// +-------------------------------------------------------------------------------------------------------------------+
20 
class Migrationsauvages extends Script {
 20 
class MigrationSauvages extends Script {
21
21 
 
22 
	// +-------------------------------------------------------------------------------------------------------------------+
 22 
	// +-------------------------------------------------------------------------------------------------------------------+
23 
	public function executer() {
 23 
	public function executer() {
24 
		include_once dirname(__FILE__).'/bibliotheque/Dao.php';
 24 
		include_once dirname(__FILE__).'/bibliotheque/Dao.php';
25 
		$this->dao = new Dao();
 25 
		$this->dao = new Dao();
26 
		// Récupération de paramétres
 26 
		// Récupération de paramétres
27 
		// Lancement de l'action demandée
 27 
		// Lancement de l'action demandée
28 
		$cmd = $this->getParametre('a');
 - 
 
29 
		$this->mode_verbeux = $this->getParametre('v');
 28 
		$this->mode_verbeux = $this->getParametre('v');
- 
 
 29 
		$cmd = $this->getParametre('a');
30
30 
		try {
- 
 
 31 
			switch ($cmd) {
- 
 
 32 
				case 'migrerObservationsSauvages' :
31 
		$this->migrerObservationsSauvages();
 33 
					$this->migrerObservationsSauvages();
- 
 
 34 
					break;
- 
 
 35 
				case 'exporterObservationsSauvagesAMigrer' :
- 
 
 36 
					$this->exporterObservationsSauvagesAMigrer();
- 
 
 37 
					break;
- 
 
 38 
				default :
- 
 
 39 
					$msg = "Erreur : la commande '$cmd' n'existe pas!\n".
- 
 
 40 
						"Commandes existantes : migrerObservationsSauvages";
- 
 
 41 
					throw new Exception($msg);
- 
 
 42 
			}
- 
 
 43 
		} catch (Exception $e) {
- 
 
 44 
			$this->traiterErreur($e->getMessage());
32
45 
		}
33 
	}
 46 
	}
34
47 
 
35 
	private function migrerObservationsSauvages() {
 48 
	private function exporterObservationsSauvagesAMigrer() {
36 
		$nb_obs = $this->dao->obtenirNbObservationsSauvages();
 49 
		$total = $this->dao->obtenirNbObservationsSauvages();
- 
 
 50 
		$pas_liste_obs = 5000;
- 
 
 51 
		echo " Traitement des $total observations par paquet de $pas_liste_obs \n";
- 
 
 52 
		$fp = fopen('/home/jpm/obs.csv', 'w');
- 
 
 53 
		$ecrireEntete = true;
- 
 
 54 
		for ($i = 0; $i <= $total; $i += $pas_liste_obs) {
- 
 
 55 
			$liste_observations = $this->dao->obtenirObservationsSauvages($i, $pas_liste_obs);
- 
 
 56 
			foreach ($liste_observations as $observation) {
37 
		$this->traiterObservationsSauvages($nb_obs);
 57 
				if ($this->doitMigrerObservation($observation)) {
- 
 
 58 
					$champs_etendus = $this->convertirChampsObsSauvagesEnChampsEtendus($observation);
- 
 
 59 
					$champs_etendus_fixes = array(
- 
 
 60 
						'latitudeDebutRue', 'longitudeDebutRue', 'latitudeFinRue', 'longitudeFinRue',
- 
 
 61 
						'adresse', 'coteRue');
- 
 
 62 
					foreach ($champs_etendus_fixes as $cle) {
- 
 
 63 
						$observation[$cle] = '';
- 
 
 64 
						foreach ($champs_etendus as $champs) {
- 
 
 65 
							if ($champs['cle'] == $cle) {
- 
 
 66 
								$observation[$cle] = $champs['valeur'];
- 
 
 67 
							}
- 
 
 68 
						}
- 
 
 69 
					}
- 
 
 70 
				}
- 
 
 71 
				if ($ecrireEntete) {
- 
 
 72 
					fputcsv($fp, array_keys($observation));
- 
 
 73 
					$ecrireEntete = false;
- 
 
 74 
				}
- 
 
 75 
				fputcsv($fp, array_values($observation));
- 
 
 76 
				$this->afficherAvancement("\tObs traitées : ", 1);
- 
 
 77 
			}
- 
 
 78 
		}
- 
 
 79 
		fclose($fp);
- 
 
 80 
		echo "\nFin de l'export\n";
38 
	}
 81 
	}
39
82 
 
40 
	private function traiterObservationsSauvages($nb_obs) {
 83 
	private function migrerObservationsSauvages() {
41 
		$debut = microtime(true);
 84 
		if ($this->mode_verbeux) $debut = microtime(true);
42 
		$nb_obs_modifiees = 0;
 85 
		$nb_obs_modifiees = 0;
43 
		$nb_obs_ignorees = 0;
 86 
		$nb_obs_ignorees = 0;
44 
		$total = $nb_obs;
 87 
		$total = $this->dao->obtenirNbObservationsSauvages();
45
88 
 
46 
		if($this->mode_verbeux) {
 89 
		if ($this->mode_verbeux) {
47 
			echo "-------------------------------------------------------------------\n";
 90 
			echo "-------------------------------------------------------------------\n".
48 
			echo " Début de la migration des observations sauvages vers les champs étendus \n";
 91 
				" Début de la migration des observations sauvages vers les champs étendus \n".
49 
			echo " ".$total." observations concernées 									\n";
 92 
				" $total observations concernées\n".
50 
			echo "-------------------------------------------------------------------\n";
 93 
				"-------------------------------------------------------------------\n";
51 
		}
 94 
		}
52
95 
 
53 
		$champs_etendus_a_inserer = array();
 96 
		$champs_etendus_a_inserer = array();
54 
		$nb_champs_total = 0;
 97 
		$nb_champs_total = 0;
55 
		$nb_champs_etendus_a_inserer = 0;
 98 
		$nb_champs_etendus_a_inserer = 0;
56
99 
 
57 
		$pas_liste_obs = 5000;
 100 
		$pas_liste_obs = 5000;
58 
		echo " Traitement des observations par paquet de ".$pas_liste_obs." (5 champs étendus ajoutés par observation traitée) \n";
 101 
		echo " Traitement des observations par paquet de ".$pas_liste_obs." (5 champs étendus ajoutés par observation traitée) \n";
59
102 
 
60 
		for($i = 0; $i <= $total; $i += $pas_liste_obs) {
103 
		for ($i = 0; $i <= $total; $i += $pas_liste_obs) {
61 
			$liste_observations = $this->dao->obtenirObservationsSauvages($i, $pas_liste_obs);
 104 
			$liste_observations = $this->dao->obtenirObservationsSauvages($i, $pas_liste_obs);
62 
			$champs_etendus_a_inserer = array();
 105 
			$champs_etendus_a_inserer = array();
63 
			$nb_champs_etendus_a_inserer = 0;
 106 
			$nb_champs_etendus_a_inserer = 0;
64 
			foreach($liste_observations as $observation) {
 107 
			foreach ($liste_observations as $observation) {
65
108 
 
66 
				// test si obs candidate est ok, i.e. si elle contient bien un champ station formate comme ceci
 109 
				// test si obs candidate est ok, i.e. si elle contient bien un champ station formate comme ceci
67 
				// coordonnees_debut_de_rue;coordonnees_fin_de_rue;cote_de_la_rue
 110 
				// coordonnees_debut_de_rue;coordonnees_fin_de_rue;cote_de_la_rue
68 
				if ($this->doitMigrerObservation($observation)) {
 111 
				if ($this->doitMigrerObservation($observation)) {
69 
					$champs_etendus_a_inserer[] = $this->convertirChampsObsSauvagesEnChampsEtendus($observation);
 112 
					$champs_etendus = $this->convertirChampsObsSauvagesEnChampsEtendus($observation);
- 
 
 113 
					$champs_etendus_a_inserer[] = $champs_etendus;
- 
 
 114 
					$nb_champs = count($champs_etendus);
70 
					$nb_obs_modifiees++;
 115 
					$nb_obs_modifiees++;
71 
					$nb_champs_etendus_a_inserer += 5;
 116 
					$nb_champs_etendus_a_inserer += $nb_champs;
72 
					$nb_champs_total += 5;
 117 
					$nb_champs_total += $nb_champs;
73 
				} else {
 118 
				} else {
74 
					$nb_obs_ignorees++;
 119 
					$nb_obs_ignorees++;
75 
				}
 120 
				}
76
121 
 
77 
				// insertion par paquets de 100 champs ou bien à la fin du parcours de la liste s'il y a moins de
122 
				// insertion par paquets de 100 champs ou bien à la fin du parcours de la liste s'il y a moins de
78 
				// 20 observations à traiter (20 obs * 5 champs = 100 champs)
123 
				// 20 observations à traiter (20 obs * 5 champs = 100 champs)
79 
				if($nb_champs_etendus_a_inserer >= 100) {
 124 
				if ($nb_champs_etendus_a_inserer >= 100) {
80 
					$this->dao->ajouterChampsEtendusParLots($champs_etendus_a_inserer);
 125 
					$this->dao->ajouterChampsEtendusParLots($champs_etendus_a_inserer);
81 
					$champs_etendus_a_inserer = array();
 126 
					$champs_etendus_a_inserer = array();
82 
					$nb_champs_etendus_a_inserer = 0;
127 
					$nb_champs_etendus_a_inserer = 0;
83 
				}
 128 
				}
84 
			}
 129 
			}
85 
			echo " ".$nb_champs_total." champs étendus insérés \n";
 130 
			echo " $nb_champs_total champs étendus insérés \n";
86 
		}
 131 
		}
87
132 
 
88 
		// insertion des champs restants s'il en reste moins de 100 à la fin
 133 
		// insertion des champs restants s'il en reste moins de 100 à la fin
89 
		if($nb_champs_etendus_a_inserer > 0) {
 134 
		if ($nb_champs_etendus_a_inserer > 0) {
90 
			$this->dao->ajouterChampsEtendusParLots($champs_etendus_a_inserer);
 135 
			$this->dao->ajouterChampsEtendusParLots($champs_etendus_a_inserer);
91 
			$nb_champs_total += $nb_champs_etendus_a_inserer;
 136 
			$nb_champs_total += $nb_champs_etendus_a_inserer;
92 
			echo " ".$nb_champs_total." champs étendus insérés \n";
 137 
			echo " $nb_champs_total champs étendus insérés \n";
93 
		}
 138 
		}
94
139 
 
- 
 
 140 
		if ($this->mode_verbeux) {
95 
		$fin = microtime(true);
 141 
			$fin = microtime(true);
96 
		if($this->mode_verbeux) {
 142 
			$tps_ecoule = $fin - $debut;
97 
			echo "\n";
 143 
			echo "\n".
98 
			echo "-------------------------------------------------------------------\n";
 144 
				"-------------------------------------------------------------------\n".
99 
			echo "  Fin de la migration des observations sauvages, \n";
 145 
				"  Fin de la migration des observations sauvages, \n".
100 
			echo "  ".($fin - $debut)." secondes écoulées \n";
 146 
				"  $tps_ecoule secondes écoulées \n".
101 
			echo "  ".$nb_champs_total." champs étendus créées \n";
 147 
				"  $nb_champs_total champs étendus créées \n".
102 
			echo "  ".$nb_obs_modifiees." observations modifiées \n";
 148 
				"  $nb_obs_modifiees observations modifiées \n".
103 
			echo "  ".$nb_obs_ignorees." observations ignorées \n";
 149 
				"  $nb_obs_ignorees observations ignorées \n".
104 
			echo "-------------------------------------------------------------------\n";
 150 
				"-------------------------------------------------------------------\n\n";
105 
			echo "\n";
 - 
 
106 
		}
 151 
		}
107 
	}
 152 
	}
108
153 
 
109 
	private function doitMigrerObservation($observation) {
 154 
	private function doitMigrerObservation($observation) {
110 
		return (!empty($observation['station']) && substr_count($observation['station'],";") == 2);
 155 
		return (!empty($observation['station']) && substr_count($observation['station'], ';') == 2);
111 
	}
 156 
	}
112
157 
 
113 
	private function convertirChampsObsSauvagesEnChampsEtendus($observation) {
 158 
	private function convertirChampsObsSauvagesEnChampsEtendus($observation) {
114 
		list($coords_debut_rue,$coords_fin_rue,$cote_rue) = explode(';', $observation['station']);
 159 
		list($coords_debut_rue, $coords_fin_rue, $cote_rue) = explode(';', $observation['station']);
115 
		$coords_debut_rue = explode(',', $coords_debut_rue);
 160 
		$coords_debut_rue = explode(',', $coords_debut_rue);
116 
		$coords_fin_rue = explode(',', $coords_fin_rue);
 161 
		$coords_fin_rue = explode(',', $coords_fin_rue);
117
- 
 
118 
		$lieu_dit = (trim($observation['lieudit']) == 'non renseigné(e)') ? '' : $observation['lieudit'];
 162 
		$lieu_dit = (trim($observation['lieudit']) == 'non renseigné(e)') ? '' : $observation['lieudit'];
119
- 
 
120 
		$id = $observation['id_observation'];
 163 
		$id = $observation['id_observation'];
- 
 
 164 
 
- 
 
 165 
		if (!preg_match('/^(?:2cotes|pair|impair|)$/', $cote_rue)) {
- 
 
 166 
			$msg = "Obs #$id: erreur champ cote_rue contient : $cote_rue";
- 
 
 167 
			$this->traiterErreur($msg);
- 
 
 168 
		}
- 
 
 169 
		$testCoords = array(
- 
 
 170 
			'latitudeDebutRue' => $coords_debut_rue[0],
- 
 
 171 
			'longitudeDebutRue' => $coords_debut_rue[1],
- 
 
 172 
			'latitudeDebutRue' => $coords_fin_rue[0],
- 
 
 173 
			'longitudeDebutRue' => $coords_fin_rue[1]
- 
 
 174 
		);
- 
 
 175 
		foreach ($testCoords as $champ => $coord) {
- 
 
 176 
			if (!preg_match('/^(?:-|)[0-9]{1,2}[.][0-9]{5}$/', $coord)) {
- 
 
 177 
				$msg = "Obs #$id: erreur champ $champ contient : $coord";
- 
 
 178 
				$this->traiterErreur($msg);
- 
 
 179 
			}
- 
 
 180 
		}
- 
 
 181 
 
121 
		$champs_etendus = array(
 182 
		$champs_etendus = array();
- 
 
 183 
		if (count($coords_debut_rue) == 2) {
122 
							array('id_observation' => $id,
 184 
			$champs_etendus[] = array('id_observation' => $id,
123 
										'cle' => 'latitudeDebutRue',
 185 
				'cle' => 'latitudeDebutRue',
124 
										'label' => 'Latitude du début de la rue',
 186 
				'label' => 'Latitude du début de la rue',
125 
										'valeur' => $coords_debut_rue[0]),
 187 
				'valeur' => $coords_debut_rue[0]);
126 
							array('id_observation' => $id,
 188 
			$champs_etendus[] = array('id_observation' => $id,
127 
										'cle' => 'longitudeDebutRue',
 189 
				'cle' => 'longitudeDebutRue',
128 
										'label' => 'Longitude du début de la rue',
 190 
				'label' => 'Longitude du début de la rue',
129 
										'valeur' => $coords_debut_rue[1]),
 191 
				'valeur' => $coords_debut_rue[1]);
- 
 
 192 
		}
- 
 
 193 
		if (count($coords_fin_rue) == 2) {
130 
							array('id_observation' => $id,
 194 
			$champs_etendus[] = array('id_observation' => $id,
131 
										'cle' => 'latitudeFinRue',
 195 
				'cle' => 'latitudeFinRue',
132 
										'label' => 'Latitude de fin de la rue',
 196 
				'label' => 'Latitude de fin de la rue',
133 
										'valeur' => $coords_debut_rue[0]),
 197 
				'valeur' => $coords_fin_rue[0]);
134 
							array('id_observation' => $id,
 198 
			$champs_etendus[] = array('id_observation' => $id,
135 
										'cle' => 'longitudeFinRue',
 199 
				'cle' => 'longitudeFinRue',
136 
										'label' => 'Longitude de fin de la rue',
 200 
				'label' => 'Longitude de fin de la rue',
137 
										'valeur' => $coords_debut_rue[1]),
 201 
				'valeur' => $coords_fin_rue[1]);
- 
 
 202 
		}
- 
 
 203 
		if ($lieu_dit != '') {
138 
							array('id_observation' => $id,
 204 
			$champs_etendus[] = array('id_observation' => $id,
139 
										'cle' => 'adresse',
 205 
				'cle' => 'adresse',
140 
										'label' => 'Adresse',
 206 
				'label' => 'Adresse',
141 
										'valeur' => $lieu_dit)
 207 
				'valeur' => $lieu_dit);
- 
 
 208 
		}
- 
 
 209 
		if ($cote_rue != '') {
- 
 
 210 
			$champs_etendus[] = array('id_observation' => $id,
- 
 
 211 
				'cle' => 'coteRue',
- 
 
 212 
				'label' => 'Côté rue',
- 
 
 213 
				'valeur' => $cote_rue);
142 
						);
 214 
		}
- 
 
 215 
 
143 
		return $champs_etendus;
 216 
		return $champs_etendus;
144 
	}
 217 
	}
145 
}
 218 
}
146 
?>
 219 
?>
147 

            220