| 267 |
delphine |
1 |
<?php
|
|
|
2 |
// Encodage : UTF-8
|
|
|
3 |
// +-------------------------------------------------------------------------------------------------------------------+
|
|
|
4 |
/**
|
|
|
5 |
* Importation d'un fichier ref-tax dans une bdnt
|
|
|
6 |
*
|
|
|
7 |
* Description : classe permettant de versionner les référentiels selon le manuel technique
|
|
|
8 |
* Utilisation : php script.php comparaison -r bdnff -a tout -f fichier.txt
|
|
|
9 |
*
|
|
|
10 |
//Auteur original :
|
|
|
11 |
* @author Jean-Pascal MILCENT <jpm@tela-botanica.org>
|
|
|
12 |
* @copyright Tela-Botanica 1999-2010
|
|
|
13 |
* @link http://www.tela-botanica.org/wikini/RTaxMethodo/wakka.php?wiki=MaNuel
|
|
|
14 |
* @licence GPL v3 & CeCILL v2
|
|
|
15 |
* @version $Id$
|
|
|
16 |
*/
|
|
|
17 |
// +-------------------------------------------------------------------------------------------------------------------+
|
|
|
18 |
class Importation extends ScriptCommande {
|
|
|
19 |
|
|
|
20 |
const SCRIPT_NOM = 'importation';
|
|
|
21 |
const MANUEL_VERSION = '4.3';
|
|
|
22 |
|
|
|
23 |
private $referentiel = null;
|
|
|
24 |
/*public $parametres = array(
|
|
|
25 |
'-r' => array(true, true, 'referentiel de base'),
|
|
|
26 |
'-f' => array(true, true, 'fichier à comparer'));*/
|
|
|
27 |
private $noms_supprimes = null;
|
|
|
28 |
private $noms_colonnes = array();
|
|
|
29 |
private $rangs_bdnt_taxref = null;
|
|
|
30 |
private $statuts_bdnt_taxref = null;
|
|
|
31 |
private $correspondance_colonnes = array("CD_NOM" => "", "CD_SUP" => "", "CD_REF" => "",
|
|
|
32 |
"RANG" => "rang", "LB_NOM" => "nom_sci", "LB_AUTEUR" => array("auteur","annee"),
|
|
|
33 |
"FR" => "presence",
|
|
|
34 |
"FR-FRA" => "presence_Ga", "FR-COR" => "presence_Co", "REU" => "presence",
|
|
|
35 |
"GUA" => "presence_Guadeloupe", "SMSB" => array("presence_Saint_Martin", "presence_Saint_Barthelemy"),
|
|
|
36 |
"MAR" => "presence_Martinique",
|
|
|
37 |
"GF" => "presence", "MAY" => "presence_Mayotte", "TAAF" => "presence_Taaf",
|
|
|
38 |
"SPM" => "presence_Guadeloupe", "PF" => "presence_Polynesie", "NC" => "presence_Nouvelle_Caledonie",
|
|
|
39 |
"BIBLIO" => "biblio_origine", "BDNGM" => "num_nom" );
|
|
|
40 |
|
|
|
41 |
private $sans_correspondance = array(
|
|
|
42 |
"FG_VALIDITE", "habitat", "WF", "CLI", "EPA",
|
|
|
43 |
"EU", "WLD", "ORACLE",
|
|
|
44 |
"DATE_CREA", "ORIGINE_CREA",
|
|
|
45 |
"NOM_COMPLET", "NOM_COMPLET_HTML",
|
|
|
46 |
"GENRE", "ESPECE", "SOUS_ESPECE", "ANNEE");
|
|
|
47 |
|
|
|
48 |
/*public function executer() {
|
|
|
49 |
$this->referentiel = $this->getParam('r');
|
|
|
50 |
// Lancement du test demandé
|
|
|
51 |
$fichier = $this->getParam('f');
|
|
|
52 |
if (file_exists($fichier)) {
|
|
|
53 |
$manuel_chemin = Config::get('chemin_appli').DS.'..'.DS.'configurations'.DS;
|
|
|
54 |
$manuel_config_nom = 'referentiel_v'.self::MANUEL_VERSION.'.ini';
|
|
|
55 |
$this->manuel = parse_ini_file($manuel_chemin.$manuel_config_nom);
|
|
|
56 |
$this->creerCorrespondanceRangBdntTaxref();
|
|
|
57 |
$donnees = $this->traiterFichierTaxref($fichier);
|
|
|
58 |
Debug::printr("Fin du traitement du fichier.");
|
|
|
59 |
$this->connecterPDO();
|
|
|
60 |
$this->creerTableTaxref();
|
|
|
61 |
$this->ajouterColonneCDNOM();
|
|
|
62 |
Debug::printr("Fin de la création de la table.");
|
|
|
63 |
$this->ajouterDonneesTaxRef($donnees);
|
|
|
64 |
Debug::printr("Fin de l'insertion des données.");
|
|
|
65 |
$this->creerTableComparaison();
|
|
|
66 |
Debug::printr("Fin de la création de la table comparaison.");
|
|
|
67 |
}
|
|
|
68 |
}*/
|
|
|
69 |
|
|
|
70 |
public function executer() {
|
|
|
71 |
// Récupération du dernier traitement demandé
|
|
|
72 |
$this->traitementDao = new TraitementDao();
|
|
|
73 |
$this->traitement = $this->traitementDao->getDernierTraitement('tout', self::SCRIPT_NOM);
|
|
|
74 |
if (isset($this->traitement)) {
|
|
|
75 |
$this->referentiel = $this->traitement['referentiel_code']; // Récupération du nom de projet
|
|
|
76 |
$fichier = $this->traitement['script_parametres'];
|
|
|
77 |
if (file_exists($fichier)) {
|
|
|
78 |
Debug::printr('Debute:'.$this->traitementDao->debuterTraitement($this->traitement['id_traitement']));
|
|
|
79 |
// Nettoyage des traitements obsolètes
|
|
|
80 |
$traitements_obsoletes = $this->traitementDao->getTraitementsObsoletes($this->referentiel, self::SCRIPT_NOM);
|
|
|
81 |
if (isset($traitements_obsoletes)) {
|
|
|
82 |
Debug::printr('Supp. obsoletes:'.$this->traitementDao->supprimer($traitements_obsoletes));
|
|
|
83 |
}
|
| 269 |
delphine |
84 |
Debug::printr("Début du traitement du fichier.");
|
| 267 |
delphine |
85 |
$manuel_chemin = Config::get('chemin_appli').DS.'..'.DS.'configurations'.DS;
|
|
|
86 |
$manuel_config_nom = 'referentiel_v'.self::MANUEL_VERSION.'.ini';
|
|
|
87 |
$this->manuel = parse_ini_file($manuel_chemin.$manuel_config_nom);
|
|
|
88 |
$this->creerCorrespondanceRangBdntTaxref();
|
|
|
89 |
$donnees = $this->traiterFichierTaxref($fichier);
|
|
|
90 |
Debug::printr("Fin du traitement du fichier.");
|
|
|
91 |
$this->connecterPDO();
|
|
|
92 |
$this->creerTableTaxref();
|
|
|
93 |
$this->ajouterColonneCDNOM();
|
|
|
94 |
Debug::printr("Fin de la création de la table.");
|
|
|
95 |
$this->ajouterDonneesTaxRef($donnees);
|
|
|
96 |
Debug::printr("Fin de l'insertion des données.");
|
|
|
97 |
$this->creerTableComparaison();
|
|
|
98 |
Debug::printr("Fin de la création de la table comparaison.");
|
|
|
99 |
Debug::printr('Termine:'.$this->traitementDao->terminerTraitement($this->traitement['id_traitement']));
|
|
|
100 |
} else {
|
|
|
101 |
Debug::printr("Fichier introuvable".$fichier);
|
|
|
102 |
Debug::printr('Termine:'.$this->traitementDao->terminerTraitement($this->traitement['id_traitement']));
|
|
|
103 |
}
|
| 269 |
delphine |
104 |
} else {
|
|
|
105 |
Debug::printr("Pas de traitement");
|
| 267 |
delphine |
106 |
}
|
|
|
107 |
}
|
|
|
108 |
|
|
|
109 |
private function creerTableTaxref() {
|
|
|
110 |
$requete = "DROP TABLE IF EXISTS {$this->referentiel}_taxref; ".
|
|
|
111 |
"CREATE TABLE {$this->referentiel}_taxref AS SELECT * FROM {$this->referentiel};".
|
|
|
112 |
"ALTER TABLE {$this->referentiel}_taxref ADD PRIMARY KEY (num_nom);";
|
|
|
113 |
$resultat = $this->executerRequeter($requete);
|
|
|
114 |
}
|
|
|
115 |
private function ajouterColonneCDNOM() {
|
|
|
116 |
$requete = "ALTER TABLE {$this->referentiel}_taxref ADD ".
|
|
|
117 |
"`num_taxref` INT( 15 ) NULL DEFAULT NULL COMMENT 'numéro correspondant dans la base taxref.';";
|
|
|
118 |
$resultat = $this->executerRequeter($requete);
|
|
|
119 |
}
|
|
|
120 |
private function ajouterDonneesTaxRef($liste_noms) {
|
|
|
121 |
$i = 0; $j = 0; $requete = "";
|
|
|
122 |
foreach ($liste_noms as $nom) { $i++;
|
|
|
123 |
$requete .= "UPDATE {$this->referentiel}_taxref SET ".implode(' , ', $nom).
|
|
|
124 |
" WHERE {$nom['num_nom']} ;";//echo $requete;
|
|
|
125 |
if ($i == 1000 || ($j*1000+$i) == count($liste_noms) ) { $j++;
|
|
|
126 |
$resultat = $this->executerRequeter($requete.'commit;');
|
|
|
127 |
if ($resultat == null) {
|
|
|
128 |
$resultat = $this->executerRequeter($requete.'commit;');
|
|
|
129 |
}
|
|
|
130 |
$i = 0; $requete = "";
|
|
|
131 |
}
|
|
|
132 |
}
|
|
|
133 |
}
|
|
|
134 |
private function creerTableComparaison() {
|
|
|
135 |
foreach ($this->noms_colonnes as $colonne) {
|
|
|
136 |
if (isset($this->correspondance_colonnes[$colonne]) && $this->correspondance_colonnes[$colonne] != "") {
|
|
|
137 |
$nom_champ = $this->correspondance_colonnes[$colonne];
|
|
|
138 |
if (is_array($nom_champ)) {
|
|
|
139 |
foreach ($nom_champ as $nom) {
|
|
|
140 |
$champs_tax[] = "t.{$nom} AS tax_{$nom}";
|
|
|
141 |
$champs_tax[] = "b.{$nom} AS {$nom}";
|
|
|
142 |
$concat[] = "IF(t.{$nom} != b.{$nom}, '{$nom}, ', '')";
|
|
|
143 |
}
|
|
|
144 |
} else {
|
|
|
145 |
$champs_tax[] = "t.{$nom_champ} AS tax_{$nom_champ}";
|
|
|
146 |
$champs_tax[] = "b.{$nom_champ} AS {$nom_champ}";
|
|
|
147 |
$concat[] = "IF(t.{$nom_champ} != b.{$nom_champ}, '{$nom_champ}, ', '')";
|
|
|
148 |
}
|
|
|
149 |
}
|
|
|
150 |
}
|
|
|
151 |
$requete = "CREATE TABLE {$this->referentiel}_comparaison_".date("Y_m_d_H_i_s")." AS".
|
|
|
152 |
" SELECT CONCAT(".implode(', ', $concat).") AS difference, ".implode(', ', $champs_tax).
|
|
|
153 |
" FROM {$this->referentiel} b, {$this->referentiel}_taxref t".
|
|
|
154 |
" WHERE b.num_nom = t.num_nom AND (b.nom_sci != t.nom_sci or b.auteur != t.auteur or b.annee != t.annee);";
|
|
|
155 |
echo $requete;
|
|
|
156 |
$resultat = $this->executerRequeter($requete);
|
|
|
157 |
}
|
|
|
158 |
|
|
|
159 |
private function traiterFichierTaxref($fichier) {
|
|
|
160 |
$donnees = array();
|
|
|
161 |
if (($pointeur = fopen($fichier, "r")) !== FALSE) {
|
|
|
162 |
$this->noms_colonnes = fgetcsv($pointeur, 1000, chr(9));
|
|
|
163 |
while (($ligne = fgetcsv($pointeur, 1000, chr(9))) !== FALSE) {
|
|
|
164 |
$nombreChamps = count($ligne);
|
|
|
165 |
$taxref[$ligne[0]] = $ligne;
|
|
|
166 |
for ($c=0; $c < $nombreChamps; $c++) {
|
|
|
167 |
if (isset($this->correspondance_colonnes[$this->noms_colonnes[$c]])) {
|
|
|
168 |
if (is_array($this->correspondance_colonnes[$this->noms_colonnes[$c]])) {
|
|
|
169 |
if ($this->noms_colonnes[$c] == 'LB_AUTEUR') {//echo $ligne[$c];
|
|
|
170 |
$valeur = explode(',', $ligne[$c]);
|
|
|
171 |
if (count($valeur) > 1) {//print_r($matches);
|
|
|
172 |
$nom['auteur'] = 'auteur="'.$valeur[0].'"';
|
|
|
173 |
$nom['annee'] = 'annee="'.trim($valeur[1]).'"';
|
|
|
174 |
} else {
|
|
|
175 |
$nom['auteur'] = 'auteur="'.$ligne[$c].'"';
|
|
|
176 |
$nom['annee'] = 'annee=""';
|
|
|
177 |
}
|
|
|
178 |
} else {
|
|
|
179 |
foreach ($this->correspondance_colonnes[$this->noms_colonnes[$c]] as $a=>$nom_colonne) {
|
|
|
180 |
$nom[$nom_colonne] = $nom_colonne.'="'.$ligne[$c].'"';
|
|
|
181 |
}
|
|
|
182 |
}
|
|
|
183 |
} elseif ($this->correspondance_colonnes[$this->noms_colonnes[$c]] == "") {
|
|
|
184 |
$nom[$this->noms_colonnes[$c]] = $ligne[$c];
|
|
|
185 |
} else {
|
|
|
186 |
if ($this->correspondance_colonnes[$this->noms_colonnes[$c]] == "rang") {
|
|
|
187 |
$nom[$this->correspondance_colonnes[$this->noms_colonnes[$c]]] =
|
|
|
188 |
$this->correspondance_colonnes[$this->noms_colonnes[$c]].'="'.$this->rangs_bdnt_taxref[$ligne[$c]].'"';
|
|
|
189 |
} elseif ($this->correspondance_colonnes[$this->noms_colonnes[$c]] == "num_nom") {
|
|
|
190 |
$num_nom = $ligne[$c];
|
|
|
191 |
$nom[$this->correspondance_colonnes[$this->noms_colonnes[$c]]] =
|
|
|
192 |
$this->correspondance_colonnes[$this->noms_colonnes[$c]].'="'.$ligne[$c].'"';
|
|
|
193 |
} else {
|
|
|
194 |
$nom[$this->correspondance_colonnes[$this->noms_colonnes[$c]]] =
|
|
|
195 |
$this->correspondance_colonnes[$this->noms_colonnes[$c]].'="'.$ligne[$c].'"';;
|
|
|
196 |
}
|
|
|
197 |
}
|
|
|
198 |
}
|
|
|
199 |
}
|
|
|
200 |
$nom['exclure_taxref'] = 'exclure_taxref="0"';
|
|
|
201 |
$donnees[$num_nom] = $nom;
|
|
|
202 |
$correspondance_taxref_bdnt[$nom['CD_NOM']] = $num_nom;
|
|
|
203 |
}
|
|
|
204 |
fclose($pointeur);
|
|
|
205 |
$donnees = $this->changerNumerotation($donnees, $correspondance_taxref_bdnt, $taxref);
|
|
|
206 |
}
|
|
|
207 |
return $donnees;
|
|
|
208 |
}
|
|
|
209 |
|
|
|
210 |
private function changerNumerotation($donnees, $correspondance, $taxref) {
|
|
|
211 |
$i=0;$j=0;$k=0;
|
|
|
212 |
foreach ($donnees as $num_nom=>$infos) {
|
|
|
213 |
if (isset($correspondance[$infos['CD_SUP']])) {
|
|
|
214 |
$donnees[$num_nom]['num_tax_sup'] = "num_tax_sup=".$correspondance[$infos['CD_SUP']];
|
|
|
215 |
$i++;
|
|
|
216 |
} elseif ($infos['CD_SUP'] != '') {
|
|
|
217 |
$donnees[$num_nom]['num_tax_sup'] = "num_tax_sup=''";
|
|
|
218 |
$sup[$infos['CD_NOM']] = $taxref[$infos['CD_NOM']];
|
|
|
219 |
}
|
|
|
220 |
unset($donnees[$num_nom]['CD_SUP']);
|
|
|
221 |
if (isset($correspondance[$infos['CD_REF']])) {
|
|
|
222 |
$donnees[$num_nom]['num_nom_retenu'] = "num_nom_retenu=".$correspondance[$infos['CD_REF']];
|
|
|
223 |
$j++;
|
|
|
224 |
} elseif ($infos['CD_REF'] != '') {$k++;
|
|
|
225 |
$donnees[$num_nom]['num_nom_retenu'] = "num_nom_retenu=''";
|
|
|
226 |
$ref[$infos['CD_NOM']] = $taxref[$infos['CD_NOM']];
|
|
|
227 |
} else {
|
|
|
228 |
Debug::printr($infos['CD_NOM']."n'a pas de valeur pour CD_REF");
|
|
|
229 |
}
|
|
|
230 |
unset($donnees[$num_nom]['CD_REF']);
|
|
|
231 |
$donnees[$num_nom]['CD_NOM'] = 'num_taxref='.$donnees[$num_nom]['CD_NOM'];
|
|
|
232 |
}
|
| 269 |
delphine |
233 |
//$this->ecrireFichierCsv($ref, './retenu_absent.csv');
|
|
|
234 |
//$this->ecrireFichierCsv($sup, './superieur_absent.csv');
|
| 267 |
delphine |
235 |
echo "$j correspondance pour nom retenu $i correspondance pour nom sup $k non pas de correspondance retenu";
|
|
|
236 |
return $donnees;
|
|
|
237 |
}
|
|
|
238 |
|
|
|
239 |
private function ecrireFichierCsv(&$contenu, $fichier) {
|
|
|
240 |
$retour = true;
|
|
|
241 |
$fichier = fopen($fichier, "w");
|
|
|
242 |
fputcsv($fichier, $this->noms_colonnes, chr('9'));
|
|
|
243 |
foreach ($contenu as $ligne) {
|
|
|
244 |
if (fputcsv($fichier, $ligne, chr('9')) == false) {
|
|
|
245 |
$e = "Une erreur est survenu lors de l'écriture du fichier : $fichier";
|
|
|
246 |
Debug::printr($e);
|
|
|
247 |
$retour = false;
|
|
|
248 |
}
|
|
|
249 |
}
|
|
|
250 |
$contenu = null;
|
|
|
251 |
return $retour;
|
|
|
252 |
}
|
|
|
253 |
|
|
|
254 |
private function creerCorrespondanceRangBdntTaxref() {
|
|
|
255 |
$rangs = explode(',', $this->manuel['rangs_bdnt_taxref']);
|
|
|
256 |
foreach ($rangs as $rang) {
|
|
|
257 |
list($id_bdnt, $code_taxref) = explode(':', trim($rang));
|
|
|
258 |
$this->rangs_bdnt_taxref[$code_taxref] = $id_bdnt;
|
|
|
259 |
}
|
|
|
260 |
}
|
|
|
261 |
|
|
|
262 |
private function connecterPDO() {
|
|
|
263 |
Config::charger('./configurations/bdd.ini');
|
|
|
264 |
try {
|
| 269 |
delphine |
265 |
$dsn = Config::get('bdd_type').':dbname='.Config::get('bdd_nom').';host='.
|
|
|
266 |
Config::get('bdd_hote');
|
|
|
267 |
$this->bdd = new PDO($dsn, Config::get('bdd_utilisateur'), Config::get('bdd_mot_de_passe'));
|
| 267 |
delphine |
268 |
} catch (PDOException $e) {
|
|
|
269 |
print_r($e);
|
|
|
270 |
echo 'La connexion à la base de donnée via PDO a échouée : ' . $e->getMessage();
|
|
|
271 |
}
|
|
|
272 |
// Passe en UTF-8 la connexion à la BDD
|
|
|
273 |
$this->bdd->exec("SET NAMES 'utf8'");
|
|
|
274 |
// Affiche les erreurs détectées par PDO (sinon mode silencieux => aucune erreur affiché)
|
|
|
275 |
$this->bdd->setAttribute(PDO::ATTR_ERRMODE, PDO::ERRMODE_EXCEPTION);
|
|
|
276 |
}
|
|
|
277 |
|
|
|
278 |
protected function executerRequeter($requete) {
|
|
|
279 |
$infos = null;
|
|
|
280 |
try {
|
|
|
281 |
$infos = $this->bdd->query($requete);
|
|
|
282 |
if ($infos === false) {
|
|
|
283 |
echo $requete;
|
|
|
284 |
}
|
|
|
285 |
} catch (PDOException $e) {
|
|
|
286 |
//print_r($this->bdd->errorInfo());
|
|
|
287 |
echo sprintf($e->getFile(), $e->getLine(), $e->getMessage(), $e->getCode()); //echo $requete;
|
|
|
288 |
}
|
|
|
289 |
return $infos;
|
|
|
290 |
}
|
|
|
291 |
}
|
|
|
292 |
?>
|