Subversion Repositories eFlore/Projets.eflore-projets

Rev

Rev 349 | Go to most recent revision | Details | Compare with Previous | Last modification | View Log | RSS feed

Rev Author Line No. Line
11 jpm 1
<?php
2
/** Exemple lancement:
22 jpm 3
 * /opt/lampp/bin/php -d memory_limit=3500M ~/web/eflore-projets/scripts/cli.php nvjfl
28 jpm 4
 * 		-a chargerTous
11 jpm 5
 * Options :
28 jpm 6
 * -t : Permet de tester le script sur un jeux réduit de données (indiquer le nombre de lignes).
11 jpm 7
*/
79 jpm 8
class Nvjfl extends EfloreScript {
11 jpm 9
 
22 jpm 10
	private $nomsIndex = array();
11
	private $numeroIndex = 1;
12
 
11 jpm 13
	protected $parametres_autorises = array(
105 jpm 14
		'-t' => array(false, false, 'Permet de tester le script sur un jeux réduit de données (indiquer le nombre de lignes).'));
11 jpm 15
 
16
	public function executer() {
838 raphael 17
		// désactive le problématique gestionnaire d'erreur du framework
18
		restore_error_handler();
19
		restore_exception_handler();
20
		ini_set('mysql.default_socket', '/home/raphael/web/mysql/mysql.sock');
11 jpm 21
		// Lancement de l'action demandée
22 jpm 22
		try {
79 jpm 23
			$this->initialiserProjet('nvjfl');
24 jpm 24
 
22 jpm 25
			$cmd = $this->getParametre('a');
26
		    switch ($cmd) {
24 jpm 27
		    	case 'chargerTous' :
44 jpm 28
		    		$this->chargerStructureSql();
24 jpm 29
		    		$this->chargerNvjfl();
30
		    		$this->chargerBiblio();
31
		    		$this->chargerBiblioLien();
27 jpm 32
		    		$this->chargerOntologies();
24 jpm 33
		    		break;
53 jpm 34
	    		case 'chargerStructure' :
35
	    			$this->chargerStructureSql();
36
	    			break;
24 jpm 37
				case 'chargerNvjfl' :
38
					$this->chargerNvjfl();
22 jpm 39
					break;
24 jpm 40
				case 'chargerBiblio' :
41
					$this->chargerBiblio();
42
					break;
43
				case 'chargerBiblioLien' :
44
					$this->chargerBiblioLien();
45
					break;
27 jpm 46
				case 'chargerOntologies' :
47
					$this->chargerOntologies();
48
					break;
130 jpm 49
				case 'supprimerTous' :
50
					$this->supprimerTous();
51
					break;
22 jpm 52
				default :
79 jpm 53
					throw new Exception("Erreur : la commande '$cmd' n'existe pas!");
22 jpm 54
			}
55
		} catch (Exception $e) {
56
			$this->traiterErreur($e->getMessage());
11 jpm 57
		}
58
    }
24 jpm 59
 
22 jpm 60
    /**
24 jpm 61
     * Charge le fichier en créant un id pour chaque nom vernaculaire.
22 jpm 62
     */
24 jpm 63
	private function chargerNvjfl() {
64
		//Debug::printr(Config::get('fichiers'));
65
		$fichierOuvert = $this->ouvrirFichier(Config::get('chemins.nvjfl'));
11 jpm 66
 
838 raphael 67
		while(($donnees = $this->analyserFichier($fichierOuvert))) {
68
			foreach ($donnees as $donnee) {
69
				$requete = 'INSERT INTO '.Config::get('tables.nvjfl').' VALUES ('.implode(', ', $donnee).')';
70
				var_dump($donnee);die;
71
				$this->getBdd()->requeter($requete);
72
 
73
				$this->afficherAvancement("Insertion des noms vernaculaires dans la base de données");
74
				if ($this->stopperLaBoucle($this->getParametre('t'))) {
75
					break;
76
				}
22 jpm 77
			}
838 raphael 78
			echo "\n";
22 jpm 79
		}
838 raphael 80
		fclose($fichierOuvert);
22 jpm 81
	}
82
 
838 raphael 83
	private function analyserFichier($fichierOuvert, $limite = 30000) {
84
		static $passe = 1;
85
		if($passe == 1) $entetesCsv = fgets($fichierOuvert);
22 jpm 86
		$donnees = array();
838 raphael 87
		while (count($donnees) < $limite && ($ligneCsv = fgets($fichierOuvert))) {
22 jpm 88
			$champs = explode("\t", trim($ligneCsv));
24 jpm 89
			if (count($champs) > 0) {
105 jpm 90
				if (isset($champs[2])) {
91
					$nomVernaculaire = $champs[2];
92
					$indexCourrant = $this->getIndexNomVernaculaire($nomVernaculaire);
93
					$champs = array_merge(array($indexCourrant), $champs);
94
					$donnees[] = $this->protegerValeursDesChamps($champs);
95
				}
24 jpm 96
			}
838 raphael 97
			$this->afficherAvancement("Analyse du fichier des noms vernaculaires (passe $passe)");
22 jpm 98
			if ($this->stopperLaBoucle()) {
99
				break;
100
			}
101
		}
838 raphael 102
		$passe++;
22 jpm 103
		echo "\n";
104
		return $donnees;
105
	}
106
 
107
	private function getIndexNomVernaculaire($nomVernaculaire) {
108
		$indexCourrant = null;
109
		if (array_key_exists($nomVernaculaire, $this->nomsIndex) == false) {
110
			$this->nomsIndex[$nomVernaculaire] = $this->numeroIndex++;
111
		}
112
		$indexCourrant = $this->nomsIndex[$nomVernaculaire];
838 raphael 113
		echo "$nomVernaculaire : $indexCourrant\n";
22 jpm 114
		return $indexCourrant;
115
	}
116
 
117
	private function ouvrirFichier($chemin) {
118
		$fichierOuvert = false;
119
		if ($chemin) {
120
			if (file_exists($chemin) === true) {
121
				$fichierOuvert = fopen($chemin, 'r');
122
				if ($fichierOuvert == false) {
123
					throw new Exception("Le fichier $chemin n'a pas pu être ouvert.");
11 jpm 124
				}
125
			} else {
22 jpm 126
				throw new Exception("Le fichier $chemin est introuvable.");
11 jpm 127
			}
22 jpm 128
		} else {
129
			throw new Exception("Aucun chemin de fichier n'a été fourni.");
11 jpm 130
		}
22 jpm 131
		return $fichierOuvert;
11 jpm 132
	}
22 jpm 133
 
134
	private function protegerValeursDesChamps($champs) {
135
		$champsProteges = array();
136
		for ($i = 0; $i < 9; $i++) {
137
			$valeur = isset($champs[$i]) ? $champs[$i] : '';
79 jpm 138
			$champsProteges[] = $this->getBdd()->proteger($valeur);
22 jpm 139
		}
140
		return $champsProteges;
141
	}
24 jpm 142
 
143
	private function chargerBiblio() {
144
		$cheminsNvjflBiblio = Config::get('chemins.nvjflBiblio');
145
		$tableNvjflBiblio = Config::get('tables.nvjflBiblio');
146
		$requete = "LOAD DATA INFILE '$cheminsNvjflBiblio' ".
147
			"REPLACE INTO TABLE $tableNvjflBiblio ".
148
			'CHARACTER SET utf8 '.
149
			'FIELDS '.
150
			"	TERMINATED BY '\t' ".
151
			"	ENCLOSED BY '' ".
152
			"	ESCAPED BY '\\\' ".
153
			'IGNORE 1 LINES';
79 jpm 154
		$this->getBdd()->requeter($requete);
24 jpm 155
	}
156
 
157
	private function chargerBiblioLien() {
158
		$cheminNvjflLienBiblio = Config::get('chemins.nvjflLienBiblio');
159
		$tableNvjflLienBiblio = Config::get('tables.nvjflLienBiblio');
160
		$requete = "LOAD DATA INFILE '$cheminNvjflLienBiblio' ".
161
			"REPLACE INTO TABLE $tableNvjflLienBiblio ".
162
			'CHARACTER SET utf8 '.
163
			'FIELDS '.
164
			"	TERMINATED BY '\t' ".
165
			"	ENCLOSED BY '' ".
166
			"	ESCAPED BY '\\\' ".
167
			'IGNORE 1 LINES';
79 jpm 168
		$this->getBdd()->requeter($requete);
24 jpm 169
	}
27 jpm 170
 
171
	private function chargerOntologies() {
172
		$cheminOntologies = Config::get('chemins.ontologies');
173
		$tableOntologies = Config::get('tables.ontologies');
174
		$requete = "LOAD DATA INFILE '$cheminOntologies' ".
175
				"REPLACE INTO TABLE $tableOntologies ".
176
				'CHARACTER SET utf8 '.
177
				'FIELDS '.
178
				"	TERMINATED BY '\t' ".
179
				"	ENCLOSED BY '' ".
180
				"	ESCAPED BY '\\\' ".
181
				'IGNORE 1 LINES';
79 jpm 182
		$this->getBdd()->requeter($requete);
27 jpm 183
	}
130 jpm 184
 
185
	private function supprimerTous() {
349 jpm 186
		$requete = "DROP TABLE IF EXISTS nvjfl_biblio_v2007, nvjfl_lien_biblio_v2007, nvjfl_meta, nvjfl_ontologies_v2007, nvjfl_v2007";
130 jpm 187
		$this->getBdd()->requeter($requete);
188
	}
11 jpm 189
}
190
?>