Subversion Repositories eFlore/Applications.coel

Rev

Rev 1877 | Show entire file | Ignore whitespace | Details | Blame | Last modification | View Log | RSS feed

Rev 1877 Rev 1884
Line 5... Line 5...
5
 */
5
 */
6
class Import extends Script {
6
class Import extends Script {
7
	private $bdd = null;
7
	private $bdd = null;
8
	private $auteurs = array();
8
	private $auteurs = array();
9
	protected $parametres_autorises = array(
9
	protected $parametres_autorises = array(
10
			'-n' => array(true, false, 'Nom du fichier à importer.'));
10
			'-n' => array(true, false, 'Nom du fichier à importer.'),
-
 
11
			'-u' => array(false, false, 'Infos utilisateur sous forme de JSON contenant : id, session et ip'));
Line 11... Line 12...
11
	
12
	
12
	protected $table_publication = null;
13
	protected $table_publication = null;
13
	protected $table_auteur = null;
14
	protected $table_auteur = null;
-
 
15
	protected $table_publication_a_auteur = null;
-
 
16
	protected $table_meta = null;
-
 
17
	
-
 
18
	protected $id_table_publication = null;
Line 14... Line 19...
14
	protected $table_publication_a_auteur = null;
19
	protected $id_table_publication_personne = null;
Line 15... Line 20...
15
	
20
	
16
	protected $id_role_auteur = null;
21
	protected $id_role_auteur = null;
Line 17... Line 22...
17
	
22
	
18
	protected $colonnes_obligatoires = array();
23
	protected $colonnes_obligatoires = array();
19
	protected $colonnes_acceptees = array();
24
	protected $colonnes_acceptees = array();
Line -... Line 25...
-
 
25
	
-
 
26
	protected $cache_auteur = array();
-
 
27
	protected $auteurs_a_publis = array();
-
 
28
	protected $publis_a_auteurs = array();
-
 
29
	
-
 
30
	protected $id_utilisateur = 0;
20
	
31
	protected $id_session = 0;
21
	protected $cache_auteur = array();
32
	protected $ip_utilisateur = "127.0.01";
22
	protected $auteurs_a_publis = array();
33
	
23
	protected $publis_a_auteurs = array();
34
	const ETAT_AJOUTER = 1;
Line 24... Line 35...
24
	
35
	
25
	public function __construct($script_nom, $parametres) {
36
	public function __construct($script_nom, $parametres) {
26
		parent::__construct($script_nom, $parametres);
37
		parent::__construct($script_nom, $parametres);
27
		$this->bdd = new Bdd();
38
		$this->bdd = new Bdd();
28
	}
39
	}
-
 
40
	
-
 
41
	public function executer() {
-
 
42
		try {
-
 
43
			$this->initialiserScript();
29
	
44
			$cmd = $this->getParametre('a');
30
	public function executer() {
45
			$fichier = $this->getParametre('n');
31
		try {
46
			$utilisateur = $this->getParametre('u');
32
			$this->initialiserScript();
47
			
33
			$cmd = $this->getParametre('a');
48
			$this->traiterInfosUtilisateur($utilisateur);
Line 46... Line 61...
46
		// car le script est surtout destiné à être appelé par un web service
61
		// car le script est surtout destiné à être appelé par un web service
47
		echo $resultat;
62
		echo $resultat;
48
		exit;
63
		exit;
49
	}
64
	}
Line -... Line 65...
-
 
65
	
-
 
66
	private function traiterInfosUtilisateur($utilisateur) {
-
 
67
		$utilisateur_infos = json_decode($utilisateur, true);
-
 
68
		if(!empty($utilisateur_infos)) {
-
 
69
			$this->id_utilisateur = !empty($utilisateur_infos['id']) ? $utilisateur_infos['id'] : $this->id_utilisateur;
-
 
70
			$this->id_session = !empty($utilisateur_infos['session']) ? $utilisateur_infos['session'] : $this->id_session;
-
 
71
			$this->ip_utilisateur = !empty($utilisateur_infos['ip']) ? $utilisateur_infos['ip'] : $this->ip_utilisateur;
-
 
72
		}
-
 
73
	}
50
	
74
	
51
	private function initialiserScript() {
75
	private function initialiserScript() {
52
		$fichierIni = $this->getScriptChemin().'import.ini';
76
		$fichierIni = $this->getScriptChemin().'import.ini';
53
		if (file_exists($fichierIni)) {
77
		if (file_exists($fichierIni)) {
54
			Config::charger($fichierIni);
78
			Config::charger($fichierIni);
Line 63... Line 87...
63
		
87
		
64
		$tables = Config::get('tables');
88
		$tables = Config::get('tables');
65
		$this->table_publication = $tables['publication'];
89
		$this->table_publication = $tables['publication'];
66
		$this->table_auteur = $tables['auteur'];
90
		$this->table_auteur = $tables['auteur'];
-
 
91
		$this->table_publication_a_auteur = $tables['publication_a_auteur'];
-
 
92
		$this->table_meta = $tables['meta'];
-
 
93
		
-
 
94
		$this->id_table_publication = $tables['id_table_publication'];
Line 67... Line 95...
67
		$this->table_publication_a_auteur = $tables['publication_a_auteur'];
95
		$this->id_table_publication_personne = $tables['id_table_publication_personne'];
68
		
96
		
Line 69... Line 97...
69
		$this->id_role_auteur = $tables['id_role_auteur'];
97
		$this->id_role_auteur = $tables['id_role_auteur'];
Line 106... Line 134...
106
		foreach($index_colonnes_refusees as $colonne_refusee) {
134
		foreach($index_colonnes_refusees as $colonne_refusee) {
107
			unset($index_colonnes_importees[$colonne_refusee]);
135
			unset($index_colonnes_importees[$colonne_refusee]);
108
		}
136
		}
Line 109... Line 137...
109
		
137
		
-
 
138
		$roles_a_num_colonnes = array_flip($index_colonnes_importees);
-
 
139
			
-
 
140
		// Ajout de la colonne nom complet aux champs de la requête
Line -... Line 141...
-
 
141
		$colonnes_importees[] = 'cpu_fmt_nom_complet';
110
		$roles_a_num_colonnes = array_flip($index_colonnes_importees);
142
 
111
 
143
		$nb_publis_inserees = 0;
112
		$lignes = array();
144
		$lignes = array();
-
 
145
		while($ligne = fgetcsv($pointeur, 0, ";")) {
-
 
146
			$ligne_inseree = array();
113
		while($ligne = fgetcsv($pointeur, 0, ";")) {
147
			
114
			$ligne_inseree = array();
148
			// Traitement des champs suivant leur role
115
			foreach($ligne as $index => &$valeur) {
149
			foreach($ligne as $index => &$valeur) {
116
				if(!in_array($index, $index_colonnes_refusees)) {
150
				if(!in_array($index, $index_colonnes_refusees)) {
117
					$ligne_inseree[] = $this->traiterChamp($valeur, $index_colonnes_importees[$index]);
151
					$ligne_inseree[] = $this->traiterChamp($valeur, $index_colonnes_importees[$index]);
-
 
152
				}
118
				}
153
			}
119
			}
154
			
120
			// Ajout du nom complet formaté de la publication
155
			// Ajout du nom complet formaté de la publication
-
 
156
			$nom_complet = $this->bdd->proteger($this->formaterNomComplet($ligne, $index_colonnes_importees));
121
			$nom_complet = $this->bdd->proteger($this->formaterNomComplet($ligne, $index_colonnes_importees));
157
			$ligne_inseree[] = $nom_complet;
-
 
158
			
-
 
159
			$id_publication = $this->insererPublication($colonnes_importees, $ligne_inseree);
-
 
160
			// TODO: quoi faire en cas d'échec pour une publication ?
-
 
161
			if(!empty($id_publication)) {	
-
 
162
				$nb_publis_inserees++;
-
 
163
				// Pour aller plus vite on pourrait éventuellement faire une grosse requete d'ajout des publications
-
 
164
				// à personne à la fin, mais ça nous priverait de faire une transaction (TODO: faire une transaction)
Line 122... Line -...
122
			$ligne_inseree[] = $nom_complet;
-
 
123
			$lignes[] = "(".implode(",", $ligne_inseree).")";
165
				$nb_auteurs_lies = $this->insererLiensPublicationAuteurs($id_publication, $ligne[$roles_a_num_colonnes['auteur']]);
124
 
-
 
125
			$this->stockerAuteursPourLiaisons($ligne[$roles_a_num_colonnes['auteur']], $nom_complet);
-
 
126
		}
-
 
127
		
-
 
128
		// Ajout de la colonne nom complet aux champs de la requête
-
 
129
		$colonnes_importees[] = 'cpu_fmt_nom_complet';
-
 
130
				
-
 
Line 131... Line 166...
131
		// le script renvoie le nombre de publications importées
166
			}
132
		$nb_publis_inserees = $this->insererPublications($colonnes_importees, $lignes);
167
 
Line -... Line 168...
-
 
168
		}
133
		$nb_auteurs_lies = $this->insererLiensPublicationsAuteurs();
169
			
-
 
170
		return $nb_publis_inserees;
134
			
171
	}
135
		return $nb_publis_inserees;
172
	
-
 
173
	
136
	}
174
	private function insererPublication(&$colonnes, &$publication) {		
-
 
175
		$requete = "INSERT INTO ".$this->table_publication." ".
-
 
176
				"(".implode(',', $colonnes).") ".
137
	
177
				"VALUES (".implode(",", $publication).")";
138
	private function stockerAuteursPourLiaisons($infos_auteurs, $nom_complet_publication) {
178
					
139
		// Découpage des différents auteurs 
179
		$insertion = $this->bdd->executer($requete);
140
		$auteurs_tab = explode(',', $infos_auteurs);
180
		$id_publi = $this->bdd->recupererIdDernierAjout();
141
		$auteurs_tab = array_filter($auteurs_tab);
181
 
142
		foreach($auteurs_tab as $auteur) {
182
		// Historisation de l'ajout
143
			// si les infos auteurs sont un tableau dans le cache alors son id existe bien en base de données
183
		$histo = $this->creerXmlHisto(array_combine($colonnes, $publication));
144
			if(is_array($this->cache_auteur[$auteur])) {
184
		$id_meta = $this->historiser($this->id_table_publication, $id_publi, $histo);
-
 
185
		// Affectation des méta données concernat l'ajout à la publication
145
				// ajout d'une correspondance entre le nom complet de la publi et l'auteur (pour liaison ultérieure)
186
		$requete_affectation_meta = "UPDATE  ".$this->table_publication." ".
-
 
187
				"SET cpu_ce_meta = ".$id_meta." ".
146
				// et vice versa, ce qui permet facilement de retrouver à quel auteur est lié quelle publi dans les deux sens
188
				"WHERE cpu_id_publication = ".$id_publi;
Line 147... Line 189...
147
				$this->auteurs_a_publi[$auteur][] = $nom_complet_publication;
189
 
148
				$this->publis_a_auteurs[$nom_complet_publication][] = $auteur;
-
 
149
			}
190
		$this->bdd->executer($requete_affectation_meta);
150
		}
191
		
151
	}
192
		return $id_publi;
Line 152... Line 193...
152
	
193
	}
-
 
194
	
153
	protected function insererLiensPublicationsAuteurs() {
195
	protected function insererLiensPublicationAuteurs($id_publication, &$auteurs) {
-
 
196
		$colonnes = array('cpuap_id_publication', 'cpuap_id_personne', 'cpuap_id_role', 'cpuap_ce_truk_type', 'cpuap_ordre', 'cpuap_ce_meta');
-
 
197
		$requete = "INSERT IGNORE INTO ".$this->table_publication_a_auteur." ".
154
				
198
				"(".implode(",", $colonnes).") VALUES ";
155
		$champs = array('cpuap_id_publication', 'cpuap_id_personne', 'cpuap_id_role', 'cpuap_ce_truk_type', 'cpuap_ordre', 'cpuap_ce_meta');
199
		
156
		$requete = "INSERT IGNORE INTO ".$this->table_publication_a_auteur." ".
200
		// L'ordre des auteurs commence à 1
157
					"(".implode(",", $champs).") VALUES "; 
201
		$ordre_auteur = 1; 
-
 
202
		
158
		
203
		// Découpage des différents auteurs
-
 
204
		$auteurs_tab = explode(',', $auteurs);
Line 159... Line 205...
159
		foreach($this->auteurs_a_publi as $auteur => $publis) {		
205
		$auteurs_tab = array_filter($auteurs_tab);
-
 
206
		
-
 
207
		// Les auteurs sont normalement cités dans l'ordre dans l'import
-
 
208
		foreach($auteurs_tab as $auteur) {			
-
 
209
			// si les infos auteurs sont un tableau dans le cache alors l'id existe bien en base de données
-
 
210
			if(is_array($this->cache_auteur[$auteur])) {				
-
 
211
				$id_auteur = $this->cache_auteur[$auteur]['cp_id_personne'];
160
			
212
				
-
 
213
				$valeurs = array($id_publication, $id_auteur, $this->id_role_auteur, "NULL", $ordre_auteur, "0");
Line 161... Line 214...
161
			$id_auteur = $this->cache_auteur[$auteur]['cp_id_personne'];
214
			
162
			
215
				$requete_insertion = $requete." (".implode(',', $valeurs).") ";
163
			// Pour chaque publication importée à laquelle est liée l'auteur
216
				$liaison = $this->bdd->executer($requete_insertion);
164
			// il peut avoir un ordre différent
217
								
-
 
218
				// Historisation de l'ajout
-
 
219
				$histo = $this->creerXmlHisto(array_combine($colonnes, $liaison));
-
 
220
				$cle_liaison = $id_publication.'-'.$this->id_role_auteur.'-'.$id_auteur;
-
 
221
				$id_meta = $this->historiser($this->id_table_publication_personne, $cle_liaison, $histo);
-
 
222
				
165
			foreach($publis as $publi) {		
223
				// Affectation des méta données concernant l'ajout à la publication à auteur
166
				
224
				$requete_affectation_meta = "UPDATE  ".$this->table_publication_a_auteur." ".
167
				// l'ordre des auteurs commence à 1, les auteurs sont stockés dans l'ordre dans publis_a_auteurs
225
						"SET cpuap_ce_meta = ".$id_meta;
-
 
226
				$this->bdd->executer($requete_affectation_meta);
-
 
227
			}
-
 
228
			// L'ordre des auteurs est conservé même pour ceux qui n'existe pas dans la bdd 
-
 
229
			$ordre_auteur++;
168
				$ordre_auteur = array_search($auteur, $this->publis_a_auteurs[$publi]) + 1;
230
		}
-
 
231
	}
169
				
232
	
170
				// Le nom complet de la publication est normalement unique et donc peut servir à retrouver 
233
	protected function creerXmlHisto($donnees) {
171
				// les publications qui ont été insérées par lot (sans en récupérer l'id)
234
		// Création du xml de l'enregistrement à historiser
172
				$sous_requete_id_publi = "SELECT cpu_id_publication FROM coel_publication ".
235
		$info = null;
173
							"WHERE cpu_fmt_nom_complet IN (".$publi.") ";
236
		$xml_tpl = '<?xml version="1.0" encoding="UTF-8" ?>'."\n<resultset>\n<row>\n%s</row>\n</resultset>";
174
							
-
 
175
				$requete_insertion = $requete." (".
237
		$xml = null;
-
 
238
			
-
 
239
		foreach ($donnees as $cle => $valeur) {
-
 
240
			// Pour éviter un éventuel double échappement des valeurs
176
										" (".$sous_requete_id_publi."), ".
241
			$valeur = stripslashes($valeur);
-
 
242
			$valeur = trim($valeur, "'");
-
 
243
			if (!is_null($valeur) && $valeur != '') {
-
 
244
				$xml .= "<$cle>$valeur</$cle>\n";
-
 
245
			}
177
										$this->bdd->proteger($id_auteur).", ".
246
		}
-
 
247
		if ($xml !== null) {
-
 
248
			$info = sprintf($xml_tpl, $xml);
-
 
249
			$info = $this->bdd->proteger($info);
-
 
250
		}
178
										$this->id_role_auteur.", ".
251
	
-
 
252
		return $info;
-
 
253
	}
-
 
254
	
-
 
255
	protected function historiser($table_id, $ligne_cle, $info) {
-
 
256
		date_default_timezone_set('Europe/Paris');
-
 
257
		// Pré-traitement des variables
-
 
258
		$info = (is_null($info)) ? 'NULL' : $info;
-
 
259
	
-
 
260
		// Historisation (Ajout des méta-données)
-
 
261
		$requete = 	'INSERT INTO coel_meta_historique_ligne '.
-
 
262
				'	(cmhl_ce_table, cmhl_cle_ligne, cmhl_enregistrement, cmhl_date_modification, cmhl_ce_modifier_par, cmhl_ce_etat, cmhl_ip, cmhl_session_id) '.
-
 
263
				'VALUES ('.
-
 
264
				"		$table_id, ".
179
										"NULL ,".
265
				'		"'.$ligne_cle.'", '.
Line 180... Line 266...
180
										$ordre_auteur.", ".
266
				"		$info, ".
Line 181... Line 267...
181
										"NULL".
267
				'		"'.date('Y-m-d H:i:s', time()).'", '.
Line 226... Line 312...
226
		$fmt_nom_complet = implode(", ", $fmt_nom_complet);
312
		$fmt_nom_complet = implode(", ", $fmt_nom_complet);
Line 227... Line 313...
227
		
313
		
228
		return $fmt_nom_complet;
314
		return $fmt_nom_complet;
Line 229... Line -...
229
	}
-
 
230
	
-
 
231
	private function insererPublications(&$colonnes, &$publications) {
-
 
232
		
-
 
233
		// Une insertion par tranche de 1000 permet d'insérer sans avoir de mysql
-
 
234
		// timeout qui nécessite de réveiller la connexion de temps en temps.
-
 
235
		// TODO: transactions ?
-
 
236
		$tranches_publis = array_chunk($publications, 1000);
-
 
237
		$nb_publis_inserees = 0; 
-
 
238
		
-
 
239
		foreach($tranches_publis as $tranche) {
-
 
240
		
-
 
241
			$requete = "INSERT INTO ".$this->table_publication." ".
-
 
242
					   	"(".implode(',', $colonnes).") ".
-
 
243
					   "VALUES ".implode(","."\n", $tranche)."\n";
-
 
244
			
-
 
245
			$nb_publis_inserees += $this->bdd->executer($requete);
-
 
246
		}
-
 
247
 
-
 
248
		return $nb_publis_inserees;
-
 
249
	}
315
	}
250
	
316
	
251
	private function traiterChamp($valeur, $role) {
317
	private function traiterChamp($valeur, $role) {
252
		switch($role) {
318
		switch($role) {
253
			case 'auteur':
319
			case 'auteur':
Line 288... Line 354...
288
			$auteur = $this->fabriquerCombinaisonsAuteur($auteur_intitule);
354
			$auteur = $this->fabriquerCombinaisonsAuteur($auteur_intitule);
289
			$auteur_req = "(".implode(', ', $auteur).")";
355
			$auteur_req = "(".implode(', ', $auteur).")";
Line 290... Line 356...
290
			
356
			
291
			$requete = "SELECT cp_id_personne, cp_fmt_nom_complet FROM ".$this->table_auteur." WHERE cp_fmt_nom_complet IN ".$auteur_req;
357
			$requete = "SELECT cp_id_personne, cp_fmt_nom_complet FROM ".$this->table_auteur." WHERE cp_fmt_nom_complet IN ".$auteur_req;
292
			$infos_auteur = $this->bdd->recupererTous($requete);
358
			$infos_auteur = $this->bdd->recupererTous($requete);
293
			
359
						
294
			// Stockage en cache de la ligne de bdd si trouvé,
360
			// Stockage en cache de la ligne de bdd si trouvé,
295
			// de la valeur brute sinon
361
			// de la valeur brute sinon
296
			if(!empty($infos_auteur)) {
362
			if(!empty($infos_auteur)) {
297
				$retour = $infos_auteur[0]['cp_fmt_nom_complet'];
363
				$retour = $infos_auteur[0]['cp_fmt_nom_complet'];
-
 
364
				$this->cache_auteur[$auteur_intitule] = $infos_auteur[0];
-
 
365
				// Stocker le nom d'auteur sous les deux formes (fmt nom complet et tel que saisi), facilite la recherche
-
 
366
				// plus tard lors de la liaison des publications aux auteurs
298
				$this->cache_auteur[$auteur_intitule] = $infos_auteur[0];
367
				$this->cache_auteur[$infos_auteur[0]['cp_fmt_nom_complet']] = $infos_auteur[0];
299
			} else {
368
			} else {
300
				$retour = $auteur_intitule;
369
				$retour = $auteur_intitule;
301
				$this->cache_auteur[$auteur_intitule] = $auteur_intitule;
370
				$this->cache_auteur[$auteur_intitule] = $auteur_intitule;
302
			}
371
			}