Subversion Repositories eFlore/Applications.coel

Rev

Rev 1877 | Show entire file | Ignore whitespace | Details | Blame | Last modification | View Log | RSS feed

Rev 1877 Rev 1884
Line 5... Line 5...
5 
 */
 5 
 */
6 
class Import extends Script {
 6 
class Import extends Script {
7 
	private $bdd = null;
 7 
	private $bdd = null;
8 
	private $auteurs = array();
 8 
	private $auteurs = array();
9 
	protected $parametres_autorises = array(
 9 
	protected $parametres_autorises = array(
10 
			'-n' => array(true, false, 'Nom du fichier à importer.'));
 10 
			'-n' => array(true, false, 'Nom du fichier à importer.'),
- 
 
 11 
			'-u' => array(false, false, 'Infos utilisateur sous forme de JSON contenant : id, session et ip'));
Line 11... Line 12...
11
12
12 
	protected $table_publication = null;
 13 
	protected $table_publication = null;
13 
	protected $table_auteur = null;
 14 
	protected $table_auteur = null;
- 
 
 15 
	protected $table_publication_a_auteur = null;
- 
 
 16 
	protected $table_meta = null;
- 
 
 17
- 
 
 18 
	protected $id_table_publication = null;
Line 14... Line 19...
14 
	protected $table_publication_a_auteur = null;
 19 
	protected $id_table_publication_personne = null;
Line 15... Line 20...
15
20
16 
	protected $id_role_auteur = null;
 21 
	protected $id_role_auteur = null;
Line 17... Line 22...
17
22
18 
	protected $colonnes_obligatoires = array();
 23 
	protected $colonnes_obligatoires = array();
19 
	protected $colonnes_acceptees = array();
 24 
	protected $colonnes_acceptees = array();
Line -... Line 25...
- 
 
 25
- 
 
 26 
	protected $cache_auteur = array();
- 
 
 27 
	protected $auteurs_a_publis = array();
- 
 
 28 
	protected $publis_a_auteurs = array();
- 
 
 29
- 
 
 30 
	protected $id_utilisateur = 0;
20
31 
	protected $id_session = 0;
21 
	protected $cache_auteur = array();
 32 
	protected $ip_utilisateur = "127.0.01";
22 
	protected $auteurs_a_publis = array();
 33
23 
	protected $publis_a_auteurs = array();
 34 
	const ETAT_AJOUTER = 1;
Line 24... Line 35...
24
35
25 
	public function __construct($script_nom, $parametres) {
 36 
	public function __construct($script_nom, $parametres) {
26 
		parent::__construct($script_nom, $parametres);
 37 
		parent::__construct($script_nom, $parametres);
27 
		$this->bdd = new Bdd();
 38 
		$this->bdd = new Bdd();
28 
	}
 39 
	}
- 
 
 40
- 
 
 41 
	public function executer() {
- 
 
 42 
		try {
- 
 
 43 
			$this->initialiserScript();
29
44 
			$cmd = $this->getParametre('a');
30 
	public function executer() {
 45 
			$fichier = $this->getParametre('n');
31 
		try {
 46 
			$utilisateur = $this->getParametre('u');
32 
			$this->initialiserScript();
 47
33 
			$cmd = $this->getParametre('a');
 48 
			$this->traiterInfosUtilisateur($utilisateur);
Line 46... Line 61...
46 
		// car le script est surtout destiné à être appelé par un web service
 61 
		// car le script est surtout destiné à être appelé par un web service
47 
		echo $resultat;
 62 
		echo $resultat;
48 
		exit;
 63 
		exit;
49 
	}
 64 
	}
Line -... Line 65...
- 
 
 65
- 
 
 66 
	private function traiterInfosUtilisateur($utilisateur) {
- 
 
 67 
		$utilisateur_infos = json_decode($utilisateur, true);
- 
 
 68 
		if(!empty($utilisateur_infos)) {
- 
 
 69 
			$this->id_utilisateur = !empty($utilisateur_infos['id']) ? $utilisateur_infos['id'] : $this->id_utilisateur;
- 
 
 70 
			$this->id_session = !empty($utilisateur_infos['session']) ? $utilisateur_infos['session'] : $this->id_session;
- 
 
 71 
			$this->ip_utilisateur = !empty($utilisateur_infos['ip']) ? $utilisateur_infos['ip'] : $this->ip_utilisateur;
- 
 
 72 
		}
- 
 
 73 
	}
50
74
51 
	private function initialiserScript() {
 75 
	private function initialiserScript() {
52 
		$fichierIni = $this->getScriptChemin().'import.ini';
 76 
		$fichierIni = $this->getScriptChemin().'import.ini';
53 
		if (file_exists($fichierIni)) {
 77 
		if (file_exists($fichierIni)) {
54 
			Config::charger($fichierIni);
 78 
			Config::charger($fichierIni);
Line 63... Line 87...
63
87
64 
		$tables = Config::get('tables');
 88 
		$tables = Config::get('tables');
65 
		$this->table_publication = $tables['publication'];
 89 
		$this->table_publication = $tables['publication'];
66 
		$this->table_auteur = $tables['auteur'];
 90 
		$this->table_auteur = $tables['auteur'];
- 
 
 91 
		$this->table_publication_a_auteur = $tables['publication_a_auteur'];
- 
 
 92 
		$this->table_meta = $tables['meta'];
- 
 
 93
- 
 
 94 
		$this->id_table_publication = $tables['id_table_publication'];
Line 67... Line 95...
67 
		$this->table_publication_a_auteur = $tables['publication_a_auteur'];
 95 
		$this->id_table_publication_personne = $tables['id_table_publication_personne'];
68
96
Line 69... Line 97...
69 
		$this->id_role_auteur = $tables['id_role_auteur'];
 97 
		$this->id_role_auteur = $tables['id_role_auteur'];
Line 106... Line 134...
106 
		foreach($index_colonnes_refusees as $colonne_refusee) {
 134 
		foreach($index_colonnes_refusees as $colonne_refusee) {
107 
			unset($index_colonnes_importees[$colonne_refusee]);
 135 
			unset($index_colonnes_importees[$colonne_refusee]);
108 
		}
 136 
		}
Line 109... Line 137...
109
137
- 
 
 138 
		$roles_a_num_colonnes = array_flip($index_colonnes_importees);
- 
 
 139
- 
 
 140 
		// Ajout de la colonne nom complet aux champs de la requête
Line -... Line 141...
- 
 
 141 
		$colonnes_importees[] = 'cpu_fmt_nom_complet';
110 
		$roles_a_num_colonnes = array_flip($index_colonnes_importees);
 142 
 
111 
 
 143 
		$nb_publis_inserees = 0;
112 
		$lignes = array();
 144 
		$lignes = array();
- 
 
 145 
		while($ligne = fgetcsv($pointeur, 0, ";")) {
- 
 
 146 
			$ligne_inseree = array();
113 
		while($ligne = fgetcsv($pointeur, 0, ";")) {
 147
114 
			$ligne_inseree = array();
 148 
			// Traitement des champs suivant leur role
115 
			foreach($ligne as $index => &$valeur) {
 149 
			foreach($ligne as $index => &$valeur) {
116 
				if(!in_array($index, $index_colonnes_refusees)) {
 150 
				if(!in_array($index, $index_colonnes_refusees)) {
117 
					$ligne_inseree[] = $this->traiterChamp($valeur, $index_colonnes_importees[$index]);
 151 
					$ligne_inseree[] = $this->traiterChamp($valeur, $index_colonnes_importees[$index]);
- 
 
 152 
				}
118 
				}
 153 
			}
119 
			}
 154
120 
			// Ajout du nom complet formaté de la publication
 155 
			// Ajout du nom complet formaté de la publication
- 
 
 156 
			$nom_complet = $this->bdd->proteger($this->formaterNomComplet($ligne, $index_colonnes_importees));
121 
			$nom_complet = $this->bdd->proteger($this->formaterNomComplet($ligne, $index_colonnes_importees));
 157 
			$ligne_inseree[] = $nom_complet;
- 
 
 158
- 
 
 159 
			$id_publication = $this->insererPublication($colonnes_importees, $ligne_inseree);
- 
 
 160 
			// TODO: quoi faire en cas d'échec pour une publication ?
- 
 
 161 
			if(!empty($id_publication)) {
- 
 
 162 
				$nb_publis_inserees++;
- 
 
 163 
				// Pour aller plus vite on pourrait éventuellement faire une grosse requete d'ajout des publications
- 
 
 164 
				// à personne à la fin, mais ça nous priverait de faire une transaction (TODO: faire une transaction)
Line 122... Line -...
122 
			$ligne_inseree[] = $nom_complet;
 - 
 
123 
			$lignes[] = "(".implode(",", $ligne_inseree).")";
 165 
				$nb_auteurs_lies = $this->insererLiensPublicationAuteurs($id_publication, $ligne[$roles_a_num_colonnes['auteur']]);
124 
 
 - 
 
125 
			$this->stockerAuteursPourLiaisons($ligne[$roles_a_num_colonnes['auteur']], $nom_complet);
 - 
 
126 
		}
 - 
 
127
- 
 
128 
		// Ajout de la colonne nom complet aux champs de la requête
 - 
 
129 
		$colonnes_importees[] = 'cpu_fmt_nom_complet';
 - 
 
130
- 
 
Line 131... Line 166...
131 
		// le script renvoie le nombre de publications importées
 166 
			}
132 
		$nb_publis_inserees = $this->insererPublications($colonnes_importees, $lignes);
 167 
 
Line -... Line 168...
- 
 
 168 
		}
133 
		$nb_auteurs_lies = $this->insererLiensPublicationsAuteurs();
 169
- 
 
 170 
		return $nb_publis_inserees;
134
171 
	}
135 
		return $nb_publis_inserees;
 172
- 
 
 173
136 
	}
 174 
	private function insererPublication(&$colonnes, &$publication) {
- 
 
 175 
		$requete = "INSERT INTO ".$this->table_publication." ".
- 
 
 176 
				"(".implode(',', $colonnes).") ".
137
177 
				"VALUES (".implode(",", $publication).")";
138 
	private function stockerAuteursPourLiaisons($infos_auteurs, $nom_complet_publication) {
 178
139 
		// Découpage des différents auteurs
179 
		$insertion = $this->bdd->executer($requete);
140 
		$auteurs_tab = explode(',', $infos_auteurs);
 180 
		$id_publi = $this->bdd->recupererIdDernierAjout();
141 
		$auteurs_tab = array_filter($auteurs_tab);
 181 
 
142 
		foreach($auteurs_tab as $auteur) {
 182 
		// Historisation de l'ajout
143 
			// si les infos auteurs sont un tableau dans le cache alors son id existe bien en base de données
 183 
		$histo = $this->creerXmlHisto(array_combine($colonnes, $publication));
144 
			if(is_array($this->cache_auteur[$auteur])) {
 184 
		$id_meta = $this->historiser($this->id_table_publication, $id_publi, $histo);
- 
 
 185 
		// Affectation des méta données concernat l'ajout à la publication
145 
				// ajout d'une correspondance entre le nom complet de la publi et l'auteur (pour liaison ultérieure)
 186 
		$requete_affectation_meta = "UPDATE  ".$this->table_publication." ".
- 
 
 187 
				"SET cpu_ce_meta = ".$id_meta." ".
146 
				// et vice versa, ce qui permet facilement de retrouver à quel auteur est lié quelle publi dans les deux sens
 188 
				"WHERE cpu_id_publication = ".$id_publi;
Line 147... Line 189...
147 
				$this->auteurs_a_publi[$auteur][] = $nom_complet_publication;
 189 
 
148 
				$this->publis_a_auteurs[$nom_complet_publication][] = $auteur;
 - 
 
149 
			}
 190 
		$this->bdd->executer($requete_affectation_meta);
150 
		}
 191
151 
	}
 192 
		return $id_publi;
Line 152... Line 193...
152
193 
	}
- 
 
 194
153 
	protected function insererLiensPublicationsAuteurs() {
 195 
	protected function insererLiensPublicationAuteurs($id_publication, &$auteurs) {
- 
 
 196 
		$colonnes = array('cpuap_id_publication', 'cpuap_id_personne', 'cpuap_id_role', 'cpuap_ce_truk_type', 'cpuap_ordre', 'cpuap_ce_meta');
- 
 
 197 
		$requete = "INSERT IGNORE INTO ".$this->table_publication_a_auteur." ".
154
198 
				"(".implode(",", $colonnes).") VALUES ";
155 
		$champs = array('cpuap_id_publication', 'cpuap_id_personne', 'cpuap_id_role', 'cpuap_ce_truk_type', 'cpuap_ordre', 'cpuap_ce_meta');
 199
156 
		$requete = "INSERT IGNORE INTO ".$this->table_publication_a_auteur." ".
 200 
		// L'ordre des auteurs commence à 1
157 
					"(".implode(",", $champs).") VALUES ";
201 
		$ordre_auteur = 1;
- 
 
 202
158
203 
		// Découpage des différents auteurs
- 
 
 204 
		$auteurs_tab = explode(',', $auteurs);
Line 159... Line 205...
159 
		foreach($this->auteurs_a_publi as $auteur => $publis) {
205 
		$auteurs_tab = array_filter($auteurs_tab);
- 
 
 206
- 
 
 207 
		// Les auteurs sont normalement cités dans l'ordre dans l'import
- 
 
 208 
		foreach($auteurs_tab as $auteur) {
- 
 
 209 
			// si les infos auteurs sont un tableau dans le cache alors l'id existe bien en base de données
- 
 
 210 
			if(is_array($this->cache_auteur[$auteur])) {
- 
 
 211 
				$id_auteur = $this->cache_auteur[$auteur]['cp_id_personne'];
160
212
- 
 
 213 
				$valeurs = array($id_publication, $id_auteur, $this->id_role_auteur, "NULL", $ordre_auteur, "0");
Line 161... Line 214...
161 
			$id_auteur = $this->cache_auteur[$auteur]['cp_id_personne'];
 214
162
215 
				$requete_insertion = $requete." (".implode(',', $valeurs).") ";
163 
			// Pour chaque publication importée à laquelle est liée l'auteur
 216 
				$liaison = $this->bdd->executer($requete_insertion);
164 
			// il peut avoir un ordre différent
 217
- 
 
 218 
				// Historisation de l'ajout
- 
 
 219 
				$histo = $this->creerXmlHisto(array_combine($colonnes, $liaison));
- 
 
 220 
				$cle_liaison = $id_publication.'-'.$this->id_role_auteur.'-'.$id_auteur;
- 
 
 221 
				$id_meta = $this->historiser($this->id_table_publication_personne, $cle_liaison, $histo);
- 
 
 222
165 
			foreach($publis as $publi) {
223 
				// Affectation des méta données concernant l'ajout à la publication à auteur
166
224 
				$requete_affectation_meta = "UPDATE  ".$this->table_publication_a_auteur." ".
167 
				// l'ordre des auteurs commence à 1, les auteurs sont stockés dans l'ordre dans publis_a_auteurs
 225 
						"SET cpuap_ce_meta = ".$id_meta;
- 
 
 226 
				$this->bdd->executer($requete_affectation_meta);
- 
 
 227 
			}
- 
 
 228 
			// L'ordre des auteurs est conservé même pour ceux qui n'existe pas dans la bdd
- 
 
 229 
			$ordre_auteur++;
168 
				$ordre_auteur = array_search($auteur, $this->publis_a_auteurs[$publi]) + 1;
 230 
		}
- 
 
 231 
	}
169
232
170 
				// Le nom complet de la publication est normalement unique et donc peut servir à retrouver
233 
	protected function creerXmlHisto($donnees) {
171 
				// les publications qui ont été insérées par lot (sans en récupérer l'id)
 234 
		// Création du xml de l'enregistrement à historiser
172 
				$sous_requete_id_publi = "SELECT cpu_id_publication FROM coel_publication ".
 235 
		$info = null;
173 
							"WHERE cpu_fmt_nom_complet IN (".$publi.") ";
 236 
		$xml_tpl = '<?xml version="1.0" encoding="UTF-8" ?>'."\n<resultset>\n<row>\n%s</row>\n</resultset>";
174
- 
 
175 
				$requete_insertion = $requete." (".
 237 
		$xml = null;
- 
 
 238
- 
 
 239 
		foreach ($donnees as $cle => $valeur) {
- 
 
 240 
			// Pour éviter un éventuel double échappement des valeurs
176 
										" (".$sous_requete_id_publi."), ".
 241 
			$valeur = stripslashes($valeur);
- 
 
 242 
			$valeur = trim($valeur, "'");
- 
 
 243 
			if (!is_null($valeur) && $valeur != '') {
- 
 
 244 
				$xml .= "<$cle>$valeur</$cle>\n";
- 
 
 245 
			}
177 
										$this->bdd->proteger($id_auteur).", ".
 246 
		}
- 
 
 247 
		if ($xml !== null) {
- 
 
 248 
			$info = sprintf($xml_tpl, $xml);
- 
 
 249 
			$info = $this->bdd->proteger($info);
- 
 
 250 
		}
178 
										$this->id_role_auteur.", ".
 251
- 
 
 252 
		return $info;
- 
 
 253 
	}
- 
 
 254
- 
 
 255 
	protected function historiser($table_id, $ligne_cle, $info) {
- 
 
 256 
		date_default_timezone_set('Europe/Paris');
- 
 
 257 
		// Pré-traitement des variables
- 
 
 258 
		$info = (is_null($info)) ? 'NULL' : $info;
- 
 
 259
- 
 
 260 
		// Historisation (Ajout des méta-données)
- 
 
 261 
		$requete = 	'INSERT INTO coel_meta_historique_ligne '.
- 
 
 262 
				'	(cmhl_ce_table, cmhl_cle_ligne, cmhl_enregistrement, cmhl_date_modification, cmhl_ce_modifier_par, cmhl_ce_etat, cmhl_ip, cmhl_session_id) '.
- 
 
 263 
				'VALUES ('.
- 
 
 264 
				"		$table_id, ".
179 
										"NULL ,".
 265 
				'		"'.$ligne_cle.'", '.
Line 180... Line 266...
180 
										$ordre_auteur.", ".
 266 
				"		$info, ".
Line 181... Line 267...
181 
										"NULL".
 267 
				'		"'.date('Y-m-d H:i:s', time()).'", '.
Line 226... Line 312...
226 
		$fmt_nom_complet = implode(", ", $fmt_nom_complet);
 312 
		$fmt_nom_complet = implode(", ", $fmt_nom_complet);
Line 227... Line 313...
227
313
228 
		return $fmt_nom_complet;
 314 
		return $fmt_nom_complet;
Line 229... Line -...
229 
	}
 - 
 
230
- 
 
231 
	private function insererPublications(&$colonnes, &$publications) {
 - 
 
232
- 
 
233 
		// Une insertion par tranche de 1000 permet d'insérer sans avoir de mysql
 - 
 
234 
		// timeout qui nécessite de réveiller la connexion de temps en temps.
 - 
 
235 
		// TODO: transactions ?
 - 
 
236 
		$tranches_publis = array_chunk($publications, 1000);
 - 
 
237 
		$nb_publis_inserees = 0;
- 
 
238
- 
 
239 
		foreach($tranches_publis as $tranche) {
 - 
 
240
- 
 
241 
			$requete = "INSERT INTO ".$this->table_publication." ".
 - 
 
242 
					   	"(".implode(',', $colonnes).") ".
 - 
 
243 
					   "VALUES ".implode(","."\n", $tranche)."\n";
 - 
 
244
- 
 
245 
			$nb_publis_inserees += $this->bdd->executer($requete);
 - 
 
246 
		}
 - 
 
247 
 
 - 
 
248 
		return $nb_publis_inserees;
 - 
 
249 
	}
 315 
	}
250
316
251 
	private function traiterChamp($valeur, $role) {
 317 
	private function traiterChamp($valeur, $role) {
252 
		switch($role) {
 318 
		switch($role) {
253 
			case 'auteur':
 319 
			case 'auteur':
Line 288... Line 354...
288 
			$auteur = $this->fabriquerCombinaisonsAuteur($auteur_intitule);
 354 
			$auteur = $this->fabriquerCombinaisonsAuteur($auteur_intitule);
289 
			$auteur_req = "(".implode(', ', $auteur).")";
 355 
			$auteur_req = "(".implode(', ', $auteur).")";
Line 290... Line 356...
290
356
291 
			$requete = "SELECT cp_id_personne, cp_fmt_nom_complet FROM ".$this->table_auteur." WHERE cp_fmt_nom_complet IN ".$auteur_req;
 357 
			$requete = "SELECT cp_id_personne, cp_fmt_nom_complet FROM ".$this->table_auteur." WHERE cp_fmt_nom_complet IN ".$auteur_req;
292 
			$infos_auteur = $this->bdd->recupererTous($requete);
 358 
			$infos_auteur = $this->bdd->recupererTous($requete);
293
359
294 
			// Stockage en cache de la ligne de bdd si trouvé,
 360 
			// Stockage en cache de la ligne de bdd si trouvé,
295 
			// de la valeur brute sinon
 361 
			// de la valeur brute sinon
296 
			if(!empty($infos_auteur)) {
 362 
			if(!empty($infos_auteur)) {
297 
				$retour = $infos_auteur[0]['cp_fmt_nom_complet'];
 363 
				$retour = $infos_auteur[0]['cp_fmt_nom_complet'];
- 
 
 364 
				$this->cache_auteur[$auteur_intitule] = $infos_auteur[0];
- 
 
 365 
				// Stocker le nom d'auteur sous les deux formes (fmt nom complet et tel que saisi), facilite la recherche
- 
 
 366 
				// plus tard lors de la liaison des publications aux auteurs
298 
				$this->cache_auteur[$auteur_intitule] = $infos_auteur[0];
 367 
				$this->cache_auteur[$infos_auteur[0]['cp_fmt_nom_complet']] = $infos_auteur[0];
299 
			} else {
 368 
			} else {
300 
				$retour = $auteur_intitule;
 369 
				$retour = $auteur_intitule;
301 
				$this->cache_auteur[$auteur_intitule] = $auteur_intitule;
 370 
				$this->cache_auteur[$auteur_intitule] = $auteur_intitule;
302 
			}
 371 
			}