WebSVN – eFlore/Applications.del – Diff – /branches/v1.6-azote/scripts/modules/maintenance/Maintenance.php

 				$this->affecterNnsAuxPropositionsViables();
 				break;
 			case 'dedoublonnerPropositions' :
 				$this->dedoublonnerPropositions();
 				break;
+			case 'dedoublonnerPropositionsEtCorrigerDonnees' :
+				// Suppression des propositions et votes sur des obs inexistantes
+				// pas la peine de traiter ce qui n'existe plus !
+				$this->supprimerPropositionsOrphelines();
+				// Corriger les noms de référentiels permet de simplifier les affectations de noms ensuite
+				$this->corrigerNomsReferentiels();
+				// Affectations de nums noms aux propositions qui le permettent
+				$this->affecterNnsAuxPropositionsViables();
+				echo "\n";
+				$this->dedoublonnerPropositions();
+				// A la fin, les votes qui n'ont pas été fusionnés pointent sur des propositions
+				// qui n'existent plus, donc on les supprime
+				$this->supprimerVotesOrphelins();
+				echo "\n";
+				break;
 			default :
 				throw new Exception("Erreur : la commande '$cmd' n'existe pas!");
+		}
+	}
 				"WHERE ce_proposition NOT IN (SELECT id_commentaire FROM del_commentaire)";
 		$modif_votes = $this->conteneur->getBdd()->executer($requete_votes);
 	}
-	private function dedoublonnerPropositions() {
-		// Suppression des propositions et votes sur des obs inexistantes
-		// pas la peine de traiter ce qui n'existe plus !
 		 $this->supprimerPropositionsOrphelines();
 	private function dedoublonnerPropositions() {
 		echo "Détection des propositions en doublons \n";
 		// La méthode n'est pas optimisée, on fait beaucoup de boucles, de traitement de données
 		// etc... mais la méthode ne doit pas être lancée souvent et elle est rapide
 		// donc lisibilité > performances
 		$infos_indexees = array();
 		$infos_indexees_par_obs = array();
-		// Selection des ids de commentaires dupliqués, groupés par observation (concaténés par des virgules)
+		// Selection des ids de commentaires dupliqués, groupés par observation et par nom (concaténés par des virgules)
 		$requete_id_prod_doubl = "SELECT GROUP_CONCAT(id_commentaire) as id_commentaires_dupliques ".
 						"ORDER BY ce_observation, date ";
 			$propositions_doublonnees = $this->conteneur->getBdd()->recupererTous($requete_prop_doubl);
 		}
-		echo count($propositions_doublonnees)." propositions pour ".count($ids_propositions_doublonnees)." observations sont potentiellement en doublons \n";
+		echo count($propositions_doublonnees)." propositions pour ".count($ids_propositions_doublonnees)." couples 'observation-nom_sel' sont potentiellement en doublons \n";
 		// Organisation par numéro d'obs, puis par nom sel, puis par id proposition
 			foreach($nom_en_doublons as $nom_en_doublon => &$propositions_en_doublons) {
 				$this->mettreAJourPropositions($propositions_en_doublons);
+			}
 			$this->afficherAvancement('observations traitées ', 1);
+		}
-		// A la fin, les votes qui n'ont pas été fusionnés pointent sur des propositions
-		// qui n'existent plus, donc on les supprime
-		$this->supprimerVotesOrphelins();
-		echo "\n";
 		// Fichier json pour vérification par zieutage (chemin à modifier suivant l'emplacement désiré)
 		//file_put_contents('/home/aurelien/web/test_fusion.json', json_encode($infos_indexees_par_obs));
+	}
 				// de réaffecter les votes à la proposition qui sera conservée
 				if(!isset($votes_conserves[$index])) {
 					$votes_conserves[$index] = array();
+				}
-				// Si on trouve un vote et un vote contre par le même utilisateur
+				// Si on trouve un vote pour et un vote contre par le même utilisateur
-				// (cas d'une proposition doublonnée voté de manière contradictoire par
+				// (cas d'une proposition doublonnée votée de manière contradictoire par
 				// un utilisateur), on garde le vote positif
 				foreach($prop['votes'] as $vote_proposition) {
 					// Un utilisateur ne peut avoir qu'un seul vote par proposition
 					$index_vote = $vote_proposition['ce_utilisateur'];
-					if(isset($votes_conserves[$index][$index_vote])) {
+					if(isset($votes_conserves[$index][$index_vote])) { // fusion
 						$vote_deja_present = $votes_conserves[$index][$index_vote];
 						// Mise à jour de la valeur dans le cas où le vote existe déjà
 						$valeur_vote_maj = max($votes_conserves[$index][$index_vote]['valeur'], $vote_proposition['valeur']);
 						$votes_conserves[$index][$index_vote]['valeur'] = $valeur_vote_maj;
 						$votes_conserves[$index][$index_vote]['raison'] .= ' - '.$vote_proposition['valeur'];
-					} else {
+					} else { // nouveau vote
 						$vote_proposition['raison'] = 'Fusion de '.$vote_proposition['valeur'];
 						$votes_conserves[$index][$index_vote] = $vote_proposition;
+					}
 				}
+			}
 			// valeurs par défaut
 			$conservee = false;
 			$raison = 'Supprimée car ne rentre dans aucun cas';
 			// Les cas ci dessous permettent de fusionner le maximum d'information
 			// dans la proposition qui sera conservée (car il existe des doublons qui ne sont
-			// pas tout à fait identiques (ex.: l'un à un nom nom et l'autre pas)
-			// Les propositions sont classées par ordre de saisie donc on gardera comme base de fusion,
-			// la plus ancienne qui correspond à au moins un cas de conservation
-			// On garde les num noms valides
-			if($prop['nom_sel_nn'] != "" && $prop['nom_sel_nn'] != 0) {
-				if(isset($proposition_conservees[$index])) {
-					$proposition_conservees[$index]['nom_sel_nn'] = $prop['nom_sel_nn'];
-					if($proposition_conservees[$index]['nom_ret_nn'] == "" ||
-							$proposition_conservees[$index]['nom_ret_nn'] == 0) {
-						$proposition_conservees[$index]['nom_ret_nn'] = $prop['nom_ret_nn'];
-						$proposition_conservees[$index]['nom_ret_nn'] = $prop['nom_ret_nn'];
-					}
-					$raison = "Fusionnée car nn valide ! \n";
-					$conservee = false;
-				} else {
-					$raison = "Conservée car nn valide ! \n";
-					$proposition_conservees[$index] = $prop;
-					$conservee = true;
-				}
-			}
-			// On garde le caractère de proposition retenue
-			if(!isset($proposition_conservees[$index]) && $prop['proposition_retenue'] == "1") {
-				if(isset($proposition_conservees[$index])) {
-					$proposition_conservees[$index]['proposition_retenue'] = $prop['proposition_retenue'];
-					$proposition_conservees[$index]['date_validation'] = $prop['date_validation'];
-					$proposition_conservees[$index]['ce_validateur'] = $prop['ce_validateur'];
-					$raison = "Fusionnée car retenue ! \n";
-					$conservee = false;
-				} else {
-					$raison = "Conservée car retenue ! \n";
-					$proposition_conservees[$index] = $prop;
-					$conservee = true;
-				}
-			}
+			// pas tout à fait identiques (ex.: l'un à un num_nom et l'autre pas)
-			// On garde le caractère de proposition initiale
-			if(!isset($proposition_conservees[$index]) && $prop['proposition_initiale'] == "1") {
-				if(isset($proposition_conservees[$index])) {
-					$proposition_conservees[$index]['proposition_initiale'] = $prop['proposition_initiale'];
-					$proposition_conservees[$index]['ce_utilisateur'] = $prop['ce_utilisateur'];
-					$proposition_conservees[$index]['utilisateur_prenom'] = $prop['utilisateur_prenom'];
-					$proposition_conservees[$index]['utilisateur_nom'] = $prop['utilisateur_nom'];
-					$proposition_conservees[$index]['utilisateur_courriel'] = $prop['utilisateur_courriel'];
-					$conservee = false;
-				} else {
-					$raison = "Conservée car initiale ! \n";
-					$proposition_conservees[$index] = $prop;
-					$conservee = true;
-				}
-			}
-			// On garde le texte associé
-			if(!isset($proposition_conservees[$index]) && trim($prop['texte']) != "") {
-				if(isset($proposition_conservees[$index])) {
-					$proposition_conservees[$index]['texte'] .= " ".$prop['texte'];
-					$raison = "Fusionnée car contient du texte ! \n";
-					$conservee = false;
-				} else {
-					$raison = "Conservée car contient du texte ! \n";
-					$proposition_conservees[$index] = $prop;
-					$conservee = true;
-				}
-			}
-			// On garde un exemple de chaque couple auteur/nom scientifique
-			// Ca laisse des doublons en terme de nom mais au moins ça ne lèse pas les auteurs
-			if(!isset($proposition_conservees[$index])) {
-				$raison = "Conservée car on conserve une proposition de chaque couple auteur/nom ! \n";
-				$proposition_conservees[$index] = $prop;
-				$conservee = true;
-			}
-			if($conservee) {
-				$proposition_conservees[$index] = $prop;
-				$proposition_conservees[$index]['raison'] = $raison;
-			} else {
-				// Si elle n'est rentrée dans aucun des cas de conservation alors on la supprime
 				// (les informations pertinentes qu'elle pourrait contenir ont été fusionnées plus haut)
-				$propositions_supprimees[$prop['id_commentaire']] = $prop;
+			// Les propositions sont classées par ordre de saisie donc on gardera comme base de fusion,
-				$propositions_supprimees[$prop['id_commentaire']]['raison'] = $raison;
+			// la plus ancienne qui correspond à au moins un cas de conservation
+			$this->fusionnerPropositions($index, $prop, $proposition_conservees, $propositions_supprimees);
-			}
+		}
 		// Si aucune proposition ne convient on prend la première
-		// Si aucune proposition ne convient on prend la première
+		// qui est normalement la plus ancienne
-		// qui est normalement la plus ancienne
+		// @TODO normalement ça sert plus à rien
-		if(empty($proposition_conservees)) {
+		if (empty($proposition_conservees)) {
 			$prop_conservee = reset($prop_a_doublons);
 			$index = strtolower($prop_conservee['nom_sel']).'-'.$prop_conservee['utilisateur_courriel'];
 			$proposition_conservees[$index] = $prop_conservee;
 			$proposition_conservees[$index]['raison'] = "Conservée car aucune autre ne convient \n";
 			// Dans ce cas on retire la proposition de la liste des propositions supprimées
 			unset($propositions_supprimees[$prop_conservee['id_commentaire']]);
+		}
+		$prop_a_doublons['propositions_conservees'] = $proposition_conservees;
+		$prop_a_doublons['propositions_supprimees'] = $propositions_supprimees;
+		$prop_a_doublons['votes_propositions_doublons'] = $votes_conserves;
+	}
+	/**
+	 * Tente de fusionner toutes les propositions, pour une observation donnée,
+	 * en se basant sur le couple auteur-nom_selectionne
+	 */
+	protected function fusionnerPropositions($index, &$prop, &$proposition_conservees, &$propositions_supprimees) {
+		// On garde un exemple de chaque couple auteur/nom scientifique
+		// Ca laisse des doublons en terme de nom mais au moins ça ne lèse pas les auteurs
+		if(!isset($proposition_conservees[$index])) {
+			// première rencontre avec le couple nom_sel/auteur
+			$proposition_conservees[$index] = $prop;
+		} else { // Cas de la fusion
+			// Fusion d'un nom valide : fusionner nom _sel_nn (et nom_ret_nn et nom_ret s'ils existent)
+			if(!empty($prop['nom_sel_nn'])) {
+				$proposition_conservees[$index]['nom_sel_nn'] = $prop['nom_sel_nn'];
+				// infos complémentaires concernant le référentiel
+				if(!empty($prop['nom_referentiel'])) {
+					$proposition_conservees[$index]['nom_referentiel'] = $prop['nom_referentiel'];
+				}
+				if(!empty($prop['famille'])) {
+					$proposition_conservees[$index]['famille'] = $prop['famille'];
+				}
+				// Fusion du nom retenu s'il existe
+				if($proposition_conservees[$index]['nom_ret_nn'] == 0) { // on admet que nom_ret existe aussi dans ce cas
+					$proposition_conservees[$index]['nom_ret'] = $prop['nom_ret'];
+					$proposition_conservees[$index]['nom_ret_nn'] = $prop['nom_ret_nn'];
+				}
+			}
+			// Fusion du caractère retenu : fusioner le booleen, la date de retention, le validateur
+			if($prop['proposition_retenue'] == "1") {
+				$proposition_conservees[$index]['proposition_retenue'] = $prop['proposition_retenue'];
+				if (empty($proposition_conservees[$index]['date_validation'])) {
+					$proposition_conservees[$index]['date_validation'] = $prop['date_validation'];
+				}
+				if (empty($proposition_conservees[$index]['ce_validateur'])) {
+					$proposition_conservees[$index]['ce_validateur'] = $prop['ce_validateur'];
+				}
+			}
+			// Fusion du caractère initial : fusion du booleen, fusion des infos d'auteur et de la date la plus ancienne
+			if($prop['proposition_initiale'] == "1") {
+				$proposition_conservees[$index]['proposition_initiale'] = $prop['proposition_initiale'];
+				if (empty($proposition_conservees[$index]['ce_utilisateur'])) {
+					$proposition_conservees[$index]['ce_utilisateur'] = $prop['ce_utilisateur'];
+				}
+				if (empty($proposition_conservees[$index]['utilisateur_prenom'])) {
+					$proposition_conservees[$index]['utilisateur_prenom'] = $prop['utilisateur_prenom'];
+				}
+				if (empty($proposition_conservees[$index]['utilisateur_nom'])) {
+					$proposition_conservees[$index]['utilisateur_nom'] = $prop['utilisateur_nom'];
+				}
+				if (empty($proposition_conservees[$index]['utilisateur_courriel'])) {
+					$proposition_conservees[$index]['utilisateur_courriel'] = $prop['utilisateur_courriel'];
+				}
+				// Test tout simple pour éviter les dates vides
+				if (empty($proposition_conservees[$index]['date'])) {
+					if(substr($prop['date'], 0, 4) != "0000") {
+						$proposition_conservees[$index]['date'] = $prop['date'];
+					}
+				}
+			}
+			// Fusion du commentaire (concaténation du texte)
+			if(trim($proposition_conservees[$index]['texte']) != "") {
+				$prop['texte'] = trim($prop['texte']);
+				// Suppression du texte fusionné, au cas où il existerait déjà (un peu barbare mais bon)
+				$proposition_conservees[$index]['texte'] = str_replace($prop['texte'].';', '', $proposition_conservees[$index]['texte']);
 				$proposition_conservees[$index]['texte'] .= $prop['texte'].';';
+			}
 		$prop_a_doublons['propositions_conservees'] = $proposition_conservees;
-		$prop_a_doublons['propositions_supprimees'] = $propositions_supprimees;
+			// À la fin, une proposition fusionnée doit être supprimée
-		$prop_a_doublons['votes_propositions_doublons'] = $votes_conserves;
+			$propositions_supprimees[$prop['id_commentaire']] = $prop;
+		}
+	}
 	private function mettreAJourPropositions(&$propositions_a_obs_a_nom) {
 		$propositions_conservees = $propositions_a_obs_a_nom['propositions_conservees'];
+		foreach($propositions_conservees as $index => $proposition_conservee) {
 		foreach($propositions_conservees as $index => $proposition_conservee) {
 			$id_proposition_conservee = $proposition_conservee['id_commentaire'];
-			$id_proposition_conservee = $proposition_conservee['id_commentaire'];
+			// Pas besoin de mettre à jour une clé primaire !
-			// Pas besoin de mettre à jour un clé primaire !
+			unset($proposition_conservee['id_commentaire']);
 			unset($proposition_conservee['id_commentaire']);
+			// Suppression des champs qui n'existent pas dans la base de données
-			// Suppression des champs qui n'existent pas dans la base de données
+			unset($proposition_conservee['votes']);
-			unset($proposition_conservee['votes']);
+			unset($proposition_conservee['raison']);
-			unset($proposition_conservee['raison']);
+			$maj_prop = array();
 					$vote_a_proposition['ce_proposition'] = $id_proposition_conservee;
 					foreach($vote_a_proposition as $champ_v => $valeur_v) {
 						$maj_vote[] = $champ_v.'='.$this->conteneur->getBdd()->proteger($valeur_v);
-					}
+					}
+					// tous les votes pertinents pointent maintenant vers la proposition fusionnée
 					// certains votes voient leur valeur mise à jour (fusion de valeurs de votes)
 					$requete_maj_vote = "UPDATE del_commentaire_vote SET ".implode(',', $maj_vote)." ".
 							"WHERE id_vote = ".$id_vote_conserve;
 					$modif_vote = $this->conteneur->getBdd()->requeter($requete_maj_vote);
+				}

Subversion Repositories eFlore/Applications.del

(root)/branches/v1.6-azote/scripts/modules/maintenance/Maintenance.php – Rev 1970 → 1983