Subversion Repositories eFlore/Applications.del

Compare Revisions

Ignore whitespace Rev 1982 → Rev 1983

/branches/v1.6-azote/scripts/modules/maintenance/Maintenance.php
33,6 → 33,21
case 'dedoublonnerPropositions' :
$this->dedoublonnerPropositions();
break;
case 'dedoublonnerPropositionsEtCorrigerDonnees' :
// Suppression des propositions et votes sur des obs inexistantes
// pas la peine de traiter ce qui n'existe plus !
$this->supprimerPropositionsOrphelines();
// Corriger les noms de référentiels permet de simplifier les affectations de noms ensuite
$this->corrigerNomsReferentiels();
// Affectations de nums noms aux propositions qui le permettent
$this->affecterNnsAuxPropositionsViables();
echo "\n";
$this->dedoublonnerPropositions();
// A la fin, les votes qui n'ont pas été fusionnés pointent sur des propositions
// qui n'existent plus, donc on les supprime
$this->supprimerVotesOrphelins();
echo "\n";
break;
default :
throw new Exception("Erreur : la commande '$cmd' n'existe pas!");
}
89,11 → 104,7
$modif_votes = $this->conteneur->getBdd()->executer($requete_votes);
}
private function dedoublonnerPropositions() {
// Suppression des propositions et votes sur des obs inexistantes
// pas la peine de traiter ce qui n'existe plus !
$this->supprimerPropositionsOrphelines();
private function dedoublonnerPropositions() {
echo "Détection des propositions en doublons \n";
// La méthode n'est pas optimisée, on fait beaucoup de boucles, de traitement de données
// etc... mais la méthode ne doit pas être lancée souvent et elle est rapide
101,7 → 112,7
$infos_indexees = array();
$infos_indexees_par_obs = array();
// Selection des ids de commentaires dupliqués, groupés par observation (concaténés par des virgules)
// Selection des ids de commentaires dupliqués, groupés par observation et par nom (concaténés par des virgules)
$requete_id_prod_doubl = "SELECT GROUP_CONCAT(id_commentaire) as id_commentaires_dupliques ".
"FROM del_commentaire ".
"GROUP BY ce_observation, nom_sel ".
126,7 → 137,7
$propositions_doublonnees = $this->conteneur->getBdd()->recupererTous($requete_prop_doubl);
}
echo count($propositions_doublonnees)." propositions pour ".count($ids_propositions_doublonnees)." observations sont potentiellement en doublons \n";
echo count($propositions_doublonnees)." propositions pour ".count($ids_propositions_doublonnees)." couples 'observation-nom_sel' sont potentiellement en doublons \n";
// Organisation par numéro d'obs, puis par nom sel, puis par id proposition
// + Création d'un tableau indexé par id proposition pour accès direct au infos
189,12 → 200,7
}
$this->afficherAvancement('observations traitées ', 1);
}
// A la fin, les votes qui n'ont pas été fusionnés pointent sur des propositions
// qui n'existent plus, donc on les supprime
$this->supprimerVotesOrphelins();
echo "\n";
// Fichier json pour vérification par zieutage (chemin à modifier suivant l'emplacement désiré)
//file_put_contents('/home/aurelien/web/test_fusion.json', json_encode($infos_indexees_par_obs));
}
220,125 → 226,48
$votes_conserves[$index] = array();
}
// Si on trouve un vote et un vote contre par le même utilisateur
// (cas d'une proposition doublonnée voté de manière contradictoire par
// Si on trouve un vote pour et un vote contre par le même utilisateur
// (cas d'une proposition doublonnée votée de manière contradictoire par
// un utilisateur), on garde le vote positif
foreach($prop['votes'] as $vote_proposition) {
// Un utilisateur ne peut avoir qu'un seul vote par proposition
$index_vote = $vote_proposition['ce_utilisateur'];
if(isset($votes_conserves[$index][$index_vote])) {
if(isset($votes_conserves[$index][$index_vote])) { // fusion
$vote_deja_present = $votes_conserves[$index][$index_vote];
// Mise à jour de la valeur dans le cas où le vote existe déjà
$valeur_vote_maj = max($votes_conserves[$index][$index_vote]['valeur'], $vote_proposition['valeur']);
$votes_conserves[$index][$index_vote]['valeur'] = $valeur_vote_maj;
$votes_conserves[$index][$index_vote]['raison'] .= ' - '.$vote_proposition['valeur'];
} else {
} else { // nouveau vote
$vote_proposition['raison'] = 'Fusion de '.$vote_proposition['valeur'];
$votes_conserves[$index][$index_vote] = $vote_proposition;
}
}
}
 
// valeurs par défaut
$conservee = false;
$raison = 'Supprimée car ne rentre dans aucun cas';
// Les cas ci dessous permettent de fusionner le maximum d'information
// dans la proposition qui sera conservée (car il existe des doublons qui ne sont
// pas tout à fait identiques (ex.: l'un à un nom nom et l'autre pas)
// pas tout à fait identiques (ex.: l'un à un num_nom et l'autre pas)
// Les propositions sont classées par ordre de saisie donc on gardera comme base de fusion,
// la plus ancienne qui correspond à au moins un cas de conservation
// On garde les num noms valides
if($prop['nom_sel_nn'] != "" && $prop['nom_sel_nn'] != 0) {
if(isset($proposition_conservees[$index])) {
$proposition_conservees[$index]['nom_sel_nn'] = $prop['nom_sel_nn'];
if($proposition_conservees[$index]['nom_ret_nn'] == "" ||
$proposition_conservees[$index]['nom_ret_nn'] == 0) {
$proposition_conservees[$index]['nom_ret_nn'] = $prop['nom_ret_nn'];
$proposition_conservees[$index]['nom_ret_nn'] = $prop['nom_ret_nn'];
}
$raison = "Fusionnée car nn valide ! \n";
$conservee = false;
} else {
$raison = "Conservée car nn valide ! \n";
$proposition_conservees[$index] = $prop;
$conservee = true;
}
}
// On garde le caractère de proposition retenue
if(!isset($proposition_conservees[$index]) && $prop['proposition_retenue'] == "1") {
if(isset($proposition_conservees[$index])) {
$proposition_conservees[$index]['proposition_retenue'] = $prop['proposition_retenue'];
$proposition_conservees[$index]['date_validation'] = $prop['date_validation'];
$proposition_conservees[$index]['ce_validateur'] = $prop['ce_validateur'];
$raison = "Fusionnée car retenue ! \n";
$conservee = false;
} else {
$raison = "Conservée car retenue ! \n";
$proposition_conservees[$index] = $prop;
$conservee = true;
}
}
// On garde le caractère de proposition initiale
if(!isset($proposition_conservees[$index]) && $prop['proposition_initiale'] == "1") {
if(isset($proposition_conservees[$index])) {
$proposition_conservees[$index]['proposition_initiale'] = $prop['proposition_initiale'];
$proposition_conservees[$index]['ce_utilisateur'] = $prop['ce_utilisateur'];
$proposition_conservees[$index]['utilisateur_prenom'] = $prop['utilisateur_prenom'];
$proposition_conservees[$index]['utilisateur_nom'] = $prop['utilisateur_nom'];
$proposition_conservees[$index]['utilisateur_courriel'] = $prop['utilisateur_courriel'];
$conservee = false;
} else {
$raison = "Conservée car initiale ! \n";
$proposition_conservees[$index] = $prop;
$conservee = true;
}
}
// On garde le texte associé
if(!isset($proposition_conservees[$index]) && trim($prop['texte']) != "") {
if(isset($proposition_conservees[$index])) {
$proposition_conservees[$index]['texte'] .= " ".$prop['texte'];
$raison = "Fusionnée car contient du texte ! \n";
$conservee = false;
} else {
$raison = "Conservée car contient du texte ! \n";
$proposition_conservees[$index] = $prop;
$conservee = true;
}
}
// On garde un exemple de chaque couple auteur/nom scientifique
// Ca laisse des doublons en terme de nom mais au moins ça ne lèse pas les auteurs
if(!isset($proposition_conservees[$index])) {
$raison = "Conservée car on conserve une proposition de chaque couple auteur/nom ! \n";
$proposition_conservees[$index] = $prop;
$conservee = true;
}
if($conservee) {
$proposition_conservees[$index] = $prop;
$proposition_conservees[$index]['raison'] = $raison;
} else {
// Si elle n'est rentrée dans aucun des cas de conservation alors on la supprime
// (les informations pertinentes qu'elle pourrait contenir ont été fusionnées plus haut)
$propositions_supprimees[$prop['id_commentaire']] = $prop;
$propositions_supprimees[$prop['id_commentaire']]['raison'] = $raison;
}
$this->fusionnerPropositions($index, $prop, $proposition_conservees, $propositions_supprimees);
}
// Si aucune proposition ne convient on prend la première
// qui est normalement la plus ancienne
if(empty($proposition_conservees)) {
// @TODO normalement ça sert plus à rien
if (empty($proposition_conservees)) {
$prop_conservee = reset($prop_a_doublons);
$index = strtolower($prop_conservee['nom_sel']).'-'.$prop_conservee['utilisateur_courriel'];
$proposition_conservees[$index] = $prop_conservee;
$proposition_conservees[$index]['raison'] = "Conservée car aucune autre ne convient \n";
// Dans ce cas on retire la proposition de la liste des propositions supprimées
unset($propositions_supprimees[$prop_conservee['id_commentaire']]);
}
349,12 → 278,87
}
 
/**
* Tente de fusionner toutes les propositions, pour une observation donnée,
* en se basant sur le couple auteur-nom_selectionne
*/
protected function fusionnerPropositions($index, &$prop, &$proposition_conservees, &$propositions_supprimees) {
// On garde un exemple de chaque couple auteur/nom scientifique
// Ca laisse des doublons en terme de nom mais au moins ça ne lèse pas les auteurs
if(!isset($proposition_conservees[$index])) {
// première rencontre avec le couple nom_sel/auteur
$proposition_conservees[$index] = $prop;
} else { // Cas de la fusion
// Fusion d'un nom valide : fusionner nom _sel_nn (et nom_ret_nn et nom_ret s'ils existent)
if(!empty($prop['nom_sel_nn'])) {
$proposition_conservees[$index]['nom_sel_nn'] = $prop['nom_sel_nn'];
// infos complémentaires concernant le référentiel
if(!empty($prop['nom_referentiel'])) {
$proposition_conservees[$index]['nom_referentiel'] = $prop['nom_referentiel'];
}
if(!empty($prop['famille'])) {
$proposition_conservees[$index]['famille'] = $prop['famille'];
}
// Fusion du nom retenu s'il existe
if($proposition_conservees[$index]['nom_ret_nn'] == 0) { // on admet que nom_ret existe aussi dans ce cas
$proposition_conservees[$index]['nom_ret'] = $prop['nom_ret'];
$proposition_conservees[$index]['nom_ret_nn'] = $prop['nom_ret_nn'];
}
}
// Fusion du caractère retenu : fusioner le booleen, la date de retention, le validateur
if($prop['proposition_retenue'] == "1") {
$proposition_conservees[$index]['proposition_retenue'] = $prop['proposition_retenue'];
if (empty($proposition_conservees[$index]['date_validation'])) {
$proposition_conservees[$index]['date_validation'] = $prop['date_validation'];
}
if (empty($proposition_conservees[$index]['ce_validateur'])) {
$proposition_conservees[$index]['ce_validateur'] = $prop['ce_validateur'];
}
}
// Fusion du caractère initial : fusion du booleen, fusion des infos d'auteur et de la date la plus ancienne
if($prop['proposition_initiale'] == "1") {
$proposition_conservees[$index]['proposition_initiale'] = $prop['proposition_initiale'];
if (empty($proposition_conservees[$index]['ce_utilisateur'])) {
$proposition_conservees[$index]['ce_utilisateur'] = $prop['ce_utilisateur'];
}
if (empty($proposition_conservees[$index]['utilisateur_prenom'])) {
$proposition_conservees[$index]['utilisateur_prenom'] = $prop['utilisateur_prenom'];
}
if (empty($proposition_conservees[$index]['utilisateur_nom'])) {
$proposition_conservees[$index]['utilisateur_nom'] = $prop['utilisateur_nom'];
}
if (empty($proposition_conservees[$index]['utilisateur_courriel'])) {
$proposition_conservees[$index]['utilisateur_courriel'] = $prop['utilisateur_courriel'];
}
// Test tout simple pour éviter les dates vides
if (empty($proposition_conservees[$index]['date'])) {
if(substr($prop['date'], 0, 4) != "0000") {
$proposition_conservees[$index]['date'] = $prop['date'];
}
}
}
 
// Fusion du commentaire (concaténation du texte)
if(trim($proposition_conservees[$index]['texte']) != "") {
$prop['texte'] = trim($prop['texte']);
// Suppression du texte fusionné, au cas où il existerait déjà (un peu barbare mais bon)
$proposition_conservees[$index]['texte'] = str_replace($prop['texte'].';', '', $proposition_conservees[$index]['texte']);
$proposition_conservees[$index]['texte'] .= $prop['texte'].';';
}
// À la fin, une proposition fusionnée doit être supprimée
$propositions_supprimees[$prop['id_commentaire']] = $prop;
}
}
 
private function mettreAJourPropositions(&$propositions_a_obs_a_nom) {
$propositions_conservees = $propositions_a_obs_a_nom['propositions_conservees'];
foreach($propositions_conservees as $index => $proposition_conservee) {
$id_proposition_conservee = $proposition_conservee['id_commentaire'];
// Pas besoin de mettre à jour un clé primaire !
// Pas besoin de mettre à jour une clé primaire !
unset($proposition_conservee['id_commentaire']);
// Suppression des champs qui n'existent pas dans la base de données
362,6 → 366,7
unset($proposition_conservee['raison']);
$maj_prop = array();
// on prend les champs un par un
foreach($proposition_conservee as $champ => $valeur) {
$maj_prop[] = $champ.'='.$this->conteneur->getBdd()->proteger($valeur);
}
368,7 → 373,7
$requete_maj_prop = "UPDATE del_commentaire SET ".implode(',', $maj_prop)." ".
"WHERE id_commentaire = ".$id_proposition_conservee;
// écriture de sinformations fusionnées dans la base
$modif_prop = $this->conteneur->getBdd()->requeter($requete_maj_prop);
if(isset($propositions_a_obs_a_nom['votes_propositions_doublons'][$index])) {
388,7 → 393,8
foreach($vote_a_proposition as $champ_v => $valeur_v) {
$maj_vote[] = $champ_v.'='.$this->conteneur->getBdd()->proteger($valeur_v);
}
// tous les votes pertinents pointent maintenant vers la proposition fusionnée
// certains votes voient leur valeur mise à jour (fusion de valeurs de votes)
$requete_maj_vote = "UPDATE del_commentaire_vote SET ".implode(',', $maj_vote)." ".
"WHERE id_vote = ".$id_vote_conserve;
$modif_vote = $this->conteneur->getBdd()->requeter($requete_maj_vote);