68,60 → 68,48 |
} |
|
private function supprimerPropositionsOrphelines() { |
echo "Suppression des propositions orphelines (et des votes associés) ... "; |
|
echo "Suppression des propositions orphelines ... "; |
|
$requete_prop = "DELETE FROM del_commentaire ". |
"WHERE ce_observation NOT IN (SELECT id_observation FROM del_observation)"; |
$modif_prop = $this->conteneur->getBdd()->executer($requete_prop); |
|
$requete_votes = "DELETE FROM del_commentaire_vote ". |
"WHERE ce_proposition NOT IN (SELECT id_commentaire FROM del_commentaire)"; |
$modif_votes = $this->conteneur->getBdd()->executer($requete_votes); |
|
$modif_votes = $this->supprimerVotesOrphelins(); |
|
echo "OK \n"; |
|
return $modif_prop && $modif_votes; |
} |
|
private function affecterPropositionsRetenues() { |
// TODO: est ce vraiment une bonne idée ? |
// mettre un filtre sur la date ? |
// sur le nombre de votes ? |
$requete = "UPDATE del_commentaire dc ". |
"SET proposition_retenue = 1 ". |
"INNER JOIN del_observation do ". |
" ON do.id_observation = dc.ce_observation ". |
" AND do.nom_sel_nn = dc.nom_sel_nn ". |
" AND do.nom_referentiel = dc.nom_referentiel ". |
"WHERE ce_observation IN ( ". |
"SELECT ce_observation FROM del_commentaire WHERE proposition_retenue = 0 ". |
") ". |
"AND ce_observation NOT IN ( ". |
"SELECT ce_observation FROM del_commentaire WHERE proposition_retenue = 1 ". |
") "; |
// Desactivé pour le moment le temps de trouver une meilleure idée |
echo $requete;exit; |
$modif = $this->conteneur->getBdd->executer($requete); |
return $modif; |
private function supprimerVotesOrphelins() { |
$requete_votes = "DELETE FROM del_commentaire_vote ". |
"WHERE ce_proposition NOT IN (SELECT id_commentaire FROM del_commentaire)"; |
|
$modif_votes = $this->conteneur->getBdd()->executer($requete_votes); |
} |
|
private function dedoublonnerPropositions() { |
// La méthode n'est pas optimisé, on fait beaucoup de boucles, de traitement de données |
// Suppression des propositions et votes sur des obs inexistantes |
// pas la peine de traiter ce qui n'existe plus ! |
$this->supprimerPropositionsOrphelines(); |
|
echo "Détection des propositions en doublons \n"; |
// La méthode n'est pas optimisée, on fait beaucoup de boucles, de traitement de données |
// etc... mais la méthode ne doit pas être lancée souvent et elle est rapide |
echo "Détection des propositions en doublons \n"; |
|
// donc lisibilité > performances |
$infos_indexees = array(); |
$infos_indexees_par_obs = array(); |
|
// Selection des ids de commentaires dupliqués, groupés par observation (concaténés par des virgules) |
$requete_id_prod_doubl = "SELECT GROUP_CONCAT(id_commentaire) as id_commentaires_dupliques ". |
"FROM del_commentaire ". |
"WHERE ce_observation = 952835 ". |
"GROUP BY ce_observation, nom_sel ". |
"HAVING COUNT(nom_sel) > 1 "; |
|
$ids_propositions_doublonnees = $this->conteneur->getBdd()->recupererTous($requete_id_prod_doubl); |
|
// Assemblage en une seule chaine des id de commentaires |
$ids_propositions_doublonnees_chaine = ""; |
foreach($ids_propositions_doublonnees as $ids_p_d) { |
$ids_propositions_doublonnees_chaine .= $ids_p_d['id_commentaires_dupliques'].","; |
128,16 → 116,21 |
} |
$ids_propositions_doublonnees_chaine = rtrim($ids_propositions_doublonnees_chaine, ','); |
|
$propositions_doublonnees = array(); |
if(!empty($ids_propositions_doublonnees)) { |
// Selection des informations relatives aux ids de commentaires trouvés au dessus |
$requete_prop_doubl = "SELECT * FROM del_commentaire ". |
"WHERE id_commentaire IN (".$ids_propositions_doublonnees_chaine.") ". |
"ORDER BY ce_observation, date "; |
|
$propositions_doublonnees = $this->conteneur->getBdd()->recupererTous($requete_prop_doubl); |
} |
|
echo count($propositions_doublonnees)." propositions pour ".count($ids_propositions_doublonnees)." observations sont en doublons \n"; |
echo count($propositions_doublonnees)." propositions pour ".count($ids_propositions_doublonnees)." observations sont potentiellement en doublons \n"; |
|
// Organisation par numéro d'obs, puis par nom sel, puis par id proposition |
// + Création d'un tableau indexé par id proposition pour accès direct au infos |
foreach($propositions_doublonnees as &$proposition_d) { |
|
$id_obs = $proposition_d['ce_observation']; |
$id_proposition = $proposition_d['id_commentaire']; |
$nom_sel_prop = $proposition_d['nom_sel']; |
150,13 → 143,18 |
$infos_indexees_par_obs[$id_obs][$nom_sel_prop][$id_proposition] = $proposition_d; |
} |
|
$votes_doublonnes = array(); |
if(!empty($ids_propositions_doublonnees)) { |
// Selection des votes concernés par ces propositions |
$requete_votes_prop_doubl = "SELECT * FROM del_commentaire_vote ". |
"WHERE ce_proposition IN (".$ids_propositions_doublonnees_chaine.")"; |
|
$votes_doublonnes = $this->conteneur->getBdd()->recupererTous($requete_votes_prop_doubl); |
} |
|
echo count($votes_doublonnes)." votes sont concernés \n"; |
|
// Affectation des votes trouvés aux propositions concernées |
foreach($votes_doublonnes as &$vote_d) { |
$id_proposition = $vote_d['ce_proposition']; |
$proposition_concernee = $infos_indexees[$id_proposition]; |
163,7 → 161,6 |
$id_obs = $proposition_concernee['ce_observation']; |
$nom_sel_prop = $proposition_concernee['nom_sel']; |
|
$infos_indexees[$vote_d['ce_proposition']]['votes'][] = $vote_d; |
$infos_indexees_par_obs[$id_obs][$nom_sel_prop][$id_proposition]['votes'][] = $vote_d; |
} |
|
171,6 → 168,7 |
$nb_propositions_supprimees = 0; |
$nb_votes_reaffectes = 0; |
|
// Tri des propositions pour savoir lequelles conserver et lesquelles supprimer |
foreach($infos_indexees_par_obs as $obs => &$propositions) { |
foreach($propositions as $nom => &$doublons) { |
$this->trierPropositionsEtFusionnerVotes($doublons); |
184,15 → 182,21 |
echo $nb_propositions_supprimees." propositions seront supprimées car inutiles ou fusionnées \n"; |
echo $nb_votes_reaffectes." groupes de votes seront potentiellement réaffectés \n"; |
|
// Mise à jour proprement dite |
foreach($infos_indexees_par_obs as $obs => &$nom_en_doublons) { |
foreach($nom_en_doublons as $nom_en_doublon => &$propositions_en_doublons) { |
$this->mettreAJourPropositions($propositions_en_doublons); |
} |
$this->afficherAvancement('observations traitées ', 1); |
} |
} |
|
// A la fin, les votes qui n'ont pas été fusionnés pointent sur des propositions |
// qui n'existent plus, donc on les supprime |
$this->supprimerVotesOrphelins(); |
echo "\n"; |
|
file_put_contents('/home/aurelien/web/test_fusion.json', json_encode($infos_indexees_par_obs)); |
// Fichier json pour vérification par zieutage (chemin à modifier suivant l'emplacement désiré) |
//file_put_contents('/home/aurelien/web/test_fusion.json', json_encode($infos_indexees_par_obs)); |
} |
|
private function trierPropositionsEtFusionnerVotes(&$prop_a_doublons) { |
200,26 → 204,32 |
$proposition_conservees = array(); |
$propositions_supprimees = array(); |
$votes_conserves = array(); |
$votes_supprimes = array(); |
|
$nb_votes_max = 0; |
$prop_votes_max = null; |
|
foreach($prop_a_doublons as &$prop) { |
//TODO: lowercase |
// Indexer le tableau par nom_sel courriel permet de ne garder qu'un seul couple |
// utilisateur / nom sci pour chaque observation |
// (on utilise le courriel car les gens non identifiés peuvent proposer également |
// et celui-ci est normalement toujours rempli) |
$index = strtolower($prop['nom_sel']).'-'.$prop['utilisateur_courriel']; |
$points = 0; |
// On conserve tous les votes pour tri ultérieur |
|
// Fusion des votes s'il y en a |
if(!empty($prop['votes'])) { |
// TODO: quoi faire dans le cas de votes contrad |
// Utiliser le couple utilisateur / nom sci pour stocker les votes permet facilement |
// de réaffecter les votes à la proposition qui sera conservée |
if(!isset($votes_conserves[$index])) { |
$votes_conserves[$index] = array(); |
} |
|
// Si on trouve un vote et un vote contre par le même utilisateur |
// (cas d'une proposition doublonnée voté de manière contradictoire par |
// un utilisateur), on garde le vote positif |
|
foreach($prop['votes'] as $vote_proposition) { |
// Un utilisateur ne peut avoir qu'un seul vote par proposition |
$index_vote = $vote_proposition['ce_utilisateur']; |
if(isset($votes_conserves[$index][$index_vote])) { |
$vote_deja_present = $votes_conserves[$index][$index_vote]; |
// Mise à jour de la valeur dans le cas où le vote existe déjà |
$valeur_vote_maj = max($votes_conserves[$index][$index_vote]['valeur'], $vote_proposition['valeur']); |
$votes_conserves[$index][$index_vote]['valeur'] = $valeur_vote_maj; |
$votes_conserves[$index][$index_vote]['raison'] .= ' - '.$vote_proposition['valeur']; |
227,7 → 237,6 |
$vote_proposition['raison'] = 'Fusion de '.$vote_proposition['valeur']; |
$votes_conserves[$index][$index_vote] = $vote_proposition; |
} |
|
} |
} |
|
234,6 → 243,13 |
$conservee = false; |
$raison = 'Supprimée car ne rentre dans aucun cas'; |
|
// Les cas ci dessous permettent de fusionner le maximum d'information |
// dans la proposition qui sera conservée (car il existe des doublons qui ne sont |
// pas tout à fait identiques (ex.: l'un à un nom nom et l'autre pas) |
|
// Les propositions sont classées par ordre de saisie donc on gardera comme base de fusion, |
// la plus ancienne qui correspond à au moins un cas de conservation |
|
// On garde les num noms valides |
if($prop['nom_sel_nn'] != "" && $prop['nom_sel_nn'] != 0) { |
if(isset($proposition_conservees[$index])) { |
283,7 → 299,7 |
} |
} |
|
// Une proposition contenant un texte est tout même interessante aussi |
// On garde le texte associé |
if(!isset($proposition_conservees[$index]) && trim($prop['texte']) != "") { |
if(isset($proposition_conservees[$index])) { |
$proposition_conservees[$index]['texte'] .= " ".$prop['texte']; |
296,11 → 312,20 |
} |
} |
|
// On garde un exemple de chaque couple auteur/nom scientifique |
// Ca laisse des doublons en terme de nom mais au moins ça ne lèse pas les auteurs |
if(!isset($proposition_conservees[$index])) { |
$raison = "Conservée car on conserve une proposition de chaque couple auteur/nom ! \n"; |
$proposition_conservees[$index] = $prop; |
$conservee = true; |
} |
|
if($conservee) { |
$proposition_conservees[$index] = $prop; |
$proposition_conservees[$index]['raison'] = $raison; |
} else { |
// Si elle n'est rentrée dans aucun des cas de conservation alors on la supprime |
// (les informations pertinentes qu'elle pourrait contenir ont été fusionnées plus haut) |
$propositions_supprimees[$prop['id_commentaire']] = $prop; |
$propositions_supprimees[$prop['id_commentaire']]['raison'] = $raison; |
} |
314,7 → 339,7 |
$proposition_conservees[$index] = $prop_conservee; |
$proposition_conservees[$index]['raison'] = "Conservée car aucune autre ne convient \n"; |
|
// Dans ce cas on retire la proposition qui sera conservée des propositions supprimées |
// Dans ce cas on retire la proposition de la liste des propositions supprimées |
unset($propositions_supprimees[$prop_conservee['id_commentaire']]); |
} |
|
325,14 → 350,16 |
} |
|
private function mettreAJourPropositions(&$propositions_a_obs_a_nom) { |
//print_r($propositions_a_obs_a_nom);exit; |
$propositions_conservees = $propositions_a_obs_a_nom['propositions_conservees']; |
foreach($propositions_conservees as $index => $proposition_conservee) { |
|
$id_proposition_conservee = $proposition_conservee['id_commentaire']; |
// Pas besoin de mettre à jour un clé primaire ! |
unset($proposition_conservee['id_commentaire']); |
|
// Suppression des champs qui n'existent pas dans la base de données |
unset($proposition_conservee['votes']); |
unset($proposition_conservee['raison']); |
unset($proposition_conservee['id_commentaire']); |
$maj_prop = array(); |
|
foreach($proposition_conservee as $champ => $valeur) { |
342,15 → 369,18 |
$requete_maj_prop = "UPDATE del_commentaire SET ".implode(',', $maj_prop)." ". |
"WHERE id_commentaire = ".$id_proposition_conservee; |
|
//$modif = $this->conteneur->getBdd->executer($requete_maj_prop); |
$modif_prop = $this->conteneur->getBdd()->requeter($requete_maj_prop); |
|
if(isset($propositions_a_obs_a_nom['votes_propositions_doublons'][$index])) { |
$votes_a_proposition = $propositions_a_obs_a_nom['votes_propositions_doublons'][$index]; |
//echo $requete."\n"."\n"; |
//print_r($votes_a_proposition);exit; |
|
foreach($votes_a_proposition as $vote_a_proposition) { |
|
$id_vote_conserve = $vote_a_proposition['id_vote']; |
// Pas besoin de mettre à jour un clé primaire ! |
unset($vote_a_proposition['id_vote']); |
|
// Suppression des champs qui n'existent pas dans la base de données |
unset($vote_a_proposition['raison']); |
$maj_vote = array(); |
|
361,14 → 391,27 |
|
$requete_maj_vote = "UPDATE del_commentaire_vote SET ".implode(',', $maj_vote)." ". |
"WHERE id_vote = ".$id_vote_conserve; |
echo $requete_maj_vote."\n"; |
//$modif = $this->conteneur->getBdd->executer($requete_maj_prop); |
$modif_vote = $this->conteneur->getBdd()->requeter($requete_maj_vote); |
} |
} |
} |
//echo '<pre>'.print_r($proposition_a_obs, true).'</pre>';exit; |
|
// Suppression des propositions devenues inutiles |
$propositions_supprimees = $propositions_a_obs_a_nom['propositions_supprimees']; |
if(!empty($propositions_supprimees)) { |
$ids_propositions_supprimees = array(); |
foreach($propositions_supprimees as $index_prop_supprimee => $proposition_supprimee) { |
$ids_propositions_supprimees[] = $this->conteneur->getBdd()->proteger($proposition_supprimee['id_commentaire']); |
} |
|
$requete_supp_prop = "DELETE FROM del_commentaire ". |
"WHERE id_commentaire IN (". |
implode(',', $ids_propositions_supprimees). |
")"; |
$supp_prop = $this->conteneur->getBdd()->requeter($requete_supp_prop); |
} |
} |
|
private function affecterNnsAuxPropositionsViables() { |
|
$this->construireTableauReferentiels(); |