Subversion Repositories eFlore/Applications.del

Compare Revisions

Ignore whitespace Rev 1969 → Rev 1970

/branches/v1.6-azote/scripts/modules/maintenance/Maintenance.php
11,88 → 11,456
* @license CECILL v2 <http://www.cecill.info/licences/Licence_CeCILL_V2-en.txt>
* @copyright 1999-2014 Tela Botanica <accueil@tela-botanica.org>
*/
class Maintenance extends DelScript {
class Maintenance extends Script {
 
protected $tables_referentiel = array();
protected $conteneur = null;
public function __construct($conteneur) {
public function executer() {
$cmd = $this->getParametre('a');
$this->conteneur = new Conteneur($this->parametres);
$this->construireTableauReferentiels();
 
switch ($cmd) {
case 'corrigerNomsReferentiels' :
$this->corrigerNomsReferentiels();
break;
case 'supprimerPropositionsOrphelines' :
$this->supprimerPropositionsOrphelines();
break;
case 'affecterNnsAuxPropositionsViables' :
$this->affecterNnsAuxPropositionsViables();
break;
case 'dedoublonnerPropositions' :
$this->dedoublonnerPropositions();
break;
default :
throw new Exception("Erreur : la commande '$cmd' n'existe pas!");
}
}
public function executer() {
$this->affecterNnsAuxPropositionsViables();
//$this->affecterPropositionsRetenues();
private function corrigerNomsReferentiels() {
echo "Corrections des noms de referentiels ... ";
$requete = "UPDATE del_commentaire ".
"SET nom_referentiel = 'bdtfx' ".
"WHERE nom_referentiel IN ('bdtfx_v1', 'bdtfx:1.01') ";
$modif = $this->conteneur->getBdd()->executer($requete);
$requete = "UPDATE del_commentaire ".
"SET nom_referentiel = 'apd' ".
"WHERE nom_referentiel IN ('bdtao', 'bdtao:1.00') ";
$modif = $this->conteneur->getBdd()->executer($requete);
$requete = "UPDATE del_commentaire ".
"SET nom_referentiel = 'bdtxa' ".
"WHERE nom_referentiel IN ('bdtxa:1.00') ";
$modif = $this->conteneur->getBdd()->executer($requete);
$requete = "UPDATE del_commentaire ".
"SET nom_referentiel = 'isfan' ".
"WHERE nom_referentiel IN ('isfan:1.00') ";
$modif = $this->conteneur->getBdd()->executer($requete);
echo "OK \n";
return $modif;
}
private function affecterPropositionsRetenues() {
// TODO: est ce vraiment une bonne idée ?
// mettre un filtre sur la date ?
// sur le nombre de votes ?
$requete = "UPDATE del_commentaire dc ".
"SET proposition_retenue = 1 ".
"INNER JOIN del_observation do ".
" ON do.id_observation = dc.ce_observation ".
" AND do.nom_sel_nn = dc.nom_sel_nn ".
" AND do.nom_referentiel = dc.nom_referentiel ".
"WHERE ce_observation IN ( ".
"SELECT ce_observation FROM del_commentaire WHERE proposition_retenue = 0 ".
") ".
"AND ce_observation NOT IN ( ".
"SELECT ce_observation FROM del_commentaire WHERE proposition_retenue = 1 ".
") ";
echo $requete;exit;
$modif = $this->executer($requete);
return $modif;
private function supprimerPropositionsOrphelines() {
echo "Suppression des propositions orphelines (et des votes associés) ... ";
$requete_prop = "DELETE FROM del_commentaire ".
"WHERE ce_observation NOT IN (SELECT id_observation FROM del_observation)";
$modif_prop = $this->conteneur->getBdd()->executer($requete_prop);
 
$modif_votes = $this->supprimerVotesOrphelins();
echo "OK \n";
return $modif_prop && $modif_votes;
}
private function supprimerVotesOrphelins() {
$requete_votes = "DELETE FROM del_commentaire_vote ".
"WHERE ce_proposition NOT IN (SELECT id_commentaire FROM del_commentaire)";
$modif_votes = $this->conteneur->getBdd()->executer($requete_votes);
}
private function dedoublonnerPropositions() {
// Suppression des propositions et votes sur des obs inexistantes
// pas la peine de traiter ce qui n'existe plus !
$this->supprimerPropositionsOrphelines();
echo "Détection des propositions en doublons \n";
// La méthode n'est pas optimisée, on fait beaucoup de boucles, de traitement de données
// etc... mais la méthode ne doit pas être lancée souvent et elle est rapide
// donc lisibilité > performances
$infos_indexees = array();
$infos_indexees_par_obs = array();
// Selection des ids de commentaires dupliqués, groupés par observation (concaténés par des virgules)
$requete_id_prod_doubl = "SELECT GROUP_CONCAT(id_commentaire) as id_commentaires_dupliques ".
"FROM del_commentaire ".
"GROUP BY ce_observation, nom_sel ".
"HAVING COUNT(nom_sel) > 1 ";
$ids_propositions_doublonnees = $this->conteneur->getBdd()->recupererTous($requete_id_prod_doubl);
 
// Assemblage en une seule chaine des id de commentaires
$ids_propositions_doublonnees_chaine = "";
foreach($ids_propositions_doublonnees as $ids_p_d) {
$ids_propositions_doublonnees_chaine .= $ids_p_d['id_commentaires_dupliques'].",";
}
$ids_propositions_doublonnees_chaine = rtrim($ids_propositions_doublonnees_chaine, ',');
$propositions_doublonnees = array();
if(!empty($ids_propositions_doublonnees)) {
// Selection des informations relatives aux ids de commentaires trouvés au dessus
$requete_prop_doubl = "SELECT * FROM del_commentaire ".
"WHERE id_commentaire IN (".$ids_propositions_doublonnees_chaine.") ".
"ORDER BY ce_observation, date ";
$propositions_doublonnees = $this->conteneur->getBdd()->recupererTous($requete_prop_doubl);
}
echo count($propositions_doublonnees)." propositions pour ".count($ids_propositions_doublonnees)." observations sont potentiellement en doublons \n";
// Organisation par numéro d'obs, puis par nom sel, puis par id proposition
// + Création d'un tableau indexé par id proposition pour accès direct au infos
foreach($propositions_doublonnees as &$proposition_d) {
$id_obs = $proposition_d['ce_observation'];
$id_proposition = $proposition_d['id_commentaire'];
$nom_sel_prop = $proposition_d['nom_sel'];
$infos_indexees[$id_proposition] = $proposition_d;
if(!isset($infos_indexees_par_obs[$id_obs])) {
$infos_indexees_par_obs[$id_obs] = array();
}
$proposition_d['votes'] = array();
$infos_indexees_par_obs[$id_obs][$nom_sel_prop][$id_proposition] = $proposition_d;
}
 
$votes_doublonnes = array();
if(!empty($ids_propositions_doublonnees)) {
// Selection des votes concernés par ces propositions
$requete_votes_prop_doubl = "SELECT * FROM del_commentaire_vote ".
"WHERE ce_proposition IN (".$ids_propositions_doublonnees_chaine.")";
$votes_doublonnes = $this->conteneur->getBdd()->recupererTous($requete_votes_prop_doubl);
}
echo count($votes_doublonnes)." votes sont concernés \n";
// Affectation des votes trouvés aux propositions concernées
foreach($votes_doublonnes as &$vote_d) {
$id_proposition = $vote_d['ce_proposition'];
$proposition_concernee = $infos_indexees[$id_proposition];
$id_obs = $proposition_concernee['ce_observation'];
$nom_sel_prop = $proposition_concernee['nom_sel'];
$infos_indexees_par_obs[$id_obs][$nom_sel_prop][$id_proposition]['votes'][] = $vote_d;
}
$nb_propositions_conservees = 0;
$nb_propositions_supprimees = 0;
$nb_votes_reaffectes = 0;
// Tri des propositions pour savoir lequelles conserver et lesquelles supprimer
foreach($infos_indexees_par_obs as $obs => &$propositions) {
foreach($propositions as $nom => &$doublons) {
$this->trierPropositionsEtFusionnerVotes($doublons);
$nb_propositions_conservees += count($doublons['propositions_conservees']);
$nb_propositions_supprimees += count($doublons['propositions_supprimees']);
$nb_votes_reaffectes += count($doublons['votes_propositions_doublons']);
}
}
echo $nb_propositions_conservees." propositions seront conservées \n";
echo $nb_propositions_supprimees." propositions seront supprimées car inutiles ou fusionnées \n";
echo $nb_votes_reaffectes." groupes de votes seront potentiellement réaffectés \n";
// Mise à jour proprement dite
foreach($infos_indexees_par_obs as $obs => &$nom_en_doublons) {
foreach($nom_en_doublons as $nom_en_doublon => &$propositions_en_doublons) {
$this->mettreAJourPropositions($propositions_en_doublons);
}
$this->afficherAvancement('observations traitées ', 1);
}
// A la fin, les votes qui n'ont pas été fusionnés pointent sur des propositions
// qui n'existent plus, donc on les supprime
$this->supprimerVotesOrphelins();
echo "\n";
// Fichier json pour vérification par zieutage (chemin à modifier suivant l'emplacement désiré)
//file_put_contents('/home/aurelien/web/test_fusion.json', json_encode($infos_indexees_par_obs));
}
private function trierPropositionsEtFusionnerVotes(&$prop_a_doublons) {
$proposition_conservees = array();
$propositions_supprimees = array();
$votes_conserves = array();
foreach($prop_a_doublons as &$prop) {
// Indexer le tableau par nom_sel courriel permet de ne garder qu'un seul couple
// utilisateur / nom sci pour chaque observation
// (on utilise le courriel car les gens non identifiés peuvent proposer également
// et celui-ci est normalement toujours rempli)
$index = strtolower($prop['nom_sel']).'-'.$prop['utilisateur_courriel'];
// Fusion des votes s'il y en a
if(!empty($prop['votes'])) {
// Utiliser le couple utilisateur / nom sci pour stocker les votes permet facilement
// de réaffecter les votes à la proposition qui sera conservée
if(!isset($votes_conserves[$index])) {
$votes_conserves[$index] = array();
}
// Si on trouve un vote et un vote contre par le même utilisateur
// (cas d'une proposition doublonnée voté de manière contradictoire par
// un utilisateur), on garde le vote positif
foreach($prop['votes'] as $vote_proposition) {
// Un utilisateur ne peut avoir qu'un seul vote par proposition
$index_vote = $vote_proposition['ce_utilisateur'];
if(isset($votes_conserves[$index][$index_vote])) {
$vote_deja_present = $votes_conserves[$index][$index_vote];
// Mise à jour de la valeur dans le cas où le vote existe déjà
$valeur_vote_maj = max($votes_conserves[$index][$index_vote]['valeur'], $vote_proposition['valeur']);
$votes_conserves[$index][$index_vote]['valeur'] = $valeur_vote_maj;
$votes_conserves[$index][$index_vote]['raison'] .= ' - '.$vote_proposition['valeur'];
} else {
$vote_proposition['raison'] = 'Fusion de '.$vote_proposition['valeur'];
$votes_conserves[$index][$index_vote] = $vote_proposition;
}
}
}
$conservee = false;
$raison = 'Supprimée car ne rentre dans aucun cas';
// Les cas ci dessous permettent de fusionner le maximum d'information
// dans la proposition qui sera conservée (car il existe des doublons qui ne sont
// pas tout à fait identiques (ex.: l'un à un nom nom et l'autre pas)
// Les propositions sont classées par ordre de saisie donc on gardera comme base de fusion,
// la plus ancienne qui correspond à au moins un cas de conservation
// On garde les num noms valides
if($prop['nom_sel_nn'] != "" && $prop['nom_sel_nn'] != 0) {
if(isset($proposition_conservees[$index])) {
$proposition_conservees[$index]['nom_sel_nn'] = $prop['nom_sel_nn'];
if($proposition_conservees[$index]['nom_ret_nn'] == "" ||
$proposition_conservees[$index]['nom_ret_nn'] == 0) {
$proposition_conservees[$index]['nom_ret_nn'] = $prop['nom_ret_nn'];
$proposition_conservees[$index]['nom_ret_nn'] = $prop['nom_ret_nn'];
}
$raison = "Fusionnée car nn valide ! \n";
$conservee = false;
} else {
$raison = "Conservée car nn valide ! \n";
$proposition_conservees[$index] = $prop;
$conservee = true;
}
}
// On garde le caractère de proposition retenue
if(!isset($proposition_conservees[$index]) && $prop['proposition_retenue'] == "1") {
if(isset($proposition_conservees[$index])) {
$proposition_conservees[$index]['proposition_retenue'] = $prop['proposition_retenue'];
$proposition_conservees[$index]['date_validation'] = $prop['date_validation'];
$proposition_conservees[$index]['ce_validateur'] = $prop['ce_validateur'];
$raison = "Fusionnée car retenue ! \n";
$conservee = false;
} else {
$raison = "Conservée car retenue ! \n";
$proposition_conservees[$index] = $prop;
$conservee = true;
}
}
// On garde le caractère de proposition initiale
if(!isset($proposition_conservees[$index]) && $prop['proposition_initiale'] == "1") {
if(isset($proposition_conservees[$index])) {
$proposition_conservees[$index]['proposition_initiale'] = $prop['proposition_initiale'];
$proposition_conservees[$index]['ce_utilisateur'] = $prop['ce_utilisateur'];
$proposition_conservees[$index]['utilisateur_prenom'] = $prop['utilisateur_prenom'];
$proposition_conservees[$index]['utilisateur_nom'] = $prop['utilisateur_nom'];
$proposition_conservees[$index]['utilisateur_courriel'] = $prop['utilisateur_courriel'];
$conservee = false;
} else {
$raison = "Conservée car initiale ! \n";
$proposition_conservees[$index] = $prop;
$conservee = true;
}
}
// On garde le texte associé
if(!isset($proposition_conservees[$index]) && trim($prop['texte']) != "") {
if(isset($proposition_conservees[$index])) {
$proposition_conservees[$index]['texte'] .= " ".$prop['texte'];
$raison = "Fusionnée car contient du texte ! \n";
$conservee = false;
} else {
$raison = "Conservée car contient du texte ! \n";
$proposition_conservees[$index] = $prop;
$conservee = true;
}
}
// On garde un exemple de chaque couple auteur/nom scientifique
// Ca laisse des doublons en terme de nom mais au moins ça ne lèse pas les auteurs
if(!isset($proposition_conservees[$index])) {
$raison = "Conservée car on conserve une proposition de chaque couple auteur/nom ! \n";
$proposition_conservees[$index] = $prop;
$conservee = true;
}
if($conservee) {
$proposition_conservees[$index] = $prop;
$proposition_conservees[$index]['raison'] = $raison;
} else {
// Si elle n'est rentrée dans aucun des cas de conservation alors on la supprime
// (les informations pertinentes qu'elle pourrait contenir ont été fusionnées plus haut)
$propositions_supprimees[$prop['id_commentaire']] = $prop;
$propositions_supprimees[$prop['id_commentaire']]['raison'] = $raison;
}
}
// Si aucune proposition ne convient on prend la première
// qui est normalement la plus ancienne
if(empty($proposition_conservees)) {
$prop_conservee = reset($prop_a_doublons);
$index = strtolower($prop_conservee['nom_sel']).'-'.$prop_conservee['utilisateur_courriel'];
$proposition_conservees[$index] = $prop_conservee;
$proposition_conservees[$index]['raison'] = "Conservée car aucune autre ne convient \n";
// Dans ce cas on retire la proposition de la liste des propositions supprimées
unset($propositions_supprimees[$prop_conservee['id_commentaire']]);
}
$prop_a_doublons['propositions_conservees'] = $proposition_conservees;
$prop_a_doublons['propositions_supprimees'] = $propositions_supprimees;
$prop_a_doublons['votes_propositions_doublons'] = $votes_conserves;
}
 
private function mettreAJourPropositions(&$propositions_a_obs_a_nom) {
$propositions_conservees = $propositions_a_obs_a_nom['propositions_conservees'];
foreach($propositions_conservees as $index => $proposition_conservee) {
$id_proposition_conservee = $proposition_conservee['id_commentaire'];
// Pas besoin de mettre à jour un clé primaire !
unset($proposition_conservee['id_commentaire']);
// Suppression des champs qui n'existent pas dans la base de données
unset($proposition_conservee['votes']);
unset($proposition_conservee['raison']);
$maj_prop = array();
foreach($proposition_conservee as $champ => $valeur) {
$maj_prop[] = $champ.'='.$this->conteneur->getBdd()->proteger($valeur);
}
$requete_maj_prop = "UPDATE del_commentaire SET ".implode(',', $maj_prop)." ".
"WHERE id_commentaire = ".$id_proposition_conservee;
$modif_prop = $this->conteneur->getBdd()->requeter($requete_maj_prop);
if(isset($propositions_a_obs_a_nom['votes_propositions_doublons'][$index])) {
$votes_a_proposition = $propositions_a_obs_a_nom['votes_propositions_doublons'][$index];
foreach($votes_a_proposition as $vote_a_proposition) {
$id_vote_conserve = $vote_a_proposition['id_vote'];
// Pas besoin de mettre à jour un clé primaire !
unset($vote_a_proposition['id_vote']);
// Suppression des champs qui n'existent pas dans la base de données
unset($vote_a_proposition['raison']);
$maj_vote = array();
$vote_a_proposition['ce_proposition'] = $id_proposition_conservee;
foreach($vote_a_proposition as $champ_v => $valeur_v) {
$maj_vote[] = $champ_v.'='.$this->conteneur->getBdd()->proteger($valeur_v);
}
$requete_maj_vote = "UPDATE del_commentaire_vote SET ".implode(',', $maj_vote)." ".
"WHERE id_vote = ".$id_vote_conserve;
$modif_vote = $this->conteneur->getBdd()->requeter($requete_maj_vote);
}
}
}
// Suppression des propositions devenues inutiles
$propositions_supprimees = $propositions_a_obs_a_nom['propositions_supprimees'];
if(!empty($propositions_supprimees)) {
$ids_propositions_supprimees = array();
foreach($propositions_supprimees as $index_prop_supprimee => $proposition_supprimee) {
$ids_propositions_supprimees[] = $this->conteneur->getBdd()->proteger($proposition_supprimee['id_commentaire']);
}
$requete_supp_prop = "DELETE FROM del_commentaire ".
"WHERE id_commentaire IN (".
implode(',', $ids_propositions_supprimees).
")";
$supp_prop = $this->conteneur->getBdd()->requeter($requete_supp_prop);
}
}
private function affecterNnsAuxPropositionsViables() {
$this->construireTableauReferentiels();
echo "Affectation de nn aux propositions qui le permettent \n";
$propositions = $this->obtenirPropositionsPotentiellementViables();
$noms_ordonnes = array();
$nb_propositions_traitees = 0;
$nb_prop_orphelines = count($propositions);
$nb_prop_augmentees = 0;
$nb_noms_trouves = 0;
$nb_prop_inchangees = 0;
echo $nb_prop_orphelines.' propositions sont potentiellement améliorables'."\n";
foreach($propositions as $prop) {
$referentiel = in_array($prop['referentiel_proposition'], array_keys($this->tables_referentiel)) ?
$prop['referentiel_proposition'] : $prop['referentiel_observation'];
$referentiel = in_array($referentiel, array_keys($this->tables_referentiel)) ?
$referentiel : 'tous';
$referentiel = substr($referentiel, 0, 5);
if($referentiel == 'tous') {
$noms_trouves = 0;
foreach(array_keys($this->tables_referentiel) as $ref) {
$noms_possibles[$referentiel] = $this->rechercherNomsPossibles($ref, $prop['nom_sel']);
$nb_noms_trouves += count($noms_possibles[$referentiel]);
$noms_trouves += empty($noms_possibles[$referentiel]) ? 1 : 0;
}
$propositions = $this->obtenirPropositionsPotentiellementViables();
$noms_ordonnes = array();
$nb_propositions_traitees = 0;
$nb_prop_orphelines = count($propositions);
$nb_prop_augmentees = 0;
$nb_noms_trouves = 0;
$nb_prop_inchangees = 0;
echo $nb_prop_orphelines.' propositions sont potentiellement améliorables'."\n";
foreach($propositions as $prop) {
$referentiel = in_array($prop['referentiel_proposition'], array_keys($this->tables_referentiel)) ?
$prop['referentiel_proposition'] : $prop['referentiel_observation'];
$referentiel = in_array($referentiel, array_keys($this->tables_referentiel)) ?
$referentiel : 'tous';
$referentiel = substr($referentiel, 0, 5);
if($referentiel == 'tous') {
$noms_trouves = 0;
foreach(array_keys($this->tables_referentiel) as $ref) {
$noms_possibles[$referentiel] = $this->rechercherNomsPossibles($ref, $prop['nom_sel']);
$nb_noms_trouves += count($noms_possibles[$referentiel]);
$noms_trouves += empty($noms_possibles[$referentiel]) ? 1 : 0;
}
$nb_prop_inchangees += $noms_trouves != 0 ? 1 : 0;
// Un seul référentiel correspond (c'est déjà bon signe)
// Un seul référentiel correspond (c'est déjà bon signe)
if(count($noms_possibles) == 1) {
$nom_dans_ref = reset($noms_possibles);
$nom_dans_ref = reset($noms_possibles);
$nom_referentiel = key($noms_possibles);
// Un seul nom trouvé : OK
if(count($nom_dans_ref) == 1) {
if(isset($nom_dans_ref['num_nom'])) {
if(isset($nom_dans_ref['num_nom'])) {
$this->mettreAjourProposition($prop['id_commentaire'], $nom_referentiel, $nom_dans_ref);
$nb_prop_augmentees ++;
}
}
}
} else {
$noms_possibles = $this->rechercherNomsPossibles($referentiel, $prop['nom_sel']);
$noms_ordonnes[$prop['id_commentaire']]['nom_trouves'] = $noms_possibles;
$nb_noms_trouves += count($noms_possibles);
}
}
} else {
$noms_possibles = $this->rechercherNomsPossibles($referentiel, $prop['nom_sel']);
$noms_ordonnes[$prop['id_commentaire']]['nom_trouves'] = $noms_possibles;
$nb_noms_trouves += count($noms_possibles);
$nb_prop_inchangees += empty($noms_possibles) ? 1 : 0;
// On ne met à jour qu'en étant absolument sur (si l'on a trouvé un seul nom)
99,20 → 467,20
if(count($noms_possibles) == 1) {
$nom_dans_ref = array_pop($noms_possibles);
if(isset($nom_dans_ref['num_nom'])) {
$this->mettreAjourProposition($prop['id_commentaire'], $referentiel, array_pop($noms_possibles));
$this->mettreAjourProposition($prop['id_commentaire'], $referentiel, $nom_dans_ref);
$nb_prop_augmentees ++;
}
}
}
$this->afficherAvancement('propositions traitées ', 1);
}
$noms_ordonnes[$prop['id_commentaire']]['proposition'] = $prop;
echo "\n";
echo $nb_noms_trouves.' noms ont été trouvés'."\n";
echo $nb_prop_augmentees.' propositions ont été améliorées'."\n";
}
}
$this->afficherAvancement('propositions traitées ', 1);
}
$noms_ordonnes[$prop['id_commentaire']]['proposition'] = $prop;
echo "\n";
echo $nb_noms_trouves.' noms ont été trouvés'."\n";
echo $nb_prop_augmentees.' propositions ont été améliorées'."\n";
echo $nb_prop_inchangees.' propositions n\'ont pas pu être améliorées'."\n";
}
137,7 → 505,7
" OR nom_sci = ".$this->conteneur->getBdd()->proteger($nom)." ".
"ORDER BY CONCAT(nom_sci, ' ', auteur) ASC";
$noms = $this->conteneur->getBdd()->recupererTous($requete);
$noms = $this->conteneur->getBdd()->recupererTous($requete);
return $noms;
}
146,7 → 514,8
"SET nom_sel_nn = ".$this->conteneur->getBdd()->proteger($infos['num_nom']).", ".
" nom_referentiel = ".$this->conteneur->getBdd()->proteger($referentiel)." ".
"WHERE id_commentaire = ".$this->conteneur->getBdd()->proteger($id_proposition);
return $this->conteneur->getBdd()->requeter($requete);
return $this->conteneur->getBdd()->executer($requete);
}
private function construireTableauReferentiels() {