Subversion Repositories eFlore/Applications.del

<?php
// declare(encoding='UTF-8');
/**
 * Script gérant la maintenance de DEL.
 *
 * @category   DEL
 * @package    Scripts
 * @subpackage Maintenance
 * @author     Aurelien PERONNET <aurelien@tela-botanica.org>
 * @license    GPL v3 <http://www.gnu.org/licenses/gpl.txt>
 * @license    CECILL v2 <http://www.cecill.info/licences/Licence_CeCILL_V2-en.txt>
 * @copyright  1999-2014 Tela Botanica <accueil@tela-botanica.org>
 */
class Maintenance extends Script {

        protected $tables_referentiel = array();
        protected $conteneur = null;
        
        public function executer() {    
                $cmd = $this->getParametre('a');
                $this->conteneur = new Conteneur($this->parametres);

                switch ($cmd) {
                        case 'corrigerNomsReferentiels' :
                                $this->corrigerNomsReferentiels();
                                break;
                        case 'supprimerPropositionsOrphelines' :
                                $this->supprimerPropositionsOrphelines();
                                break;
                        case 'affecterNnsAuxPropositionsViables' :
                                $this->affecterNnsAuxPropositionsViables();
                                break;
                        case 'dedoublonnerPropositions' :
                                $this->dedoublonnerPropositions();
                                break;
                        default :
                                throw new Exception("Erreur : la commande '$cmd' n'existe pas!");
                }
        }
        
        private function corrigerNomsReferentiels() {
                
                echo "Corrections des noms de referentiels ... ";
                
                $requete = "UPDATE del_commentaire ".
                                "SET nom_referentiel = 'bdtfx' ".
                                "WHERE nom_referentiel IN ('bdtfx_v1', 'bdtfx:1.01') ";
                $modif = $this->conteneur->getBdd()->executer($requete);
                
                $requete = "UPDATE del_commentaire ".
                                "SET nom_referentiel = 'apd' ".
                                "WHERE nom_referentiel IN ('bdtao', 'bdtao:1.00') ";
                $modif = $this->conteneur->getBdd()->executer($requete);
                
                $requete = "UPDATE del_commentaire ".
                                "SET nom_referentiel = 'bdtxa' ".
                                "WHERE nom_referentiel IN ('bdtxa:1.00') ";
                $modif = $this->conteneur->getBdd()->executer($requete);
                
                $requete = "UPDATE del_commentaire ".
                                "SET nom_referentiel = 'isfan' ".
                                "WHERE nom_referentiel IN ('isfan:1.00') ";
                $modif = $this->conteneur->getBdd()->executer($requete);
                
                echo "OK \n";
                
                return $modif;
        }
        
        private function supprimerPropositionsOrphelines() {
                
                echo "Suppression des propositions orphelines ... ";
                
                $requete_prop = "DELETE FROM del_commentaire ".
                                        "WHERE ce_observation NOT IN (SELECT id_observation FROM del_observation)";
                $modif_prop = $this->conteneur->getBdd()->executer($requete_prop);
                
                $requete_votes = "DELETE FROM del_commentaire_vote ".
                                "WHERE ce_proposition NOT IN (SELECT id_commentaire FROM del_commentaire)";
                $modif_votes = $this->conteneur->getBdd()->executer($requete_votes);
                
                echo "OK \n";
                
                return $modif_prop && $modif_votes;
        }
        
        private function affecterPropositionsRetenues() {
                // TODO: est ce vraiment une bonne idée ?
                // mettre un filtre sur la date ?
                // sur le nombre de votes ?
                $requete = "UPDATE del_commentaire dc ".
                                        "SET proposition_retenue = 1 ".
                                        "INNER JOIN del_observation do ".
                                        "       ON do.id_observation = dc.ce_observation ".
                                        "       AND do.nom_sel_nn = dc.nom_sel_nn ".
                                        "       AND do.nom_referentiel = dc.nom_referentiel ".
                                        "WHERE ce_observation IN ( ".
                                                "SELECT ce_observation FROM del_commentaire WHERE proposition_retenue = 0 ".
                                        ") ".
                                        "AND ce_observation NOT IN ( ".
                                                "SELECT ce_observation FROM del_commentaire WHERE proposition_retenue = 1 ".
                                        ") ";
                // Desactivé pour le moment le temps de trouver une meilleure idée
                echo $requete;exit;
                $modif = $this->conteneur->getBdd->executer($requete);
                return $modif;
        }
        
        private function dedoublonnerPropositions() {
                // La méthode n'est pas optimisé, on fait beaucoup de boucles, de traitement de données
                // etc... mais la méthode ne doit pas être lancée souvent et elle est rapide
                echo "Détection des propositions en doublons \n";
                
                $infos_indexees = array();
                $infos_indexees_par_obs = array();
                
                $requete_id_prod_doubl = "SELECT GROUP_CONCAT(id_commentaire) as id_commentaires_dupliques ".
                                                                        "FROM del_commentaire ".
                                                                        "WHERE ce_observation = 952835 ".
                                                                        "GROUP BY ce_observation, nom_sel ".
                                                                        "HAVING COUNT(nom_sel) > 1 ";
                
                $ids_propositions_doublonnees = $this->conteneur->getBdd()->recupererTous($requete_id_prod_doubl);
                                
                $ids_propositions_doublonnees_chaine = "";
                foreach($ids_propositions_doublonnees as $ids_p_d) {
                        $ids_propositions_doublonnees_chaine .= $ids_p_d['id_commentaires_dupliques'].",";
                }
                $ids_propositions_doublonnees_chaine = rtrim($ids_propositions_doublonnees_chaine, ',');
                
                $requete_prop_doubl = "SELECT * FROM del_commentaire ".
                                        "WHERE id_commentaire IN (".$ids_propositions_doublonnees_chaine.") ".
                                        "ORDER BY ce_observation, date ";

                $propositions_doublonnees = $this->conteneur->getBdd()->recupererTous($requete_prop_doubl);
                
                echo count($propositions_doublonnees)." propositions pour ".count($ids_propositions_doublonnees)." observations sont en doublons \n";
                
                foreach($propositions_doublonnees as &$proposition_d) {
                        
                        $id_obs = $proposition_d['ce_observation'];
                        $id_proposition = $proposition_d['id_commentaire'];
                        $nom_sel_prop = $proposition_d['nom_sel'];
                        
                        $infos_indexees[$id_proposition] = $proposition_d;
                        if(!isset($infos_indexees_par_obs[$id_obs])) {
                                $infos_indexees_par_obs[$id_obs] = array();
                        }
                        $proposition_d['votes'] = array();
                        $infos_indexees_par_obs[$id_obs][$nom_sel_prop][$id_proposition] = $proposition_d;
                } 

                $requete_votes_prop_doubl = "SELECT * FROM del_commentaire_vote ".
                                "WHERE ce_proposition IN (".$ids_propositions_doublonnees_chaine.")";
                        
                $votes_doublonnes = $this->conteneur->getBdd()->recupererTous($requete_votes_prop_doubl);
                
                echo count($votes_doublonnes)." votes sont concernés \n";
                
                foreach($votes_doublonnes as &$vote_d) {                        
                        $id_proposition = $vote_d['ce_proposition'];
                        $proposition_concernee = $infos_indexees[$id_proposition];
                        $id_obs = $proposition_concernee['ce_observation'];
                        $nom_sel_prop = $proposition_concernee['nom_sel'];
                        
                        $infos_indexees[$vote_d['ce_proposition']]['votes'][] = $vote_d;
                        $infos_indexees_par_obs[$id_obs][$nom_sel_prop][$id_proposition]['votes'][] = $vote_d;
                }
                
                $nb_propositions_conservees = 0;
                $nb_propositions_supprimees = 0;
                $nb_votes_reaffectes = 0;
                
                foreach($infos_indexees_par_obs as $obs => &$propositions) {
                        foreach($propositions as $nom => &$doublons) {
                                $this->trierPropositionsEtFusionnerVotes($doublons);
                                $nb_propositions_conservees += count($doublons['propositions_conservees']);
                                $nb_propositions_supprimees += count($doublons['propositions_supprimees']);
                                $nb_votes_reaffectes += count($doublons['votes_propositions_doublons']);
                        }
                }
                
                echo $nb_propositions_conservees." propositions seront conservées \n";
                echo $nb_propositions_supprimees." propositions seront supprimées car inutiles ou fusionnées \n";
                echo $nb_votes_reaffectes." groupes de votes seront potentiellement réaffectés \n";
                
                foreach($infos_indexees_par_obs as $obs => &$nom_en_doublons) {
                        foreach($nom_en_doublons as $nom_en_doublon => &$propositions_en_doublons) {
                                $this->mettreAJourPropositions($propositions_en_doublons);
                                $this->afficherAvancement('observations traitées ', 1);
                        }
                }
                echo "\n";
                
                file_put_contents('/home/aurelien/web/test_fusion.json', json_encode($infos_indexees_par_obs));
        }
        
        private function trierPropositionsEtFusionnerVotes(&$prop_a_doublons) {
                
                $proposition_conservees = array();
                $propositions_supprimees = array();
                $votes_conserves = array();
                $votes_supprimes = array();
                
                $nb_votes_max = 0;
                $prop_votes_max = null;
                
                foreach($prop_a_doublons as &$prop) {
                        //TODO: lowercase 
                        $index = strtolower($prop['nom_sel']).'-'.$prop['utilisateur_courriel'];
                        $points = 0;
                        // On conserve tous les votes pour tri ultérieur
                        if(!empty($prop['votes'])) {
                                // TODO: quoi faire dans le cas de votes contrad
                                if(!isset($votes_conserves[$index])) {
                                        $votes_conserves[$index] = array();
                                }
                                
                                foreach($prop['votes'] as $vote_proposition) {
                                        $index_vote = $vote_proposition['ce_utilisateur'];
                                        if(isset($votes_conserves[$index][$index_vote])) {
                                                $vote_deja_present = $votes_conserves[$index][$index_vote];
                                                $valeur_vote_maj = max($votes_conserves[$index][$index_vote]['valeur'], $vote_proposition['valeur']);
                                                $votes_conserves[$index][$index_vote]['valeur'] = $valeur_vote_maj;
                                                $votes_conserves[$index][$index_vote]['raison'] .= ' - '.$vote_proposition['valeur'];
                                        } else {
                                                $vote_proposition['raison'] = 'Fusion de '.$vote_proposition['valeur'];
                                                $votes_conserves[$index][$index_vote] = $vote_proposition;
                                        }

                                }
                        }
                        
                        $conservee = false;
                        $raison = 'Supprimée car ne rentre dans aucun cas';
                        
                        // On garde les num noms valides
                        if($prop['nom_sel_nn'] != "" && $prop['nom_sel_nn'] != 0) {
                                if(isset($proposition_conservees[$index])) {
                                        $proposition_conservees[$index]['nom_sel_nn'] = $prop['nom_sel_nn'];
                                        if($proposition_conservees[$index]['nom_ret_nn'] == "" ||
                                                        $proposition_conservees[$index]['nom_ret_nn'] == 0) {
                                                $proposition_conservees[$index]['nom_ret_nn'] = $prop['nom_ret_nn'];
                                                $proposition_conservees[$index]['nom_ret_nn'] = $prop['nom_ret_nn'];
                                        }
                                        $raison = "Fusionnée car nn valide ! \n";
                                        $conservee = false;
                                } else {
                                        $raison = "Conservée car nn valide ! \n";
                                        $proposition_conservees[$index] = $prop;
                                        $conservee = true;
                                }
                        }
                        
                        // On garde le caractère de proposition retenue
                        if(!isset($proposition_conservees[$index]) && $prop['proposition_retenue'] == "1") {
                                if(isset($proposition_conservees[$index])) {
                                        $proposition_conservees[$index]['proposition_retenue'] = $prop['proposition_retenue'];
                                        $proposition_conservees[$index]['date_validation'] = $prop['date_validation'];
                                        $proposition_conservees[$index]['ce_validateur'] = $prop['ce_validateur'];
                                        $raison = "Fusionnée car retenue ! \n";
                                        $conservee = false;
                                } else {
                                        $raison = "Conservée car retenue ! \n";
                                        $proposition_conservees[$index] = $prop;
                                        $conservee = true;
                                }
                        }
                        
                        // On garde le caractère de proposition initiale
                        if(!isset($proposition_conservees[$index]) && $prop['proposition_initiale'] == "1") {
                                if(isset($proposition_conservees[$index])) {
                                        $proposition_conservees[$index]['proposition_initiale'] = $prop['proposition_initiale'];
                                        $proposition_conservees[$index]['ce_utilisateur'] = $prop['ce_utilisateur'];
                                        $proposition_conservees[$index]['utilisateur_prenom'] = $prop['utilisateur_prenom'];
                                        $proposition_conservees[$index]['utilisateur_nom'] = $prop['utilisateur_nom'];
                                        $proposition_conservees[$index]['utilisateur_courriel'] = $prop['utilisateur_courriel'];
                                        $conservee = false;
                                } else {
                                        $raison = "Conservée car initiale ! \n";
                                        $proposition_conservees[$index] = $prop;
                                        $conservee = true;
                                }
                        }
                        
                        // Une proposition contenant un texte est tout même interessante aussi
                        if(!isset($proposition_conservees[$index]) && trim($prop['texte']) != "") {
                                if(isset($proposition_conservees[$index])) {
                                        $proposition_conservees[$index]['texte'] .= " ".$prop['texte'];
                                        $raison = "Fusionnée car contient du texte ! \n";
                                        $conservee = false;
                                } else {
                                        $raison = "Conservée car contient du texte ! \n";
                                        $proposition_conservees[$index] = $prop;
                                        $conservee = true;
                                }
                        }
                                                        
                        if($conservee) {
                                $proposition_conservees[$index] = $prop;
                                $proposition_conservees[$index]['raison'] = $raison;
                        } else {
                                // Si elle n'est rentrée dans aucun des cas de conservation alors on la supprime
                                $propositions_supprimees[$prop['id_commentaire']] = $prop;
                                $propositions_supprimees[$prop['id_commentaire']]['raison'] = $raison;
                        }
                }
                
                // Si aucune proposition ne convient on prend la première
                // qui est normalement la plus ancienne
                if(empty($proposition_conservees)) {
                        $prop_conservee = reset($prop_a_doublons);
                        $index = strtolower($prop_conservee['nom_sel']).'-'.$prop_conservee['utilisateur_courriel'];
                        $proposition_conservees[$index] = $prop_conservee;
                        $proposition_conservees[$index]['raison'] = "Conservée car aucune autre ne convient \n";
                        
                        // Dans ce cas on retire la proposition qui sera conservée des propositions supprimées
                        unset($propositions_supprimees[$prop_conservee['id_commentaire']]);
                }
                
                $prop_a_doublons['propositions_conservees'] = $proposition_conservees;
                $prop_a_doublons['propositions_supprimees'] = $propositions_supprimees;
                $prop_a_doublons['votes_propositions_doublons'] = $votes_conserves;
                
        }

        private function mettreAJourPropositions(&$propositions_a_obs_a_nom) {
                //print_r($propositions_a_obs_a_nom);exit;
                $propositions_conservees = $propositions_a_obs_a_nom['propositions_conservees'];
                foreach($propositions_conservees as $index => $proposition_conservee) {
                        
                        $id_proposition_conservee = $proposition_conservee['id_commentaire'];
                        unset($proposition_conservee['votes']);
                        unset($proposition_conservee['raison']);
                        unset($proposition_conservee['id_commentaire']);
                        $maj_prop = array();
                        
                        foreach($proposition_conservee as $champ => $valeur) {
                                $maj_prop[] = $champ.'='.$this->conteneur->getBdd()->proteger($valeur);
                        }
                        
                        $requete_maj_prop = "UPDATE del_commentaire SET ".implode(',', $maj_prop)." ".
                                                "WHERE id_commentaire = ".$id_proposition_conservee;
                        
                        //$modif = $this->conteneur->getBdd->executer($requete_maj_prop);
                        
                        if(isset($propositions_a_obs_a_nom['votes_propositions_doublons'][$index])) {
                                $votes_a_proposition = $propositions_a_obs_a_nom['votes_propositions_doublons'][$index];
                                //echo $requete."\n"."\n";
                                //print_r($votes_a_proposition);exit;
                                foreach($votes_a_proposition as $vote_a_proposition) {
                                        $id_vote_conserve = $vote_a_proposition['id_vote'];
                                        unset($vote_a_proposition['id_vote']);
                                        unset($vote_a_proposition['raison']);
                                        $maj_vote = array();
                                        
                                        $vote_a_proposition['ce_proposition'] = $id_proposition_conservee;
                                        foreach($vote_a_proposition as $champ_v => $valeur_v) {
                                                $maj_vote[] = $champ_v.'='.$this->conteneur->getBdd()->proteger($valeur_v);
                                        }
                                        
                                        $requete_maj_vote = "UPDATE del_commentaire_vote SET ".implode(',', $maj_vote)." ".
                                                        "WHERE id_vote = ".$id_vote_conserve;
                                        echo $requete_maj_vote."\n";
                                        //$modif = $this->conteneur->getBdd->executer($requete_maj_prop);
                                }
                        }
                }
                //echo '<pre>'.print_r($proposition_a_obs, true).'</pre>';exit;
        }
        
        private function affecterNnsAuxPropositionsViables() {
                
                $this->construireTableauReferentiels();
                
                echo "Affectation de nn aux propositions qui le permettent \n";
                $propositions = $this->obtenirPropositionsPotentiellementViables();
                
                $noms_ordonnes = array();
                $nb_propositions_traitees = 0;
                $nb_prop_orphelines = count($propositions);
                $nb_prop_augmentees = 0;
                $nb_noms_trouves = 0;
                $nb_prop_inchangees = 0;
                
                echo $nb_prop_orphelines.' propositions sont potentiellement améliorables'."\n";
                
                foreach($propositions as $prop) {
                                
                        $referentiel = in_array($prop['referentiel_proposition'], array_keys($this->tables_referentiel)) ?
                        $prop['referentiel_proposition'] : $prop['referentiel_observation'];
                        $referentiel = in_array($referentiel, array_keys($this->tables_referentiel)) ?
                        $referentiel : 'tous';
                        $referentiel = substr($referentiel, 0, 5);
                                
                        if($referentiel == 'tous') {
                                $noms_trouves = 0;
                                foreach(array_keys($this->tables_referentiel) as $ref) {
                                        $noms_possibles[$referentiel] = $this->rechercherNomsPossibles($ref, $prop['nom_sel']);
                                        $nb_noms_trouves += count($noms_possibles[$referentiel]);
                                        $noms_trouves += empty($noms_possibles[$referentiel]) ? 1 : 0;
                                }
                                $nb_prop_inchangees += $noms_trouves != 0 ? 1 : 0;
                                
                                // Un seul référentiel correspond (c'est déjà bon signe)
                                if(count($noms_possibles) == 1) {
                                        $nom_dans_ref = reset($noms_possibles);
                                        $nom_referentiel = key($noms_possibles);
                                        // Un seul nom trouvé : OK
                                        if(count($nom_dans_ref) == 1) {
                                                if(isset($nom_dans_ref['num_nom'])) {
                                                        $this->mettreAjourProposition($prop['id_commentaire'], $nom_referentiel, $nom_dans_ref);
                                                        $nb_prop_augmentees ++;
                                                }
                                        }
                                }
                        } else {
                                $noms_possibles = $this->rechercherNomsPossibles($referentiel, $prop['nom_sel']);
                                $noms_ordonnes[$prop['id_commentaire']]['nom_trouves'] = $noms_possibles;
                                $nb_noms_trouves += count($noms_possibles);
                                $nb_prop_inchangees += empty($noms_possibles) ? 1 : 0;
                                
                                // On ne met à jour qu'en étant absolument sur (si l'on a trouvé un seul nom)
                                if(count($noms_possibles) == 1) {
                                        $nom_dans_ref = array_pop($noms_possibles);
                                        if(isset($nom_dans_ref['num_nom'])) {
                                                $this->mettreAjourProposition($prop['id_commentaire'], $referentiel, $nom_dans_ref);
                                                $nb_prop_augmentees ++; 
                                        }
                                }
                        }
                                
                        $this->afficherAvancement('propositions traitées ', 1);
                }
                
                $noms_ordonnes[$prop['id_commentaire']]['proposition'] = $prop;
                
                echo "\n";
                echo $nb_noms_trouves.' noms ont été trouvés'."\n";
                echo $nb_prop_augmentees.' propositions ont été améliorées'."\n";
                echo $nb_prop_inchangees.' propositions n\'ont pas pu être améliorées'."\n";
        }
        
        
        private function obtenirPropositionsPotentiellementViables() {
                $requete = 'SELECT DISTINCT dc.id_commentaire, dc.nom_sel, dc.nom_referentiel as referentiel_proposition, '.
                                                        'do.nom_referentiel as referentiel_observation '.
                                        'FROM del_commentaire dc '.
                                        'INNER JOIN del_observation do '.
                                        '       ON do.id_observation = dc.ce_observation '.
                                        'WHERE dc.nom_sel != "" AND (dc.nom_sel_nn = 0 OR dc.nom_sel_nn IS NULL)';

                $propositions = $this->conteneur->getBdd()->recupererTous($requete);
                
                return $propositions;
        }
        
        private function rechercherNomsPossibles($referentiel, $nom) {
                $nom = trim($nom);
                $requete = "SELECT num_nom, num_nom_retenu, nom_sci, CONCAT(nom_sci, ' ', auteur) as nom_sci_etendu FROM ".$this->tables_referentiel[$referentiel]." ".
                                "WHERE CONCAT(nom_sci, ' ', auteur) = ".$this->conteneur->getBdd()->proteger($nom)." ".
                                "               OR nom_sci = ".$this->conteneur->getBdd()->proteger($nom)." ".
                                "ORDER BY CONCAT(nom_sci, ' ', auteur) ASC";
                
                $noms = $this->conteneur->getBdd()->recupererTous($requete);
                return $noms;
        }
        
        private function mettreAjourProposition($id_proposition, $referentiel, $infos) {
                $requete = "UPDATE del_commentaire ".
                                        "SET nom_sel_nn = ".$this->conteneur->getBdd()->proteger($infos['num_nom']).", ".
                                        "        nom_referentiel = ".$this->conteneur->getBdd()->proteger($referentiel)." ".
                                        "WHERE id_commentaire = ".$this->conteneur->getBdd()->proteger($id_proposition);
                
                return $this->conteneur->getBdd()->executer($requete);
        }
        
        private function construireTableauReferentiels() {
                $referentiels_dispos = explode(',', $this->conteneur->getParametre('referentiels'));
                foreach($referentiels_dispos as $ref) {
                        $this->tables_referentiel[$ref] = $this->conteneur->getParametre('table_referentiel_'.$ref);
                }
        }
}