Subversion Repositories eFlore/Applications.cel

Rev

Rev 2142 | Rev 2191 | Go to most recent revision | Blame | Compare with Previous | Last modification | View Log | RSS feed

<?php
class Maintenance extends Script {

        protected $bdd;
        protected $parametres_autorises = array(
                '-mc' => array(false, '1', 'Mot clef à chercher pour régénérer les machins'),
                '-doublon' => array(false, '1', "Id du mot clé qu'on veut réduire à un autre"),
                '-util' => array(false, '1', "Id de l'utilisateur"),
                '-cible' => array(false, '1', "Id de l'autre mot clé")
        );

        public function __construct($script_nom, $parametres_cli) {
                parent::__construct($script_nom, $parametres_cli);
                $this->bdd = new Bdd();
        }

        public function executer() {
                $cmd = $this->getParametre('a');
                try {
                        switch ($cmd) {
                                case 'regenererMotsClesTexteObs' :
                                        $this->regenererMotsClesTexteObs();
                                        break;
                                case 'regenererMotsClesTexteImages' :
                                        $this->regenererMotsClesTexteImages();
                                        break;
                                case 'regenererMotsClesTexteObsTout' :
                                        $this->regenererMotsClesTexteObs(true);
                                        break;
                                case 'regenererMotsClesTexteImagesTout' :
                                        $this->regenererMotsClesTexteImages(true);
                                        break;
                                case 'viderMotsClesTexteImagesSansMotsCles' :
                                        $this->viderMotsClesTexteImagesSansMotsCles();
                                        break;
                                case 'viderMotsClesTexteObsSansMotsCles' :
                                        $this->viderMotsClesTexteObsSansMotsCles();
                                        break;
                                case 'regenererChampsTailleImage' :
                                        $this->regenererChampsTailleImage();
                                        break;
                                case 'reparerLiaisonsOublieesObs' :
                                        $this->reparerLiaisonsOublieesObs();
                                        break;
                                case 'reparerLiaisonsOublieesImages' :
                                        $this->reparerLiaisonsOublieesImages();
                                        break;
                                case 'reparerLiaisonsObsParMotsClesTexte' :
                                        $mot_clef = $this->getParametre('mc');
                                        $this->reparerLiaisonsObsParMotsClesTexte($mot_clef);
                                        break;
                                case 'reductionMotsClesImages' :
                                        // ex: cli.php maintenance -a reductionMotsClesImages -doublon 1234 -cible 5678
                                        $idDoublon = $this->getParametre('doublon');
                                        $idCible = $this->getParametre('cible');
                                        $this->reductionMotsClesImages($idDoublon, $idCible);
                                        break;
                                case 'reductionMotsClesImagesUtil' :
                                        // ex: cli.php maintenance -a reductionMotsClesImagesUtil -util 6865
                                        $idUtilisateur = $this->getParametre('util');
                                        $this->reductionMotsClesImagesUtilisateur($idUtilisateur);
                                        break;
                                default :
                                        $msg = "Erreur : la commande '$cmd' n'existe pas!\n".
                                                "Commandes existantes : regenererMotsClesTexteImages, regenererMotsClesTexteObs";
                                        throw new Exception($msg);
                        }
                } catch (Exception $e) {
                        $this->traiterErreur($e->getMessage());
                }
        }

        // Régénère le champ "mots_cles_texte" pour toutes les images ayant des mots clés mais ayant ce champ
        // vide, suite à une erreur
        protected function regenererMotsClesTexteImages($tout = false) {
                $req = "SELECT id_image FROM cel_images WHERE ".
                                "id_image IN (SELECT id_element_lie FROM cel_mots_cles_images_liaison)";
                if(!$tout) {
                        $req .= " AND (mots_cles_texte IS NULL OR mots_cles_texte='')";
                }
                $res = $this->bdd->recupererTous($req);
                echo count($res) . " images trouvées\n";
                foreach ($res as $image) {
                        $req = "UPDATE cel_images SET mots_cles_texte = (SELECT GROUP_CONCAT(mot_cle) FROM cel_arbre_mots_cles_images cm "
                                . "INNER JOIN cel_mots_cles_images_liaison cml ON cml.id_mot_cle = cm.id_mot_cle AND cml.id_element_lie = '" . $image['id_image'] . "') "
                                . "WHERE id_image = '" . $image['id_image'] . "'";
                        $this->bdd->requeter($req); 
                }
        }

        // Régénère le champ "mots_cles_texte" pour toutes les observations ayant des mots clés mais ayant ce champ
        // vide, suite à une erreur
        protected function regenererMotsClesTexteObs($tout = false) {
                $req = "SELECT id_observation FROM cel_obs WHERE ".
                                "id_observation IN (SELECT id_element_lie FROM cel_mots_cles_obs_liaison)";
                if(!$tout) {
                        $req .= " AND (mots_cles_texte IS NULL OR mots_cles_texte='')";
                } 
                $res = $this->bdd->recupererTous($req);
                echo count($res) . " observations trouvées\n";
                foreach ($res as $image) {
                        $req = "UPDATE cel_obs SET mots_cles_texte = (SELECT GROUP_CONCAT(mot_cle) FROM cel_arbre_mots_cles_obs cm "
                        . "INNER JOIN cel_mots_cles_obs_liaison cml ON cml.id_mot_cle = cm.id_mot_cle AND cml.id_element_lie = '" . $image['id_observation'] . "') "
                                . "WHERE id_observation = '" . $image['id_observation'] . "'";
                        $this->bdd->requeter($req); 
                }
        }

        // Vide le champ "mots_cles_texte" pour toutes les images n'ayant aucun mot clé
        protected function viderMotsClesTexteImagesSansMotsCles() {
                $req = "UPDATE cel_images SET mots_cles_texte = NULL WHERE id_image NOT IN (SELECT id_element_lie FROM cel_mots_cles_images_liaison)";
                $res = $this->bdd->requeter($req);
                echo "$res images mises à jour\n";
        }

        // Vide le champ "mots_cles_texte" pour toutes les obs n'ayant aucun mot clé
        protected function viderMotsClesTexteObsSansMotsCles() {
                $req = "UPDATE cel_obs SET mots_cles_texte = NULL WHERE id_observation NOT IN (SELECT id_element_lie FROM cel_mots_cles_obs_liaison)";
                $res = $this->bdd->requeter($req);
                echo "$res observations mises à jour\n";
        }
        
        protected function regenererChampsTailleImage() {
                $req = "SELECT id_image FROM cel_images WHERE hauteur = 0 OR largeur = 0";
                $res = $this->bdd->recupererTous($req);
                
                echo count($res)." images concernees \n";
                echo "Début du traitement \n";
                $images_maj = 0;
                $image_meta_ratees = 0;
                $images_inexistantes = 0;
                
                foreach($res as $image) {
                        $chemin = $this->getCheminImage($image['id_image']); 
                        if(file_exists($chemin)) {
                                list($largeur, $hauteur) = @getimagesize($chemin);
                                if(is_numeric($largeur) && is_numeric($hauteur)) {
                                        $req_maj = "UPDATE cel_images SET hauteur = '".$hauteur."', largeur = '".$largeur."' ".
                                                   "WHERE id_image = '".$image['id_image']."'";
                                        $maj_taille_image = $this->bdd->requeter($req_maj);
                                        if($maj_taille_image) {
                                                $images_maj++;
                                        }
                                } else {
                                        $image_meta_ratees++;
                                }
                        } else {
                                $images_inexistantes++;
                        }
                        $this->afficherAvancement("\tImages traitées : ", 1);
                }       
                echo "\n";
                echo "Fin de la régénération des tailles des images à partir des metadonnées \n";
                echo $images_maj." images ont vu leur infos de taille régénérées \n";
                echo $image_meta_ratees." images ont raté l'extraction de metadonnées \n";
                echo $images_inexistantes." images n'existent pas en tant que fichier \n";
        }
        
        private function getCheminImage($id) {
                $chemin_base = Config::get('dossierImages');
                                
                $id = sprintf('%09s', $id);
                $id = wordwrap($id, 3 , '_', true);
                
                list($dossierNiveau1, $dossierNiveau2) = explode('_', $id);
                
                $chemin = $chemin_base.'/'.$dossierNiveau1.'/'.$dossierNiveau2.'/O/'.$id.'_O.jpg';
                
                return $chemin;
        }
        
        protected function reparerLiaisonsOublieesObs() {
                // Toutes les liaisons obs-motscles avec l'id utilisateur issu de la table cel obs car 
                // dans la table de liaison il est souvent vide 
                $requete_liaisons = "SELECT com.id_observation, com.id_mot_cle_obs, co.ce_utilisateur ".
                                        "FROM `cel_obs_mots_cles` com INNER JOIN cel_obs co ON co.id_observation = com.id_observation ";
                
                $liaisons = $this->bdd->recupererTous($requete_liaisons);
                $nb_liaisons_originales = count($liaisons);
                
                // Tous les anciens mots clés, à classer par utilisateur, puis par id mot clé
                $requete_mots_cles = "SELECT id_mot_cle_obs, id_utilisateur, mot_cle FROM cel_mots_cles_obs ";
                $anciens_mots_cles = $this->bdd->recupererTous($requete_mots_cles);
                
                $anciens_mots_cles_fmt = array();
                foreach($anciens_mots_cles as &$ancien_mot_cle) {
                        $id_utilisateur_ancien = $ancien_mot_cle['id_utilisateur'];
                        if(!isset($anciens_mots_cles_fmt[$id_utilisateur_ancien])) {
                                $anciens_mots_cles_fmt[$id_utilisateur_ancien] = array();
                        }
                        $anciens_mots_cles_fmt[$id_utilisateur_ancien][$ancien_mot_cle['id_mot_cle_obs']] = $ancien_mot_cle;
                }
                
                // Tous les nouveau mots clés, à classer par utilisateur, puis par valeur textuelle du mot
                $requete_nouveaux_mots_cles = "SELECT * FROM cel_arbre_mots_cles_obs";
                $nouveau_mots_cles = $this->bdd->recupererTous($requete_nouveaux_mots_cles);
                
                $nouveau_mots_cles_fmt = array();
                foreach($nouveau_mots_cles as &$nouveau_mot_cle) {
                        $id_utilisateur_nouveau = $nouveau_mot_cle['id_utilisateur'];
                        if(!isset($nouveau_mots_cles_fmt[$id_utilisateur_nouveau])) {
                                $nouveau_mots_cles_fmt[$id_utilisateur_nouveau] = array();
                        }
                        $nouveau_mots_cles_fmt[$id_utilisateur_nouveau][strtolower($nouveau_mot_cle['mot_cle'])] = $nouveau_mot_cle;
                }
                
                $anciens_mot_cles_pas_trouves = 0;
                $nouveaux_mot_cles_pas_trouves = 0;
                $utilisateurs_pas_trouves = 0;
                $valeurs_a_inserer = array();
                
                $ids_obs = array();
                
                foreach($liaisons as &$liaison) {
                        $id_utilisateur_liaison = $liaison['ce_utilisateur'];
                        $id_mot_cle_ancien_liaison = $liaison['id_mot_cle_obs'];
                        
                        if(isset($anciens_mots_cles_fmt[$id_utilisateur_liaison])) {
                                if(isset($anciens_mots_cles_fmt[$id_utilisateur_liaison][$id_mot_cle_ancien_liaison])) {
                                        $texte_ancien_mot_cle = $anciens_mots_cles_fmt[$id_utilisateur_liaison][$id_mot_cle_ancien_liaison]['mot_cle'];
                                        $texte_ancien_mot_cle = strtolower($texte_ancien_mot_cle); // l'astuce de ouf !
                                        if(isset($nouveau_mots_cles_fmt[$id_utilisateur_liaison])) {
                                                if(isset($nouveau_mots_cles_fmt[$id_utilisateur_liaison][$texte_ancien_mot_cle])) {
                                                        $nouvel_id_mot_cle = $nouveau_mots_cles_fmt[$id_utilisateur_liaison][$texte_ancien_mot_cle]['id_mot_cle'];
                                                        
                                                        $valeurs_a_inserer[] = array(
                                                                                                        'id_element_lie' => $liaison['id_observation'],
                                                                                                        'id_mot_cle' => $nouvel_id_mot_cle,
                                                                                                        'ancienne_liaison' => $liaison
                                                        );
                                                        $ids_obs[] = $liaison['id_observation'];
                                                } else {
                                                        $nouveaux_mot_cles_pas_trouves++;
                                                }
                                        } else {
                                                
                                        }
                                        
                                } else {
                                        $anciens_mot_cles_pas_trouves++;
                                }
                        } else {
                                $utilisateurs_pas_trouves++;
                        }
                }
                
                echo "Anciennes liaisons ".$nb_liaisons_originales." \n";
                echo "Liaisons à insérer ".count($valeurs_a_inserer)."\n";
                echo "Utilisateurs inconnus ".$utilisateurs_pas_trouves."\n";
                echo "Anciens mots clés inconnus ".$anciens_mot_cles_pas_trouves."\n";
                echo "Nouveaux mots clés inconnus ".$nouveaux_mot_cles_pas_trouves."\n";
                
                $tranches = array_chunk($valeurs_a_inserer, 800);

                foreach($tranches as $tranche) {
                        $requete_insertion = "INSERT IGNORE INTO cel_mots_cles_obs_liaison (id_element_lie, id_mot_cle) ".
                                                              "VALUES ";
                        foreach($tranche as $l) {
                                $requete_insertion .= "('".$l['id_element_lie']."', '".$l['id_mot_cle']."'),";
                        }
                        $requete_insertion = rtrim($requete_insertion, ',');
                        $insertion = $this->bdd->requeter($requete_insertion);
                        $this->afficherAvancement("Liaisons insérées (par paquet de 800) ", 1);
                }
                echo "\n";
        }
        
        private function reparerLiaisonsOublieesImages() {
                // Toutes les liaisons obs-motscles avec l'id utilisateur issu de la table cel obs car
                // dans la table de liaison il est souvent vide
                $requete_liaisons = "SELECT cim.id_image, cim.id_mot_cle_image, ci.ce_utilisateur ".
                                                        "FROM cel_images_mots_cles cim INNER JOIN cel_images ci ON ci.id_image = cim.id_image ";

                $liaisons = $this->bdd->recupererTous($requete_liaisons);
                
                // Tous les anciens mots clés, à classer par utilisateur, puis par id mot clé
                $requete_mots_cles = "SELECT id_mot_cle_image, id_utilisateur, mot_cle FROM cel_mots_cles_images ";
                $anciens_mots_cles = $this->bdd->recupererTous($requete_mots_cles);
                
                $anciens_mots_cles_fmt = array();
                foreach($anciens_mots_cles as &$ancien_mot_cle) {
                        $id_utilisateur_ancien = $ancien_mot_cle['id_utilisateur'];
                        if(!isset($anciens_mots_cles_fmt[$id_utilisateur_ancien])) {
                                $anciens_mots_cles_fmt[$id_utilisateur_ancien] = array();
                        }
                        $anciens_mots_cles_fmt[$id_utilisateur_ancien][$ancien_mot_cle['id_mot_cle_image']] = $ancien_mot_cle;
                }
                
                // Tous les nouveau mots clés, à classer par utilisateur, puis par valeur textuelle du mot
                $requete_nouveaux_mots_cles = "SELECT * FROM cel_arbre_mots_cles_images";
                $nouveau_mots_cles = $this->bdd->recupererTous($requete_nouveaux_mots_cles);
                
                $nouveau_mots_cles_fmt = array();
                foreach($nouveau_mots_cles as &$nouveau_mot_cle) {
                        $id_utilisateur_nouveau = $nouveau_mot_cle['id_utilisateur'];
                        if(!isset($nouveau_mots_cles_fmt[$id_utilisateur_nouveau])) {
                                $nouveau_mots_cles_fmt[$id_utilisateur_nouveau] = array();
                        }
                        $nouveau_mots_cles_fmt[$id_utilisateur_nouveau][$nouveau_mot_cle['mot_cle']] = $nouveau_mot_cle;
                }
                
                $anciens_mot_cles_pas_trouves = 0;
                $nouveaux_mot_cles_pas_trouves = 0;
                $utilisateurs_pas_trouves = 0;
                $valeurs_a_inserer = array();
                
                foreach($liaisons as &$liaison) {
                        $id_utilisateur_liaison = $liaison['ce_utilisateur'];
                        $id_mot_cle_ancien_liaison = $liaison['id_mot_cle_image'];
                                
                        if(isset($anciens_mots_cles_fmt[$id_utilisateur_liaison])) {
                                if(isset($anciens_mots_cles_fmt[$id_utilisateur_liaison][$id_mot_cle_ancien_liaison])) {
                                        $texte_ancien_mot_cle = $anciens_mots_cles_fmt[$id_utilisateur_liaison][$id_mot_cle_ancien_liaison]['mot_cle'];
                                        if(isset($nouveau_mots_cles_fmt[$id_utilisateur_liaison])) {
                                                if(isset($nouveau_mots_cles_fmt[$id_utilisateur_liaison][$texte_ancien_mot_cle])) {
                                                        $nouvel_id_mot_cle = $nouveau_mots_cles_fmt[$id_utilisateur_liaison][$texte_ancien_mot_cle]['id_mot_cle'];
                                                                
                                                        $valeurs_a_inserer[] = array(
                                                                                                                        'id_element_lie' => $liaison['id_image'],
                                                                                                                        'id_mot_cle' => $nouvel_id_mot_cle,
                                                                                                                        'ancienne_liaison' => $liaison
                                                        );
                                                        $ids_imgs[] = $liaison['id_image'];
                                                } else {
                                                        $nouveaux_mot_cles_pas_trouves++;
                                                }
                                        } else {
                
                                        }
                                                
                                } else {
                                        $anciens_mot_cles_pas_trouves++;
                                }
                        } else {
                                $utilisateurs_pas_trouves++;
                        }
                }
                
                echo "Liaisons à insérer ".count($valeurs_a_inserer)."\n";
                echo "Utilisateurs inconnus ".$utilisateurs_pas_trouves."\n";
                echo "Anciens mots clés inconnus ".$anciens_mot_cles_pas_trouves."\n";
                echo "Nouveaux mots clés inconnus ".$nouveaux_mot_cles_pas_trouves."\n";

                $tranches = array_chunk($valeurs_a_inserer, 800);

                foreach($tranches as $tranche) {
                        $requete_insertion = "INSERT IGNORE INTO cel_mots_cles_images_liaison (id_element_lie, id_mot_cle) ".
                                                              "VALUES ";
                        foreach($tranche as $l) {
                                $requete_insertion .= "('".$l['id_element_lie']."', '".$l['id_mot_cle']."'),";
                        }
                        $requete_insertion = rtrim($requete_insertion, ',');
                        $insertion = $this->bdd->requeter($requete_insertion);
                        $this->afficherAvancement("Liaisons insérées (par paquet de 800) ", 1);
                }
                echo "\n";
        }
        
        private function reparerLiaisonsObsParMotsClesTexte($mot_cle_texte_recherche) {
                $ancienne_table_obs = Config::get('table_obs_recup');
                $requete_anciens_mots_cles_texte = "SELECT ce_utilisateur, id_observation, mots_cles_texte ".
                                                                                        "FROM ".$ancienne_table_obs." WHERE mots_cles_texte LIKE '%".$mot_cle_texte_recherche."%'";
                $obs_a_mot_cle = $this->bdd->recupererTous($requete_anciens_mots_cles_texte);
                
                $requete_nouveaux_mots_cle = "SELECT * FROM cel_arbre_mots_cles_obs ".
                                                                        "WHERE id_utilisateur IN ". 
                                                                        "(SELECT id_utilisateur FROM ".$ancienne_table_obs." ".
                                                                        "WHERE mots_cles_texte LIKE '%".$mot_cle_texte_recherche."%')";
                $nouveaux_mots_cles = $this->bdd->recupererTous($requete_nouveaux_mots_cle);
                
                $mots_cles_indexes = array();
                foreach($nouveaux_mots_cles as $mot_cle) {
                        $mots_cles_indexes[$mot_cle['id_utilisateur']][strtolower($mot_cle['mot_cle'])] = $mot_cle;
                }
                                
                $liaisons_a_inserer = array();
                $utilFoirax = 0;
                $mcFoirax = 0;
                foreach($obs_a_mot_cle as $obs) {
                        $mots_cles_texte_tab = explode(',', $obs['mots_cles_texte']);
                        $id_observation = $obs['id_observation'];
                        $id_utilisateur = $obs['ce_utilisateur'];
                        foreach($mots_cles_texte_tab as $mot_cle_t) {
                                if($mot_cle_t == $mot_cle_texte_recherche) {
                                        if (isset($mots_cles_indexes[$id_utilisateur])) {
                                                if (isset($mots_cles_indexes[$id_utilisateur][strtolower($mot_cle_t)])) {
                                                        $id_nouveau_mot_cle = $mots_cles_indexes[$id_utilisateur][strtolower($mot_cle_t)]['id_mot_cle'];
                                                } else {
                                                        $mcFoirax++;
                                                }
                                        } else {
                                                $utilFoirax++;
                                        }
                                        $liaisons_a_inserer[] = array('id_element_lie' => $id_observation, 'id_mot_cle' => $id_nouveau_mot_cle);
                                }
                        }
                }
                echo "Utilisateurs pas dans le tableau: $utilFoirax\n";
                echo "Motf-clefs pas dans le tableau: $mcFoirax\n";
                //echo '<pre>'.print_r($liaisons_a_inserer, true).'</pre>';
                echo "Liaisons à insérer: " . count($liaisons_a_inserer) . " \n";

                $requete_insertion = "INSERT IGNORE INTO cel_mots_cles_obs_liaison (id_element_lie, id_mot_cle) ".
                                "VALUES ";
                foreach($liaisons_a_inserer as $l) {
                        $requete_insertion .= "('".$l['id_element_lie']."', '".$l['id_mot_cle']."'),";
                }
                $requete_insertion = rtrim($requete_insertion, ',');
                $insertion = $this->bdd->requeter($requete_insertion);
        }

        // Change toutes les associations images - mots_cles dont l'id mot_cle est $idDoublon, pour le remplacer par $idCible
        private function reductionMotsClesImages($idDoublon, $idCible, $supprimerVieuxMotsCles=true) {
                echo "Réduction de $idDoublon à $idCible" . PHP_EOL;

                $q1 = "SELECT id_element_lie FROM cel_mots_cles_images_liaison WHERE id_mot_cle = $idCible;";
                $r1 = $this->bdd->requeter($q1);
                $idsImages = array();
                foreach ($r1 as $r) {
                        $idsImages[] = $r['id_element_lie'];
                }

                if (count($idsImages) > 0) {
                        // On vire ceux qui ont le doublon mais qui ont aussi la cible
                        $q2 = "DELETE FROM cel_mots_cles_images_liaison WHERE id_mot_cle = $idDoublon AND id_element_lie IN (" . implode(',', $idsImages) . ");";
                        $r2 = $this->bdd->requeter($q2);
                }
        
                // On convertit tous les doublons en cible
                $q3 = "UPDATE cel_mots_cles_images_liaison SET id_mot_cle = $idCible WHERE id_mot_cle = $idDoublon;";
                $r3 = $this->bdd->requeter($q3);

                if ($supprimerVieuxMotsCles) {
                        // On supprime le mot cle qui sert plus à rien
                        $q4 = "DELETE FROM cel_arbre_mots_cles_images WHERE id_mot_cle = $idDoublon;";
                        $r4 = $this->bdd->requeter($q4);
                }
        }

        // Parcourt l'arbre des mots-cles images de l'utilisateur dont l'id est $idUtilisateur, et réduit tous ceux dont le chemin
        // n'est pas unique
        private function reductionMotsClesImagesUtilisateur($idUtilisateur) {
                $q1 = "SELECT id_mot_cle, chemin FROM cel_arbre_mots_cles_images WHERE id_utilisateur = $idUtilisateur;";
                $r1 = $this->bdd->requeter($q1);

                $idsMotsCles = array();
                $nbVieux = 0;
                foreach ($r1 as $r) {
                        $k = strtolower($r['chemin']);
                        if (! isset($idsMotsCles[$k])) {
                                $idsMotsCles[$k] = array();
                        }
                        $idsMotsCles[$k][] = $r['id_mot_cle'];
                        $nbVieux++;
                }
                $nbNouveaux = count($idsMotsCles);

                echo "Réduction de $nbVieux à $nbNouveaux mots-cles" . PHP_EOL;
                $aTraiter = 0;
                foreach ($idsMotsCles as $chemin => $ids) {
                        if (count($ids) > 1) {
                                $aTraiter ++;
                                $idCible = array_shift($ids);
                                foreach ($ids as $idDoublon) {
                                        $this->reductionMotsClesImages($idDoublon, $idCible);
                                }
                        }
                }
                echo "$aTraiter groupes ont été réduits" . PHP_EOL;
        }
}
?>