Subversion Repositories eFlore/Applications.del

<?php

// declare(encoding='UTF-8');

/**

 * Script gérant la maintenance de DEL.

 *

 * @category   DEL

 * @package    Scripts

 * @subpackage Maintenance

 * @author     Aurelien PERONNET <aurelien@tela-botanica.org>

 * @license    GPL v3 <http://www.gnu.org/licenses/gpl.txt>

 * @license    CECILL v2 <http://www.cecill.info/licences/Licence_CeCILL_V2-en.txt>

 * @copyright  1999-2014 Tela Botanica <accueil@tela-botanica.org>

 */

class Maintenance extends Script {

	protected $tables_referentiel = array();

	protected $conteneur = null;

	public function executer() {

		$cmd = $this->getParametre('a');

		$this->conteneur = new Conteneur($this->parametres);

		switch ($cmd) {

			case 'corrigerNomsReferentiels' :

				$this->corrigerNomsReferentiels();

				break;

			case 'supprimerPropositionsOrphelines' :

				$this->supprimerPropositionsOrphelines();

				break;

			case 'affecterNnsAuxPropositionsViables' :

				$this->affecterNnsAuxPropositionsViables();

				break;

			case 'dedoublonnerPropositions' :

				$this->dedoublonnerPropositions();

				break;

			default :

				throw new Exception("Erreur : la commande '$cmd' n'existe pas!");

		}

	}

	private function corrigerNomsReferentiels() {

		echo "Corrections des noms de referentiels ... ";

		$requete = "UPDATE del_commentaire ".

				"SET nom_referentiel = 'bdtfx' ".

				"WHERE nom_referentiel IN ('bdtfx_v1', 'bdtfx:1.01') ";

		$modif = $this->conteneur->getBdd()->executer($requete);

		$requete = "UPDATE del_commentaire ".

				"SET nom_referentiel = 'apd' ".

				"WHERE nom_referentiel IN ('bdtao', 'bdtao:1.00') ";

		$modif = $this->conteneur->getBdd()->executer($requete);

		$requete = "UPDATE del_commentaire ".

				"SET nom_referentiel = 'bdtxa' ".

				"WHERE nom_referentiel IN ('bdtxa:1.00') ";

		$modif = $this->conteneur->getBdd()->executer($requete);

		$requete = "UPDATE del_commentaire ".

				"SET nom_referentiel = 'isfan' ".

				"WHERE nom_referentiel IN ('isfan:1.00') ";

		$modif = $this->conteneur->getBdd()->executer($requete);

		echo "OK \n";

		return $modif;

	}

	private function supprimerPropositionsOrphelines() {

		echo "Suppression des propositions orphelines ... ";

		$requete_prop = "DELETE FROM del_commentaire ".

					"WHERE ce_observation NOT IN (SELECT id_observation FROM del_observation)";

		$modif_prop = $this->conteneur->getBdd()->executer($requete_prop);

		$requete_votes = "DELETE FROM del_commentaire_vote ".

				"WHERE ce_proposition NOT IN (SELECT id_commentaire FROM del_commentaire)";

		$modif_votes = $this->conteneur->getBdd()->executer($requete_votes);

		echo "OK \n";

		return $modif_prop && $modif_votes;

	}

	private function affecterPropositionsRetenues() {

		// TODO: est ce vraiment une bonne idée ?

		// mettre un filtre sur la date ?

		// sur le nombre de votes ?

		$requete = "UPDATE del_commentaire dc ".

					"SET proposition_retenue = 1 ".

					"INNER JOIN del_observation do ".

					"	ON do.id_observation = dc.ce_observation ".

					"	AND do.nom_sel_nn = dc.nom_sel_nn ".

					"	AND do.nom_referentiel = dc.nom_referentiel ".

					"WHERE ce_observation IN ( ".

						"SELECT ce_observation FROM del_commentaire WHERE proposition_retenue = 0 ".

					") ".

					"AND ce_observation NOT IN ( ".

						"SELECT ce_observation FROM del_commentaire WHERE proposition_retenue = 1 ".

					") ";

		// Desactivé pour le moment le temps de trouver une meilleure idée

		echo $requete;exit;

		$modif = $this->conteneur->getBdd->executer($requete);

		return $modif;

	}

	private function dedoublonnerPropositions() {

		// La méthode n'est pas optimisé, on fait beaucoup de boucles, de traitement de données

		// etc... mais la méthode ne doit pas être lancée souvent et elle est rapide

		echo "Détection des propositions en doublons \n";

		$infos_indexees = array();

		$infos_indexees_par_obs = array();

		$requete_id_prod_doubl = "SELECT GROUP_CONCAT(id_commentaire) as id_commentaires_dupliques ".

									"FROM del_commentaire ".

									"WHERE ce_observation = 952835 ".

									"GROUP BY ce_observation, nom_sel ".

									"HAVING COUNT(nom_sel) > 1 ";

		$ids_propositions_doublonnees = $this->conteneur->getBdd()->recupererTous($requete_id_prod_doubl);

		$ids_propositions_doublonnees_chaine = "";

		foreach($ids_propositions_doublonnees as $ids_p_d) {

			$ids_propositions_doublonnees_chaine .= $ids_p_d['id_commentaires_dupliques'].",";

		}

		$ids_propositions_doublonnees_chaine = rtrim($ids_propositions_doublonnees_chaine, ',');

		$requete_prop_doubl = "SELECT * FROM del_commentaire ".

					"WHERE id_commentaire IN (".$ids_propositions_doublonnees_chaine.") ".

					"ORDER BY ce_observation, date ";

		$propositions_doublonnees = $this->conteneur->getBdd()->recupererTous($requete_prop_doubl);

		echo count($propositions_doublonnees)." propositions pour ".count($ids_propositions_doublonnees)." observations sont en doublons \n";

		foreach($propositions_doublonnees as &$proposition_d) {

			$id_obs = $proposition_d['ce_observation'];

			$id_proposition = $proposition_d['id_commentaire'];

			$nom_sel_prop = $proposition_d['nom_sel'];

			$infos_indexees[$id_proposition] = $proposition_d;

			if(!isset($infos_indexees_par_obs[$id_obs])) {

				$infos_indexees_par_obs[$id_obs] = array();

			}

			$proposition_d['votes'] = array();

			$infos_indexees_par_obs[$id_obs][$nom_sel_prop][$id_proposition] = $proposition_d;

		}

		$requete_votes_prop_doubl = "SELECT * FROM del_commentaire_vote ".

				"WHERE ce_proposition IN (".$ids_propositions_doublonnees_chaine.")";

		$votes_doublonnes = $this->conteneur->getBdd()->recupererTous($requete_votes_prop_doubl);

		echo count($votes_doublonnes)." votes sont concernés \n";

		foreach($votes_doublonnes as &$vote_d) {

			$id_proposition = $vote_d['ce_proposition'];

			$proposition_concernee = $infos_indexees[$id_proposition];

			$id_obs = $proposition_concernee['ce_observation'];

			$nom_sel_prop = $proposition_concernee['nom_sel'];

			$infos_indexees[$vote_d['ce_proposition']]['votes'][] = $vote_d;

			$infos_indexees_par_obs[$id_obs][$nom_sel_prop][$id_proposition]['votes'][] = $vote_d;

		}

		$nb_propositions_conservees = 0;

		$nb_propositions_supprimees = 0;

		$nb_votes_reaffectes = 0;

		foreach($infos_indexees_par_obs as $obs => &$propositions) {

			foreach($propositions as $nom => &$doublons) {

				$this->trierPropositionsEtFusionnerVotes($doublons);

				$nb_propositions_conservees += count($doublons['propositions_conservees']);

				$nb_propositions_supprimees += count($doublons['propositions_supprimees']);

				$nb_votes_reaffectes += count($doublons['votes_propositions_doublons']);

			}

		}

		echo $nb_propositions_conservees." propositions seront conservées \n";

		echo $nb_propositions_supprimees." propositions seront supprimées car inutiles ou fusionnées \n";

		echo $nb_votes_reaffectes." groupes de votes seront potentiellement réaffectés \n";

		foreach($infos_indexees_par_obs as $obs => &$nom_en_doublons) {

			foreach($nom_en_doublons as $nom_en_doublon => &$propositions_en_doublons) {

				$this->mettreAJourPropositions($propositions_en_doublons);

				$this->afficherAvancement('observations traitées ', 1);

			}

		}

		echo "\n";

		file_put_contents('/home/aurelien/web/test_fusion.json', json_encode($infos_indexees_par_obs));

	}

	private function trierPropositionsEtFusionnerVotes(&$prop_a_doublons) {

		$proposition_conservees = array();

		$propositions_supprimees = array();

		$votes_conserves = array();

		$votes_supprimes = array();

		$nb_votes_max = 0;

		$prop_votes_max = null;

		foreach($prop_a_doublons as &$prop) {

			//TODO: lowercase

			$index = strtolower($prop['nom_sel']).'-'.$prop['utilisateur_courriel'];

			$points = 0;

			// On conserve tous les votes pour tri ultérieur

			if(!empty($prop['votes'])) {

				// TODO: quoi faire dans le cas de votes contrad

				if(!isset($votes_conserves[$index])) {

					$votes_conserves[$index] = array();

				}

				foreach($prop['votes'] as $vote_proposition) {

					$index_vote = $vote_proposition['ce_utilisateur'];

					if(isset($votes_conserves[$index][$index_vote])) {

						$vote_deja_present = $votes_conserves[$index][$index_vote];

						$valeur_vote_maj = max($votes_conserves[$index][$index_vote]['valeur'], $vote_proposition['valeur']);

						$votes_conserves[$index][$index_vote]['valeur'] = $valeur_vote_maj;

						$votes_conserves[$index][$index_vote]['raison'] .= ' - '.$vote_proposition['valeur'];

					} else {

						$vote_proposition['raison'] = 'Fusion de '.$vote_proposition['valeur'];

						$votes_conserves[$index][$index_vote] = $vote_proposition;

					}

				}

			}

			$conservee = false;

			$raison = 'Supprimée car ne rentre dans aucun cas';

			// On garde les num noms valides

			if($prop['nom_sel_nn'] != "" && $prop['nom_sel_nn'] != 0) {

				if(isset($proposition_conservees[$index])) {

					$proposition_conservees[$index]['nom_sel_nn'] = $prop['nom_sel_nn'];

					if($proposition_conservees[$index]['nom_ret_nn'] == "" ||

							$proposition_conservees[$index]['nom_ret_nn'] == 0) {

						$proposition_conservees[$index]['nom_ret_nn'] = $prop['nom_ret_nn'];

						$proposition_conservees[$index]['nom_ret_nn'] = $prop['nom_ret_nn'];

					}

					$raison = "Fusionnée car nn valide ! \n";

					$conservee = false;

				} else {

					$raison = "Conservée car nn valide ! \n";

					$proposition_conservees[$index] = $prop;

					$conservee = true;

				}

			}

			// On garde le caractère de proposition retenue

			if(!isset($proposition_conservees[$index]) && $prop['proposition_retenue'] == "1") {

				if(isset($proposition_conservees[$index])) {

					$proposition_conservees[$index]['proposition_retenue'] = $prop['proposition_retenue'];

					$proposition_conservees[$index]['date_validation'] = $prop['date_validation'];

					$proposition_conservees[$index]['ce_validateur'] = $prop['ce_validateur'];

					$raison = "Fusionnée car retenue ! \n";

					$conservee = false;

				} else {

					$raison = "Conservée car retenue ! \n";

					$proposition_conservees[$index] = $prop;

					$conservee = true;

				}

			}

			// On garde le caractère de proposition initiale

			if(!isset($proposition_conservees[$index]) && $prop['proposition_initiale'] == "1") {

				if(isset($proposition_conservees[$index])) {

					$proposition_conservees[$index]['proposition_initiale'] = $prop['proposition_initiale'];

					$proposition_conservees[$index]['ce_utilisateur'] = $prop['ce_utilisateur'];

					$proposition_conservees[$index]['utilisateur_prenom'] = $prop['utilisateur_prenom'];

					$proposition_conservees[$index]['utilisateur_nom'] = $prop['utilisateur_nom'];

					$proposition_conservees[$index]['utilisateur_courriel'] = $prop['utilisateur_courriel'];

					$conservee = false;

				} else {

					$raison = "Conservée car initiale ! \n";

					$proposition_conservees[$index] = $prop;

					$conservee = true;

				}

			}

			// Une proposition contenant un texte est tout même interessante aussi

			if(!isset($proposition_conservees[$index]) && trim($prop['texte']) != "") {

				if(isset($proposition_conservees[$index])) {

					$proposition_conservees[$index]['texte'] .= " ".$prop['texte'];

					$raison = "Fusionnée car contient du texte ! \n";

					$conservee = false;

				} else {

					$raison = "Conservée car contient du texte ! \n";

					$proposition_conservees[$index] = $prop;

					$conservee = true;

				}

			}

			if($conservee) {

				$proposition_conservees[$index] = $prop;

				$proposition_conservees[$index]['raison'] = $raison;

			} else {

				// Si elle n'est rentrée dans aucun des cas de conservation alors on la supprime

				$propositions_supprimees[$prop['id_commentaire']] = $prop;

				$propositions_supprimees[$prop['id_commentaire']]['raison'] = $raison;

			}

		}

		// Si aucune proposition ne convient on prend la première

		// qui est normalement la plus ancienne

		if(empty($proposition_conservees)) {

			$prop_conservee = reset($prop_a_doublons);

			$index = strtolower($prop_conservee['nom_sel']).'-'.$prop_conservee['utilisateur_courriel'];

			$proposition_conservees[$index] = $prop_conservee;

			$proposition_conservees[$index]['raison'] = "Conservée car aucune autre ne convient \n";

			// Dans ce cas on retire la proposition qui sera conservée des propositions supprimées

			unset($propositions_supprimees[$prop_conservee['id_commentaire']]);

		}

		$prop_a_doublons['propositions_conservees'] = $proposition_conservees;

		$prop_a_doublons['propositions_supprimees'] = $propositions_supprimees;

		$prop_a_doublons['votes_propositions_doublons'] = $votes_conserves;

	}

	private function mettreAJourPropositions(&$propositions_a_obs_a_nom) {

		//print_r($propositions_a_obs_a_nom);exit;

		$propositions_conservees = $propositions_a_obs_a_nom['propositions_conservees'];

		foreach($propositions_conservees as $index => $proposition_conservee) {

			$id_proposition_conservee = $proposition_conservee['id_commentaire'];

			unset($proposition_conservee['votes']);

			unset($proposition_conservee['raison']);

			unset($proposition_conservee['id_commentaire']);

			$maj_prop = array();

			foreach($proposition_conservee as $champ => $valeur) {

				$maj_prop[] = $champ.'='.$this->conteneur->getBdd()->proteger($valeur);

			}

			$requete_maj_prop = "UPDATE del_commentaire SET ".implode(',', $maj_prop)." ".

						"WHERE id_commentaire = ".$id_proposition_conservee;

			//$modif = $this->conteneur->getBdd->executer($requete_maj_prop);

			if(isset($propositions_a_obs_a_nom['votes_propositions_doublons'][$index])) {

				$votes_a_proposition = $propositions_a_obs_a_nom['votes_propositions_doublons'][$index];

				//echo $requete."\n"."\n";

				//print_r($votes_a_proposition);exit;

				foreach($votes_a_proposition as $vote_a_proposition) {

					$id_vote_conserve = $vote_a_proposition['id_vote'];

					unset($vote_a_proposition['id_vote']);

					unset($vote_a_proposition['raison']);

					$maj_vote = array();

					$vote_a_proposition['ce_proposition'] = $id_proposition_conservee;

					foreach($vote_a_proposition as $champ_v => $valeur_v) {

						$maj_vote[] = $champ_v.'='.$this->conteneur->getBdd()->proteger($valeur_v);

					}

					$requete_maj_vote = "UPDATE del_commentaire_vote SET ".implode(',', $maj_vote)." ".

							"WHERE id_vote = ".$id_vote_conserve;

					echo $requete_maj_vote."\n";

					//$modif = $this->conteneur->getBdd->executer($requete_maj_prop);

				}

			}

		}

		//echo '<pre>'.print_r($proposition_a_obs, true).'</pre>';exit;

	}

	private function affecterNnsAuxPropositionsViables() {

		$this->construireTableauReferentiels();

		echo "Affectation de nn aux propositions qui le permettent \n";

		$propositions = $this->obtenirPropositionsPotentiellementViables();

		$noms_ordonnes = array();

		$nb_propositions_traitees = 0;

		$nb_prop_orphelines = count($propositions);

		$nb_prop_augmentees = 0;

		$nb_noms_trouves = 0;

		$nb_prop_inchangees = 0;

		echo $nb_prop_orphelines.' propositions sont potentiellement améliorables'."\n";

		foreach($propositions as $prop) {

			$referentiel = in_array($prop['referentiel_proposition'], array_keys($this->tables_referentiel)) ?

			$prop['referentiel_proposition'] : $prop['referentiel_observation'];

			$referentiel = in_array($referentiel, array_keys($this->tables_referentiel)) ?

			$referentiel : 'tous';

			$referentiel = substr($referentiel, 0, 5);

			if($referentiel == 'tous') {

				$noms_trouves = 0;

				foreach(array_keys($this->tables_referentiel) as $ref) {

					$noms_possibles[$referentiel] = $this->rechercherNomsPossibles($ref, $prop['nom_sel']);

					$nb_noms_trouves += count($noms_possibles[$referentiel]);

					$noms_trouves += empty($noms_possibles[$referentiel]) ? 1 : 0;

				}

				$nb_prop_inchangees += $noms_trouves != 0 ? 1 : 0;

				// Un seul référentiel correspond (c'est déjà bon signe)

				if(count($noms_possibles) == 1) {

					$nom_dans_ref = reset($noms_possibles);

					$nom_referentiel = key($noms_possibles);

					// Un seul nom trouvé : OK

					if(count($nom_dans_ref) == 1) {

						if(isset($nom_dans_ref['num_nom'])) {

							$this->mettreAjourProposition($prop['id_commentaire'], $nom_referentiel, $nom_dans_ref);

							$nb_prop_augmentees ++;

						}

					}

				}

			} else {

				$noms_possibles = $this->rechercherNomsPossibles($referentiel, $prop['nom_sel']);

				$noms_ordonnes[$prop['id_commentaire']]['nom_trouves'] = $noms_possibles;

				$nb_noms_trouves += count($noms_possibles);

				$nb_prop_inchangees += empty($noms_possibles) ? 1 : 0;

				// On ne met à jour qu'en étant absolument sur (si l'on a trouvé un seul nom)

				if(count($noms_possibles) == 1) {

					$nom_dans_ref = array_pop($noms_possibles);

					if(isset($nom_dans_ref['num_nom'])) {

						$this->mettreAjourProposition($prop['id_commentaire'], $referentiel, $nom_dans_ref);

						$nb_prop_augmentees ++;

					}

				}

			}

			$this->afficherAvancement('propositions traitées ', 1);

		}

		$noms_ordonnes[$prop['id_commentaire']]['proposition'] = $prop;

		echo "\n";

		echo $nb_noms_trouves.' noms ont été trouvés'."\n";

		echo $nb_prop_augmentees.' propositions ont été améliorées'."\n";

		echo $nb_prop_inchangees.' propositions n\'ont pas pu être améliorées'."\n";

	}

	private function obtenirPropositionsPotentiellementViables() {

		$requete = 'SELECT DISTINCT dc.id_commentaire, dc.nom_sel, dc.nom_referentiel as referentiel_proposition, '.

							'do.nom_referentiel as referentiel_observation '.

					'FROM del_commentaire dc '.

					'INNER JOIN del_observation do '.

					'	ON do.id_observation = dc.ce_observation '.

					'WHERE dc.nom_sel != "" AND (dc.nom_sel_nn = 0 OR dc.nom_sel_nn IS NULL)';

		$propositions = $this->conteneur->getBdd()->recupererTous($requete);

		return $propositions;

	}

	private function rechercherNomsPossibles($referentiel, $nom) {

		$nom = trim($nom);

		$requete = "SELECT num_nom, num_nom_retenu, nom_sci, CONCAT(nom_sci, ' ', auteur) as nom_sci_etendu FROM ".$this->tables_referentiel[$referentiel]." ".

				"WHERE CONCAT(nom_sci, ' ', auteur) = ".$this->conteneur->getBdd()->proteger($nom)." ".

				"		OR nom_sci = ".$this->conteneur->getBdd()->proteger($nom)." ".

				"ORDER BY CONCAT(nom_sci, ' ', auteur) ASC";

		$noms = $this->conteneur->getBdd()->recupererTous($requete);

		return $noms;

	}

	private function mettreAjourProposition($id_proposition, $referentiel, $infos) {

		$requete = "UPDATE del_commentaire ".

					"SET nom_sel_nn = ".$this->conteneur->getBdd()->proteger($infos['num_nom']).", ".

					"	 nom_referentiel = ".$this->conteneur->getBdd()->proteger($referentiel)." ".

					"WHERE id_commentaire = ".$this->conteneur->getBdd()->proteger($id_proposition);

		return $this->conteneur->getBdd()->executer($requete);

	}

	private function construireTableauReferentiels() {

		$referentiels_dispos = explode(',', $this->conteneur->getParametre('referentiels'));

		foreach($referentiels_dispos as $ref) {

			$this->tables_referentiel[$ref] = $this->conteneur->getParametre('table_referentiel_'.$ref);

		}

	}

}