Subversion Repositories eFlore/Projets.eflore-projets

<?php
/** Exemple lancement:
 * /opt/lampp/bin/php -d memory_limit=3500M ~/web/eflore-projets/scripts/cli.php baseveg -a chargerTous
*/

class Baseveg extends EfloreScript {

        private $ligne_num;
        private $fichierDonnees = '';
        private $synonymes;
        private $niveaux;
        private $log = '';
        private $colonne_valeur;
        private $colonne_num;
        private $nb_erreurs;
        private $erreurs_ligne;
        private $motifs = array();
        
        public function executer() {
                try {
                        $this->initialiserProjet('baseveg');
                        $cmd = $this->getParametre('a');
                        switch ($cmd) {
                                case 'supprimerTous' :
                                        $this->supprimerTous();
                                        break;
                                case 'chargerStructureSql' :
                                        $this->chargerStructureSql();
                                        break;
                                case 'chargerMetadonnees' :
                                        $this->chargerMetadonnees();
                                        break;
                                case 'chargerDonnees' :
                                        $this->chargerDonnees();
                                        break;
                                case 'verifierFichier' :
                                        //cette étape met en avant les valeurs qui vont poser des problèmes (ontologies..)
                                        $this->verifierFichier();
                                        break;
                                case 'chargerOntologies' :
                                        $this->chargerOntologies();
                                        break;
                                case 'chargerTous' :
                                        $this->supprimerTous();
                                        $this->chargerStructureSql();
                                        $this->chargerMetadonnees();
                                        $this->chargerDonnees();
                                        $this->chargerOntologies();
                                        break;
                                default :
                                        throw new Exception("Erreur : la commande '$cmd' n'existe pas!");
                        }
                } catch (Exception $e) {
                        $this->traiterErreur($e->getMessage());
                }
        }
        
        private function chargerOntologies() {
                $chemin = Config::get('chemins.ontologies');
                $table = Config::get('tables.ontologies');
                $requete = "TRUNCATE TABLE $table ;
                         LOAD DATA INFILE '$chemin' ".
                                "REPLACE INTO TABLE $table ".
                                'CHARACTER SET utf8 '.
                                'FIELDS '.
                                "       TERMINATED BY '\t' ".
                                "       ENCLOSED BY '' ".
                                "       ESCAPED BY '\\\' "
                ;
                $this->getBdd()->requeter($requete);
        }

        private function chargerDonnees() {
                $table = Config::get('tables.donnees');
                $requete = "LOAD DATA INFILE '".Config::get('chemins.donnees')."' ".
                                "REPLACE INTO TABLE $table ".
                                'CHARACTER SET utf8 '.
                                'FIELDS '.
                                "       TERMINATED BY '\t' ".
                                "       ENCLOSED BY '' ".
                                "       ESCAPED BY '\\\'";
                $this->getBdd()->requeter($requete);
        }
        
        protected function chargerMetadonnees() {
                $contenuSql = $this->recupererContenu(Config::get('chemins.metadonnees'));
                $this->executerScripSql($contenuSql);
        }

        private function supprimerTous() {
                $requete = "DROP TABLE IF EXISTS baseveg_v2012_07_04, baseveg_meta,  baseveg_ontologies ";
                $this->getBdd()->requeter($requete);
        }
/* --------------------------------- Vérification de fichiers ----------------------------------*/
        //identiques
        private function verifierFichier(){
                $this->initialiserParametresVerif();
                $lignes = file($this->fichierDonnees, FILE_IGNORE_NEW_LINES);
                if ($lignes != false) {
                        $this->ajouterAuLog("!!! REGARDEZ LES COLONNES DANS NUMERO_COLONNES_IMPORTANT.TXT.");
                        foreach ($lignes as $this->ligne_num => $ligne) {
                                $this->verifierErreursLigne($ligne);
                                $this->afficherAvancement("Vérification des lignes");
                        }
                        echo "\n";
                } else {
                        $this->traiterErreur("Le fichier {$this->fichierDonnees} ne peut pas être ouvert.");
                }
        
                if ($this->nb_erreurs == 0) {
                        $this->ajouterAuLog("Il n'y a pas d'erreurs.");
                }
                $this->traiterInfo($this->nb_erreurs." erreurs");
        
                $this->ecrireFichierLog();
        }
        
        private function verifierColonne(){
                $motif = $this->motifs[$this->colonne_num];
                if (preg_match($motif, $this->colonne_valeur) == 0 && $this->verifierSiVide() == false){
                        $this->erreurs_ligne[$this->colonne_num] = $this->colonne_valeur;
                }
        }
        
        private function verifierSiVide(){
                $vide = ($this->colonne_valeur  == '') ? true : false;
                return $vide;
        }
        
        private function controlerErreursLigne() {
                $nbreErreursLigne = count($this->erreurs_ligne);
                $this->nb_erreurs += $nbreErreursLigne;
                if ($nbreErreursLigne != 0) {
                        $this->ajouterAuLog("Erreurs sur la ligne {$this->ligne_num}");
                        $ligneLog = '';
                        foreach ($this->erreurs_ligne as $cle => $v){
                                $ligneLog .= "colonne $cle : $v - ";
                        }
                        $this->ajouterAuLog($ligneLog);
                }
        }
        
        //changements
        private function verifierErreursLigne($ligne){
                $this->erreurs_ligne = array();
                $colonnes = explode("\t", $ligne);
                if (isset($colonnes)) {
                        foreach ($colonnes as $this->colonne_num => $this->colonne_valeur) {
                                        if ($this->colonne_num == 1 ) {
                                                $this->verifierColonne();
                                        } elseif ($this->colonne_num == 2 ) {
                                                $this->verifierColonne();
                                        } elseif ($this->colonne_num == 4 ) {
                                                $this->verifierNiveaux();
                                                break;
                                        }
                        }
                } else {
                        $message = "Ligne {$this->ligne_num} : pas de tabulation";
                        $this->ajouterAuLog($message);
                }
        
                $this->controlerErreursLigne();
        }
        
        
        
        private function verifierNiveaux(){
                if (preg_match("/^syn(.+)$/", $this->colonne_valeur, $retour) == 1) {

                        $synonymes = explode(' ', trim($retour[1]));
                        foreach($synonymes as $syn){
                                if  (!in_array($syn, $this->synonymes)) {
                                        $this->erreurs_ligne[$this->colonne_num] = $this->colonne_valeur;
                                }
                        }
                } elseif($this->colonne_valeur != '') {
                        if (!in_array($this->colonne_valeur , $this->niveaux)) {
                                $this->erreurs_ligne[$this->colonne_num] = $this->colonne_valeur;
                        }
                }
        }
        
        // changements
        private function initialiserParametresVerif() {
                $this->nb_erreurs = 0;
                $this->fichierDonnees = Config::get('chemins.donnees');
                $this->niveaux = array('CLA','ALL','ORD','ASS','GRPT','SUBORD','SUBASS','BC','SUBCLA','DC','SUBALL');
                $this->synonymes = array('incl','=','?','illeg','pp','pmaxp','pminp','compl','ambig','non','inval','nn','ined');
                $this->motifs= $this->inverserTableau(array('/^[0-9]+$/' => 1,
                                                                                                '/(?:[0-9]{2}\/$|[0-9]{2}\/[0-9]\.$|[0-9]{2}\/(?:[0-9]\.){1,5}[0-9]$|[0-9]{2}\/(?:[0-9]\.){4,5}[0-9]\/[0-9]+(?:bis|ter|quater){0,1}$)|incertae sedis/' => 2));
        //présence de '=' , '= ?' et ',' dans les valeurs des paramètres. ne pas utiliser getParametresTableau.
        }
        
        //+------------------------------------------------------------------------------------------------------+
        // Gestion du Log
        
        private function ajouterAuLog($txt) {
                $this->log .= "$txt\n";
        }
        
        private function ecrireFichierLog() {
                $fichierLog = dirname(__FILE__).'/log/verification.log';
                file_put_contents($fichierLog, $this->log);
        }
        
/*--------------------------------------------OUtils-------------------------------------------*/       
        
        //attention , dans les motifs !!
        
        private function inverserTableau($tableau) {
                $inverse = array();
                foreach ($tableau as $cle => $valeurs) {
                        $valeurs = explode(';', $valeurs);
                        foreach ($valeurs as $valeur) {
                                $inverse[$valeur] = $cle;
                        }
                }
                return $inverse;
        }
}
?>