Subversion Repositories eFlore/Projets.eflore-projets

Rev

Rev 460 | Blame | Last modification | View Log | RSS feed

<?php
// Encodage : UTF-8
// +-------------------------------------------------------------------------------------------------------------------+
/**
 * Traitement des fichiers de la banque de données SOPHY pour insertion
 *
 * Description : classe permettant d'insérer les tableaux phytosociologiques de la banque de données SOPHY
 * Utilisation : php script.php insertion -a test
 *
 * @category            PHP 5.3
 * @package             phytosocio
 //Auteur original :
 * @author              Delphine CAUQUIL <delphine@tela-botanica.org>
 * @copyright   Copyright (c) 2009, Tela Botanica (accueil@tela-botanica.org)
 * @license             http://www.gnu.org/licenses/gpl.html Licence GNU-GPL-v3
 * @license             http://www.cecill.info/licences/Licence_CeCILL_V2-fr.txt Licence CECILL-v2
 * @version             $Id$
 */
// +-------------------------------------------------------------------------------------------------------------------+
class Insertion extends EfloreScript {
        
        protected $tableauTaxon;
        protected $dao;
        protected $observations;
        // Paramêtres autorisées lors de l'appel au script en ligne de commande
        protected $parametres_autorises = array(
                '-n' => array(true, true, 'Nom du fichier ou du dossier à traiter'));

        protected $param_bd_pour_stat = array(
                'sophy_publication' => array(),
                'sophy_tableau' => array('stab_id_publi' => 'nombrePubli'),
                'sophy_releve' => array(
                        'sr_id_publi' => 'nombrePubli', 
                        'sr_id_publi, sr_id_tableau' => 'nombreTableau', 
                        'sr_id_station' => 'nombreStation'),
                'sophy_observation' => array(
                        'so_id_publi' => 'nombrePubli', 
                        'so_id_publi, so_id_tableau' => 'nombreTableau', 
                        'so_id_publi, so_id_tableau, so_id_releve' => 'nombreReleve', 
                        'so_id_taxon' => 'nombreTaxon'),
                'sophy_station' => array(),
                'sophy_taxon' => array()
        );

        // Composition classique d'un titre de tableau de stations ou phytosociologiques
        protected $format_titre = array(
                'numPubli' => array(0, 4),
                'numTableau' => array(4, 3),
                'nombreStations' => array(7, 3),
                'titrePubli' => array(11, -1),
                'typeTableau' => array(79, 1)
        );

        // Composition classique d'une station
        protected $format_station = array(
                'numSource' => array(0, 4),
                'posteMeteo' => array(4, 5),
                'nomStation' => array(10, 38),
                'latitude' => array(49, 7),
                'codePays' => array(56, 2),
                'longitude' => array(59, 6),
                'codeDept' => array(66, 2),
                'altitude' => array(69, 4),
                'codeCommune' => array(74, 3),
                'precisionGeographique' => array(78, 1),
                'systemeProjection' => array(79, 1),
                'latitude2' => array(80, 8),
                'longitude2' => array(88, 8)
        );

        // Composition classique d'une ligne de tableau phytosociologique
        protected $format_tableau = array(
        0 => array(
                        'numLigne' => array(0, 3),
                        'idTaxon' => array(3, 5),
                        'strate' => array(8, 1),
                        'codeFlore' => array(9, 1),
                        'abondance_rem' => array(10, 70)),
        2 => array(
                        'numSource' => array(0, 5),
                        'posteMeteo' => array(5, 3),
                        'numLigne' => array(8, 2),
                        'codeFournier1' => array(10, 5),
                        'abondance1' => array(15, 1),
                        'strate1' => array(16, 1),
                        'codeFournier2' => array(17, 5),
                        'abondance2' => array(22, 1),
                        'strate2' => array(23, 1),
                        'codeFournier3' => array(24, 5),
                        'abondance3' => array(29, 1),
                        'strate3' => array(30, 1),
                        'codeFournier4' => array(31, 5),
                        'abondance4' => array(36, 1),
                        'strate4' => array(37, 1),
                        'codeFournier5' => array(38, 5),
                        'abondance5' => array(43, 1),
                        'strate5' => array(44, 1),
                        'codeFournier6' => array(45, 5),
                        'abondance6' => array(50, 1),
                        'strate6' => array(51, 1),
                        'codeFournier7' => array(52, 5),
                        'abondance7' => array(57, 1),
                        'strate7' => array(58, 1),
                        'codeFournier8' => array(59, 5),
                        'abondance8' => array(64, 1),
                        'strate8' => array(65, 1),
                        'codeFournier9' => array(66, 5),
                        'abondance9' => array(71, 1),
                        'strate9' => array(72, 1),
                        'codeFournier10' => array(73, 5),
                        'abondance10' => array(78, 1),
                        'strate10' => array(79, 1)),
        6 => array(
                        'numSource' => array(0, 4),
                        'posteMeteo' => array(4, 4),
                        'numLigne' => array(8, 2),
                        'strate1' => array(10, 1),
                        'codeFournier1' => array(11, 4),
                        'abondance1' => array(16, 1),
                        'strate2' => array(17, 1),
                        'codeFournier2' => array(18, 4),
                        'abondance2' => array(23, 1),
                        'strate3' => array(24, 1),
                        'codeFournier3' => array(25, 4),
                        'abondance3' => array(30, 1),
                        'strate4' => array(31, 1),
                        'codeFournier4' => array(32, 4),
                        'abondance4' => array(37, 1),
                        'strate5' => array(38, 1),
                        'codeFournier5' => array(39, 4),
                        'abondance5' => array(44, 1),
                        'strate6' => array(45, 1),
                        'codeFournier6' => array(46, 4),
                        'abondance6' => array(51, 1),
                        'strate7' => array(52, 1),
                        'codeFournier7' => array(53, 4),
                        'abondance7' => array(58, 1),
                        'strate8' => array(59, 1),
                        'codeFournier8' => array(60, 4),
                        'abondance8' => array(65, 1),
                        'strate9' => array(66, 1),
                        'codeFournier9' => array(67, 4),
                        'abondance9' => array(72, 1),
                        'strate10' => array(73, 1),
                        'codeFournier10' => array(74, 4),
                        'abondance10' => array(79, 1)),
        7 => array(
                        'numReleve' => array(2, 3),
                        'posteMeteo' => array(7, 3),
                        'codeFournier1' => array(10, 4),
                        'abondance1' => array(14, 1),
                        'strate1' => array(15, 1),
                        'codeFournier2' => array(16, 4),
                        'abondance2' => array(20, 1),
                        'strate2' => array(21, 1),
                        'codeFournier3' => array(22, 4),
                        'abondance3' => array(26, 1),
                        'strate3' => array(27, 1),
                        'codeFournier4' => array(28, 4),
                        'abondance4' => array(32, 1),
                        'strate4' => array(33, 1),
                        'codeFournier5' => array(34, 4),
                        'abondance5' => array(38, 1),
                        'strate5' => array(39, 1),
                        'codeFournier6' => array(40, 4),
                        'abondance6' => array(44, 1),
                        'strate6' => array(45, 1),
                        'codeFournier7' => array(46, 4),
                        'abondance7' => array(50, 1),
                        'strate7' => array(51, 1),
                        'codeFournier8' => array(52, 4),
                        'abondance8' => array(56, 1),
                        'strate8' => array(57, 1),
                        'codeFournier9' => array(58, 4),
                        'abondance9' => array(62, 1),
                        'strate9' => array(63, 1),
                        'codeFournier10' => array(64, 4),
                        'abondance10' => array(68, 1),
                        'strate10' => array(69, 1),
                        'numLigne' => array(71, 2),
                        'codeCarte' => array(73, 7))
        );

// +-------------------------------------------------------------------------------------------------------------------+
        public function executer() {
                include_once dirname(__FILE__).'/bibliotheque/Dao.php';
                Config::charger(dirname(__FILE__).'/sophy.ini');
                
                $this->dao = new Dao();
                // Récupération de paramétres
                // Lancement de l'action demandée
                $cmd = $this->getParametre('a');
                switch ($cmd) {
                        case 'testDossier' :
                                $this->executerTestDossier();
                                break;
                        case 'chargerStructureSql' :
                                $this->chargerStructureSql();
                                break;
                        case 'supprimerTous' :
                                $this->supprimerTous();
                        case 'biblio' :
                                $this->executerBiblio();
                                break;
                        case 'station' :
                                include_once dirname(__FILE__).'/bibliotheque/gPoint.php';
                                $this->executerStation();
                                break;
                        case 'stationCodeInsee' :
                                $this->executerStationCodeInsee();
                                break;
                        case 'tableau' :
                                include_once dirname(__FILE__).'/bibliotheque/TaxonDao.php';
                                $this->tableauTaxon = new TaxonDao();
                                $this->executerTableau();
                                break;
                        case 'stats' :
                                $this->executerStats();
                                break;
                        case 'tapir' :
                                $info = $this->dao->creerTapir();
                                $this->traiterErreur($info);
                                break;  
                        default :
                                $this->traiterErreur('Erreur : la commande "%s" n\'existe pas!', array($cmd));
                }
        }
        protected function chargerStructureSql() {
                $contenuSql = $this->recupererContenu(Config::get('chemins.structureSql'));
                $this->executerScripSql($contenuSql);
        }
        
        protected function executerScripSql($sql) {
                $requetes = Outils::extraireRequetes($sql);
                foreach ($requetes as $requete) {
                        $this->getBdd()->requeter($requete);
                }
        }
        
        private function supprimerTous() {
                $requete = "DROP TABLE IF EXISTS sophy_abondance, `sophy_bdnff`, `sophy_bryophyte`, `sophy_ciff`, ".
                                "`sophy_ciff_fournier`, `sophy_codefr94`, `sophy_flora_europea`, `sophy_fournier`, `sophy_fournier_bdnff`,".
                                " `sophy_observation`, `sophy_precision_geo`, `sophy_publication`, `sophy_releve`, `sophy_station`, `sophy_strate`,".
                                " `sophy_syntri`, `sophy_syntri_fournier`, `sophy_tableau`, `sophy_taxon`";
                $this->getBdd()->requeter($requete);
        }
// +-------------------------------------------------------------------------------------------------------------------+
        // vérifie qu'il n'y est pas de fichier en double dans le dossier
        // à faire avant d'insérer un nouveau dossier 
        private function executerTestDossier() {
                $nomDossier = Config::get('dossierDonneesSophy').$this->getParametre('n');
                if (file_exists($nomDossier) === true) {
                        if (is_dir($nomDossier)) {
                                if ($dossierOuvert = opendir($nomDossier) ) {
                                        while ( ($nomFichier = readdir($dossierOuvert)) !== false) {
                                                if ( !is_dir($nomFichier) ) {
                                                        if (preg_match('/^[ST]{1,2}(\d{2}1)(\d{2}0)\.*/', $nomFichier, $match)) {
                                                                // fichier normal type 001 à 010
                                                        } elseif (preg_match('/^([ST]{1,2})(\d{3})(\d{3})\.*/', $nomFichier, $match)) {
                                                                if (($match[1]=='ST' || $match[1]=='T') && ($match[3] - $match[2] == 1)) {
                                                                        // fichier normal type 1000 à 1010
                                                                } else {
                                                                        $this->traiterErreur("Le fichier $nomFichier risque d'être en double.");
                                                                }
                                                        }
                                                }
                                        }
                                        closedir($dossierOuvert);
                                } else {
                                        $this->traiterErreur("Le dossier $nomDossier n'a pas pu être ouvert.");
                                }
                        } else {
                                $this->traiterErreur("$nomDossier n'est pas un dossier.");
                        }
                } else {
                        $this->traiterErreur("Le dossier $nomDossier est introuvable.");
                }
        }

// +-------------------------------------------------------------------------------------------------------------------+
        // Traitement du fichier biblio format csv
        // /opt/lampp/bin/php cli.php sophy/insertion -a biblio -n ./../donnees/sophy/BIBLIO.csv
        private function executerBiblio() {
                // Parcours le fichier .csv et enregistre chaque ligne dans un tableau.
                $nomFichier = Config::get('dossierDonneesSophy').'BIBLIO.csv';
                if ($nomFichier && file_exists($nomFichier) ){
                        $extensionFichier = strtolower(strrchr($nomFichier, '.'));
                        if ($extensionFichier === ".csv"){
                                $file = new SplFileObject($nomFichier);
                                $file->setFlags(SplFileObject::SKIP_EMPTY);
                                $i = 0;
                                echo "Traitement de la biblio : ";
                                while (!$file->eof()){
                                        $ligne_csv = $file->fgetcsv();
                                        if (preg_match('/^\d+$/', $ligne_csv[0])){
                                                // récupére les colonnes du csv pour les transformer en table publication
                                                $biblio = $this->transformerBiblio($ligne_csv);
                                                // integre les publications à la bdd
                                                $info = $this->dao->integrerBiblio($biblio);
                                                $this->traiterInfo($info);
                                        }
                                        echo str_repeat(chr(8), ( strlen( $i ) + 1 ))."\t".$i++;
                                }
                                echo "\n";
                        } else {
                                $this->traiterErreur("Le fichier de références bibliographiques : $nomFichier n'est pas au format csv.");
                        }
                } else {
                        $this->traiterErreur("Le fichier de références bibliographiques : $nomFichier n'existe pas.");
                }
        }

        private function transformerBiblio($ligne_csv){
                $biblio['id_publi'] = $ligne_csv[0];
                $biblio['auteur'] = $ligne_csv[2].' '.$ligne_csv[3];
                $biblio['date'] = $ligne_csv[4];
                $biblio['titre'] = rtrim($ligne_csv[5].' '.$ligne_csv[6].' '.$ligne_csv[7].' '.$ligne_csv[8].' '.$ligne_csv[9]);
                $biblio['revue'] = rtrim($ligne_csv[10].' '.$ligne_csv[11]);
                $biblio['volume'] = $ligne_csv[12];
                $biblio['tome'] = $ligne_csv[13];
                $biblio['fascicule'] = $ligne_csv[14];
                $biblio['page_debut'] = $ligne_csv[15];
                $biblio['page_fin'] = $ligne_csv[16];
                return $biblio;
        }

// +-------------------------------------------------------------------------------------------------------------------+
        // Traitement des fichiers stations
        // /opt/lampp/bin/php cli.php insertion -a station -n ./../doc/donnees/ST/
        private function executerStation() {
                // transforme les fichiers passés en un tableau 
                //de la forme [nom du fichier][index des tableaux][numéro de ligne]
                $tableaux = $this->ouvrirDossier(Config::get('dossierDonneesSophy').'ST/');
                foreach ($tableaux as $fichier) {
                        foreach ($fichier as $tableau) {
                                if ($tableau[0] != "") {
                                        // découpe la première ligne du tableau et insére les données dans la table tableau
                                        $titre = $this->analyserTitreStation($tableau['0']);
                                        for ($numReleve = 1; $numReleve < sizeof($tableau); $numReleve++) {
                                                // découpe les autres lignes, insére les données dans la table station et retourne l'id de la station
                                                if (trim($tableau[$numReleve]) == '') {
                                                        $id_station = 0;
                                                } else {
                                                        $id_station = $this->analyserStation($tableau[$numReleve]);
                                                }
                                                // insére les données tableau et station dans la table relevé
                                                $info = $this->dao->integrerReleve($titre, $numReleve, $id_station);
                                                if ($info != '') {
                                                        $this->traiterErreur($info);
                                                }
                                        }
                                }
                        }
                }
        }

        private function analyserTitreStation($titre) {
                $titreDecoupe = $this->decouperLigne($titre, $this->format_titre);
                $info = $this->dao->integrerTableau($titreDecoupe);
                if ($info != '') {
                        $this->traiterErreur($info);
                }
                return $titreDecoupe;
        }

        private function analyserStation($ligne) {
                $ligneDecoupe = $this->decouperLigne($ligne, $this->format_station);
                $ligneDecoupe['latitude_wgs'] = null;
                $ligneDecoupe['longitude_wgs'] = null;
                // vérifie que les zéro du code sont présents
                $ligneDecoupe = $this->analyserCodeDeptComm($ligneDecoupe);
                // transforme les grades paris en degrés décimaux wms
                $ligneDecoupe = $this->analyserCoordGrdParis($ligneDecoupe, $ligne);
                // transforme les degrés sexagécimaux en degrés décimaux
                $ligneDecoupe = $this->analyserCoordDmsWms($ligneDecoupe);
                // transforme les degrés décimaux en UTM
                $ligneDecoupe = $this->transformerCoordWmsUtm($ligneDecoupe);
                $ligneDecoupe['nomStation'] = utf8_encode($ligneDecoupe['nomStation']);
                $retour_requete = $this->dao->integrerStation($ligneDecoupe);
                if ($retour_requete['info'] != '') {
                        $this->traiterErreur($retour_requete['info']);
                }
                return $retour_requete['id_station'];
        }
        private function executerStationCodeInsee() {
                $this->dao->creerColonneCodeInseeCalculee();
                $liste_coordonnees = $this->dao->rechercherCoordonneesWgs();
                foreach ($liste_coordonnees as $coordonnees) {
                        $code_insee = $this->chercherCodeCommune($coordonnees['latitude'], $coordonnees['longitude']);
                        if ($code_insee != "") {
                                $this->dao->ajouterCodeInseeCalculee($coordonnees['latitude'], $coordonnees['longitude'], $code_insee);
                        }
                }
        }
        
        private function chercherCodeCommune($latitude, $longitude) {
                $code_insee = '';
                if ($this->testerCoordonneesWgsFrance($latitude, $longitude)) {
                        $url_service = "www.tela-botanica.org/service:eflore:0.1/osm/nom-commune".
                                                "?lat={$latitude}&lon={$longitude}";
                        $url_service = str_replace(',', '.', $url_service);
                        $ch = curl_init($url_service);
                        curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
                        $reponse = curl_exec($ch);
                        $reponse = json_decode($reponse);
                        if (isset($reponse->codeINSEE)) {
                                $code_insee = $reponse->codeINSEE;
                        }
                        curl_close($ch);
                }
                return $code_insee;
        }
        
        private function testerCoordonneesWgsFrance($latitude, $longitude) {
                $coord_france = false;
                if ($latitude != '' && $longitude != '') {
                        if ($latitude < 51.071667 && $latitude > 41.316667) {
                                if ($longitude < 9.513333 && $longitude > -5.140278) {
                                        $coord_france = true;
                                }
                        }
                }
                return $coord_france;
        }
        private function analyserCodeDeptComm($ligneDecoupe) {
                if (preg_match('/^\d{2}$/', $ligneDecoupe['codeDept'])) {
                } elseif (preg_match('/^\s{0,1}\d{1,2}\s{0,1}$/',$ligneDecoupe['codeDept'])) {
                        $ligneDecoupe['codeDept'] = str_replace(' ', '0', $ligneDecoupe['codeDept']);
                } else {
                        $ligneDecoupe['codeDept'] = null;
                }
                if (preg_match('/^\d{3}$/', $ligneDecoupe['codeCommune'])) {
                } elseif (preg_match('/^\s{0,2}\d{1,2,3}\s{0,2}$/', $ligneDecoupe['codeCommune'])) {
                        $ligneDecoupe['codeCommune'] = str_replace(' ', '0', $ligneDecoupe['codeCommune']);
                } elseif ($ligneDecoupe['codeDept'] == null) {
                        $ligneDecoupe['codeCommune'] = null;
                } else {
                        $ligneDecoupe['codeCommune'] = '000';
                }
                return $ligneDecoupe;
        }
        private function analyserCoordGrdParis($ligneDecoupe, $ligne) {
                if (preg_match('/[\s0]0\.000/', $ligneDecoupe['latitude'], $match)) {
                        $ligneDecoupe['latitude'] = null;
                        $ligneDecoupe['longitude'] = null;
                } elseif (preg_match('/\d{1,2}\.\d{2,3}/', $ligneDecoupe['latitude'], $match)) {// format souhaité
                        $ligneDecoupe['latitude_wgs'] = round($ligneDecoupe['latitude']*0.9, 7);
                        $ligneDecoupe['longitude_wgs'] = round($ligneDecoupe['longitude']*0.9+2.3372291, 7);
                } elseif (preg_match('/(\d{2})[\d\s,](\d{3})/', $ligneDecoupe['latitude'], $match)) {//erreur de saisie
                        $ligneDecoupe['latitude'] = $match[1].'.'.$match[2];
                        $ligneDecoupe['latitude_wgs'] = round($ligneDecoupe['latitude']*0.9, 7);
                        $ligneDecoupe['longitude_wgs'] = round($ligneDecoupe['longitude']*0.9 + 2.3372291, 7);
                } elseif (preg_match('/^[a-zA-Z\s]*[a-zA-Z][a-zA-Z\s]*$/', $ligneDecoupe['latitude'])) {// lat absente + nom long
                        $ligneDecoupe['nomStation'] = rtrim(substr($ligne, 10, 48));
                        $ligneDecoupe['latitude'] = null;
                        $ligneDecoupe['longitude'] = null;
                } elseif (preg_match('/.[AO].123/', $ligneDecoupe['latitude'], $match)) {
                        $ligneDecoupe['latitude'] = null;
                        $ligneDecoupe['longitude'] = null;
                }  elseif ($ligneDecoupe['latitude'] != null) {
                        $ligneDecoupe['latitude'] = null;
                        $ligneDecoupe['longitude'] = null;
                }
                return $ligneDecoupe;
        }
        private function analyserCoordDmsWms($ligneDecoupe) {
                if (preg_match('/(\d{1,2})\.(\d{2})\.(\d{2})/', $ligneDecoupe['latitude2'], $match)) {
                        $ligneDecoupe['latitude_wgs'] = round($match[1]+($match[2]/60)+($match[3]/3600), 7);
                }
                if (preg_match('/(-{0,1})(\d{1,2})\.(\d{2})\.(\d{2})/', $ligneDecoupe['longitude2'], $match)) {
                        $ligneDecoupe['longitude_wgs'] = round($match[2]+($match[3]/60)+($match[4]/3600), 7);
                        if ($match[1] == '-') {
                                $ligneDecoupe['longitude_wgs'] = -$ligneDecoupe['longitude_wgs'];
                        }
                }
                return $ligneDecoupe;
        }
        private function transformerCoordWmsUtm($ligneDecoupe) {
                $ligneDecoupe['utmNorthing'] = null;
                $ligneDecoupe['utmEasting'] = null;
                $ligneDecoupe['utmZone'] = null;
                if ($ligneDecoupe['longitude_wgs'] != null && $ligneDecoupe['latitude_wgs'] != null) {
                        $convertisseur = new gPoint();
                        $convertisseur->setLongLat($ligneDecoupe['longitude_wgs'], $ligneDecoupe['latitude_wgs']);
                        $convertisseur->convertLLtoTM();
                        $ligneDecoupe['utmNorthing'] = round($convertisseur->N(), 2);
                        $ligneDecoupe['utmEasting'] = round($convertisseur->E(), 2);
                        $ligneDecoupe['utmZone'] = $convertisseur->Z();
                        
                }
                return $ligneDecoupe;
        }

// +-------------------------------------------------------------------------------------------------------------------+
        // Traitement des fichiers tableaux
        // /opt/lampp/bin/php cli.php insertion -a tableau -n ./../doc/donnees/T/
        private function executerTableau() {
                $tableaux = $this->ouvrirDossier(Config::get('dossierDonneesSophy').'T/');
                $observations = array();
                foreach ($tableaux as $fichier) {
                        foreach ($fichier as $tableau) {
                                if ($tableau[0] != "") {
                                        $this->observations = array();
                                        $titre = $this->decouperLigne($tableau[0], $this->format_titre);
                                        $this->analyserTableau($tableau, $titre);
                                        /*$info = $this->dao->integrerObservation($this->observations, $titre);
                                        if ($info != '') {
                                                $this->traiterErreur($info);
                                        }*/
                                }
                        }
                } $this->tableauTaxon->integrerTaxons();
        }

        private function analyserTableau($tableau, $titre) {
                if ($titre['typeTableau'] == ' ') {
                        $titre['typeTableau'] = 0;
                }
                switch ($titre['typeTableau']) {
                        case 0 :
                                for ($numeroLigne = 1; $numeroLigne < sizeof($tableau); $numeroLigne++) {
                                        $ligneDecoupe = $this->decouperLigne($tableau[$numeroLigne], $this->format_tableau['0']);
                                        if (trim($ligneDecoupe['idTaxon']) == '' && trim($ligneDecoupe['abondance_rem']) == '' &&
                                        preg_match('/^\s+\*N\s*\*\s*$/', $ligneDecoupe['indetermine'])) {
                                                for ($nombreReleve = 1; $nombreReleve <= $titre['nombreStations']; $nombreReleve ++) {
                                                        $this->observations[$numeroLigne][$nombreReleve]['sc_id_publi'] = $titre['numPubli'];
                                                        $this->observations[$numeroLigne][$nombreReleve]['sc_id_tableau'] = $titre['numTableau'];
                                                        $this->observations[$numeroLigne][$nombreReleve]['sc_id_releve'] = $nombreReleve;
                                                        $this->observations[$numeroLigne][$nombreReleve]['sc_num_ligne'] = $ligneDecoupe['numLigne'];
                                                        $this->observations[$numeroLigne][$nombreReleve]['sc_id_taxon'] = 0;
                                                        $this->observations[$numeroLigne][$nombreReleve]['sc_id_strate'] = 0;
                                                        $this->observations[$numeroLigne][$nombreReleve]['sc_ce_abondance'] = '?';
                                                }
                                        } else {
                                                $this->creerObservType0($titre, $ligneDecoupe, $numeroLigne);
                                        }
                                }
                                for ($nombreReleve = 1; $nombreReleve <= $titre['nombreStations']; $nombreReleve ++) {
                                        $j = false;
                                        for ($numeroLigne = 1; $numeroLigne < sizeof($tableau); $numeroLigne++) {
                                                if (isset($this->observations[$numeroLigne][$nombreReleve])) {
                                                        $j = true;
                                                }
                                        }
                                        if ($j == false) {
                                                $this->observations[0][$nombreReleve]['sc_id_publi'] = $titre['numPubli'];
                                                $this->observations[0][$nombreReleve]['sc_id_tableau'] = $titre['numTableau'];
                                                $this->observations[0][$nombreReleve]['sc_id_releve'] = $nombreReleve;
                                                $this->observations[0][$nombreReleve]['sc_num_ligne'] = 0;
                                                $this->observations[0][$nombreReleve]['sc_id_taxon'] = 0;
                                                $this->observations[0][$nombreReleve]['sc_id_strate'] = 0;
                                                $this->observations[0][$nombreReleve]['sc_ce_abondance'] = '?';
                                        }
                                }
                                break;
                        case 2 :
                                $numSource = 0; $numReleve = 0;
                                for ($numeroLigne = 1; $numeroLigne < sizeof($tableau); $numeroLigne++) {
                                        $ligneDecoupe = $this->decouperLigne($tableau[$numeroLigne], $this->format_tableau['2']);
                                        if ($ligneDecoupe['numSource'] != $numSource) {
                                                // $numSource correspond au numero à la station par l'auteur, 
                                                // $numReleve correspond à l'id de la station
                                                $numSource = $ligneDecoupe['numSource'];
                                                $numReleve ++;
                                        }
                                        if (strlen(trim($tableau[$numeroLigne])) < 10) {
                                                $this->observations[$numeroLigne][1]['sc_id_publi'] = $titre['numPubli'];
                                                $this->observations[$numeroLigne][1]['sc_id_tableau'] = $titre['numTableau'];
                                                $this->observations[$numeroLigne][1]['sc_id_releve'] = $numReleve;
                                                $this->observations[$numeroLigne][1]['sc_num_ligne'] = 0;
                                                $this->observations[$numeroLigne][1]['sc_id_taxon'] = 0;
                                                $this->observations[$numeroLigne][1]['sc_id_strate'] = 0;
                                                $this->observations[$numeroLigne][1]['sc_ce_abondance'] = '?';
                                        } else {
                                                $this->creerObservType2($titre, $ligneDecoupe, $numReleve, $numeroLigne);
                                        }
                                }
                                break;
                        case 6 :
                                $numSource = 0; $numReleve = 0;
                                for ($numeroLigne = 1; $numeroLigne < sizeof($tableau); $numeroLigne++) {
                                        $ligneDecoupe = $this->decouperLigne($tableau[$numeroLigne], $this->format_tableau['6']);
                                        $num = (preg_match('/[\dA-Z]+\s+[\dA-Z]+/', $ligneDecoupe['numSource'].$ligneDecoupe['posteMeteo'])) 
                                                        ? ltrim($ligneDecoupe['numSource']) 
                                                        : $ligneDecoupe['numSource'].$ligneDecoupe['posteMeteo'];
                                        if ($num !== $numSource) {
                                                $numSource = $num;
                                                $numReleve ++;
                                        }
                                        $this->creerObservType2($titre, $ligneDecoupe, $numReleve, $numeroLigne);
                                }
                                break;
                        case 7 :
                                $numSource = 0; $numReleve = 0;
                                for ($numeroLigne = 1; $numeroLigne < sizeof($tableau); $numeroLigne++) {
                                        $ligneDecoupe = $this->decouperLigne($tableau[$numeroLigne], $this->format_tableau['7']);
                                        if (trim($ligneDecoupe['numReleve']) !== $numSource) {
                                                $numSource = trim($ligneDecoupe['numReleve']);
                                                $numReleve ++;
                                        }
                                        $this->creerObservType2($titre, $ligneDecoupe, $numReleve, $numeroLigne);
                                }
                                break;
                        default :
                                for ($numeroLigne = 1; $numeroLigne < sizeof($tableau); $numeroLigne++) {
                                        $ligneDecoupe = $this->decouperLigne($tableau[$numeroLigne], $this->format_tableau['0']);
                                        $this->creerObservType0($titre, $ligneDecoupe);
                                }
                                break;
                }
                return $ligneDecoupe;
        }
        // crée des observations au format de la table à partir d'un tableau de type standard (0)
        private function creerObservType0($titre, $ligneDecoupe, $numeroLigne) {
                $observation = null;
                // Retourne l'id du taxon dans la bd sophy
                $idTaxon = $this->identifierTaxon($titre['nombreStations'], $ligneDecoupe, $numeroLigne);
                // découpe le champs abondance_rem ou indetermine selon le nombre de relevés 
                $remAbondance = substr(
                        ($ligneDecoupe['abondance_rem'] != null) ? $ligneDecoupe['abondance_rem'] : $ligneDecoupe['indetermine'],
                        0, $titre['nombreStations']);
                // si aucun relevé ne contient d'abondance pour un taxon, ajout d'une abondance ? pour ce taxon        
                if (trim($remAbondance) == '') {
                        $remAbondance = '?';
                }
                for ($numReleve = 1; $numReleve <= $titre['nombreStations']; $numReleve++) {
                        if ($remAbondance === '?' && $numeroLigne === 1) {
                                $abondance = '?';
                        } else {
                                $abondance = substr($remAbondance, ($numReleve-1), 1);
                        }
                        if ($abondance != '' && $abondance != ' ') {
                                $this->observations[$numeroLigne][$numReleve]['sc_id_publi'] = $titre['numPubli'];
                                $this->observations[$numeroLigne][$numReleve]['sc_id_tableau'] = $titre['numTableau'];
                                $this->observations[$numeroLigne][$numReleve]['sc_id_releve'] = $numReleve;
                                $this->observations[$numeroLigne][$numReleve]['sc_num_ligne'] = $numeroLigne;
                                $this->observations[$numeroLigne][$numReleve]['sc_id_taxon'] = $idTaxon;
                                if ($ligneDecoupe['strate'] != null) {
                                        $this->observations[$numeroLigne][$numReleve]['sc_id_strate'] = $ligneDecoupe['strate'];
                                } else {
                                        $this->observations[$numeroLigne][$numReleve]['sc_id_strate'] = 0;
                                }
                                $this->observations[$numeroLigne][$numReleve]['sc_ce_abondance'] = $abondance;
                        }
                }
        }
        // crée des observations au format de la table à partir d'un tableau de type 2, 6 ou 7 (10 plantes en lignes)
        private function creerObservType2($titre, $ligneDecoupe, $numReleve, $numeroLigne) {
                $observation = null;
                for ($i = 1; $i < 11; $i++) {
                        // si le numéro de taxon et l'abondance ne sont pas nulls
                        if ((($ligneDecoupe['abondance'.$i] == '' || $ligneDecoupe['abondance'.$i] == '0') &&
                        (trim($ligneDecoupe['codeFournier'.$i]) == '' || $ligneDecoupe['codeFournier'.$i] == '0'))) {
                        } else {
                                $positionTaxon = $ligneDecoupe['numLigne']*10 + $i - 10;
                                $this->observations[$numeroLigne][$positionTaxon]['sc_id_publi'] = $titre['numPubli'];
                                $this->observations[$numeroLigne][$positionTaxon]['sc_id_tableau'] = $titre['numTableau'];
                                $this->observations[$numeroLigne][$positionTaxon]['sc_id_releve'] = $numReleve;
                                $this->observations[$numeroLigne][$positionTaxon]['sc_num_ligne'] = $positionTaxon;
                                $idTaxon = str_replace(' ', '0', $ligneDecoupe['codeFournier'.$i]); 
                                $this->observations[$numeroLigne][$positionTaxon]['sc_id_taxon'] = 
                                        $this->identifierTaxon2($idTaxon, $titre['typeTableau']);       
                                if ($ligneDecoupe['strate'.$i] != null) {
                                        $this->observations[$numeroLigne][$positionTaxon]['sc_id_strate'] = $ligneDecoupe['strate'.$i];
                                } else {
                                        $this->observations[$numeroLigne][$positionTaxon]['sc_id_strate'] = 0;
                                }
                                if ($ligneDecoupe['abondance'.$i] == '' || $ligneDecoupe['abondance'.$i] == '0') {
                                        $this->observations[$numeroLigne][$positionTaxon]['sc_ce_abondance'] = '?';
                                } else {
                                        $this->observations[$numeroLigne][$positionTaxon]['sc_ce_abondance'] = $ligneDecoupe['abondance'.$i];
                                }
                        }
                }
        }
        
        private function identifierTaxon2($idTaxon, $typeTableau) {
                $id = 0;
                if ($typeTableau == 2 && $idTaxon == 75000) {
                        $id = $this->tableauTaxon->getId(75000, 'algues');
                } elseif ($typeTableau == 2 && $idTaxon == 85000) {
                        $id = $this->tableauTaxon->getId(85000, 'characees');
                } elseif ($typeTableau == 2 && $idTaxon == 90000) {
                        $id = $this->tableauTaxon->getId(90000, 'bryo');
                } elseif ($typeTableau == 2 && $idTaxon == 95000) {
                        $id = $this->tableauTaxon->getId(95000, 'lichen');
                } elseif ($typeTableau == 2 && $idTaxon >= 90000) {
                        $idTaxon -= 90000;
                        $id = $this->tableauTaxon->getId($idTaxon, 'bryo');
                } elseif ($typeTableau == 2 && $idTaxon >= 20000) {
                        $idTaxon -= 20000;
                        $id = $this->tableauTaxon->getId($idTaxon, 'floeur');
                } else {
                        if ($typeTableau == 2 && ($idTaxon != '00000' && $idTaxon != '')) {
                                $idTaxon = (substr($idTaxon, 0, 2) - 1)*600 +
                                        (substr($idTaxon, 2, 2) - 11)*10 + (substr($idTaxon, 4, 1) + 1);
                        } elseif ($idTaxon != '00000' && $idTaxon != '') {
                                $idTaxon = ltrim($idTaxon, "0");
                        } else {
                                $idTaxon = 0;
                        }
                        $id = $this->tableauTaxon->getId($idTaxon, 'fournier');
                }
                return $id;
        }

        // fonctions nécessaires pour les tableaux de type standard (0) 
        private function identifierTaxon($nombreReleves, $ligneDecoupe, $numeroLigne) {
                // decoupe le champs remarque
                if ($ligneDecoupe['abondance_rem'] != null) {
                        $rem = trim(substr($ligneDecoupe['abondance_rem'], (int) ltrim($nombreReleves), strlen($ligneDecoupe['abondance_rem'])));
                } else {
                        $rem = substr($ligneDecoupe['indetermine'], (int) ltrim($nombreReleves), strlen($ligneDecoupe['indetermine']));
                }
                $remAnalyse = $this->analyserRemarque($rem, $numeroLigne);
                $id = 0;
                if ($ligneDecoupe['idTaxon'] != null) {
                        $idTaxon = str_replace(' ', '0', $ligneDecoupe['idTaxon']);
                        switch ($idTaxon) { // probleme code dans les 80000 attentes reponses brisse
                                case 0 : $id = $this->recupererId($remAnalyse, 00000); break;
                                case 00000 : $id = $this->recupererId($remAnalyse, $idTaxon); break;
                                case 20000 : $id = $this->recupererId($remAnalyse, $idTaxon, 'floeur'); break;
                                case 75000 : $id = $this->recupererId($remAnalyse, $idTaxon, 'algues'); break;
                                case 85000 : $id = $this->recupererId($remAnalyse, $idTaxon, 'characees'); break;
                                case 90000 : $id = $this->recupererId($remAnalyse, $idTaxon, 'bryo'); break;
                                case 95000 : $id = $this->recupererId($remAnalyse, $idTaxon, 'lichen'); break;
                                default :
                                        if ($idTaxon < 1100) {
                                                $id = $this->recupererId($remAnalyse, 0);
                                        }elseif ($idTaxon < 20000) {
                                                // transformer code fournier en numéro fournier
                                                $numeroFournier = (substr($idTaxon, 0, 2) - 1)*600 + (substr($idTaxon, 2, 2) - 11)*10 +
                                                (substr($idTaxon, 4, 1) + 1);
                                                $id = $this->recupererId($remAnalyse, $numeroFournier, 'fournier'); break;
                                        } elseif ($idTaxon < 90000) {
                                                $idTaxon -= 20000;
                                                $id = $this->recupererId($remAnalyse, $idTaxon, 'floeur'); break;
                                        } else {
                                                $idTaxon -= 90000;
                                                $id = $this->recupererId($remAnalyse, $idTaxon, 'bryo'); break;
                                        }
                                        break;
                        }
                } else {
                        $id = $this->recupererId($remAnalyse, 0);
                }
                return $id;
        }

        private function recupererId($remAnalyse, $idTaxon, $flore = 'ind') {
                if ($remAnalyse['presence'] == true) {
                        $id = $this->tableauTaxon->getId($remAnalyse['num'], $remAnalyse['flore'], $remAnalyse['nom'],
                        $flore, $idTaxon, $remAnalyse['remarques']);
                } else {
                        $id = $this->tableauTaxon->getId($idTaxon, $flore);
                }
                return $id;
        }

        private function analyserRemarque($rem, $numeroLigne) {
                $taxon['presence'] = false;
                if ($rem != '') {
                        $taxon['flore'] = 'ind';
                        $taxon['num'] = 0;
                        $taxon['nom'] = null;
                        $taxon['remarques'] = null;
                        $remAsterique = preg_split('/\*/', $rem);
                        // recuperer le numero et/ou le nom qui sont en remarque
                        foreach ($remAsterique as $morceauRem) {
                                if ($morceauRem == 'N000000') {
                                } elseif (preg_match('/^[A-Z]{1,2}\s{5,6}$/', $morceauRem)) {
                                } elseif (preg_match('/^[\s0]*$/', $morceauRem)) {
                                } elseif (preg_match('/^([A-Z]{1,2})([0\s]{5,6})$/', $morceauRem)) {
                                } elseif (preg_match('/^[\d\s]{5}\d$/', $morceauRem)) {
                                        $taxon['num'] = ltrim(str_replace(' ', '0', $morceauRem), '0');
                                        $taxon['flore'] = 'syntri';
                                        $taxon['presence'] = true;
                                } elseif (preg_match('/^\s*(\d[\d\s]+\d)\s*$/', $morceauRem, $match)) {
                                        $taxon['num'] = ltrim(str_replace(' ', '0', $match[1]), '0');
                                        $taxon['flore'] = 'syntri';
                                        $taxon['presence'] = true;
                                } elseif (preg_match('/^\s*[A-Za-z][a-z\s\.()]+$/', $morceauRem)) {
                                        $taxon['nom'] = $morceauRem;
                                        $taxon['presence'] = true;
                                } elseif (preg_match('/^\s*("\s*[\s"]*)([A-Za-z][A-Za-z\s\.()]+)$/', $morceauRem, $match)) {
                                        foreach ($this->observations[$numeroLigne-1] as $obsPrec) {
                                                $idPrec = $obsPrec['sc_id_taxon'];
                                        }
                                        $nombreQuote = substr_count($match[1], '"');
                                        $nomPrec = preg_split('/\s/', $this->tableauTaxon->getNom($idPrec)); $nom = '';
                                        if (preg_match('/^(x|var|ssp)/', $match[2])) {
                                        } elseif ($nombreQuote == 2 || $nombreQuote == 4) {
                                                $nombreQuote = $nombreQuote/2;
                                        }
                                        for ($i = 0; $i < $nombreQuote; $i++) {
                                                if ($i < count($nomPrec)) {
                                                        $nom .= $nomPrec[$i]." ";
                                                }
                                        }
                                        $taxon['nom'] = $nom.$match[2];
                                        $taxon['remarques'] = $morceauRem;
                                        $taxon['presence'] = true;
                                } elseif (preg_match('/^([A-Z]{1,2})([\d\s]{4,5}\d)$/', $morceauRem, $match) ||
                                preg_match('/^(\s{1,2})([\d\s]{4,5}\d)$/', $morceauRem, $match)) {
                                        switch (trim($match[1])) {
                                                case 'S' : $taxon['flore'] = 'syntri'; break;
                                                case 'CI' : $taxon['flore'] = 'ciff'; break;
                                                case 'C' : $taxon['flore'] = 'codefr94'; break;
                                                case 'BD' : $taxon['flore'] = 'bdnff'; break;
                                                case 'N' : $taxon['flore'] = 'syntri'; break;
                                                case '' : $taxon['flore'] = 'syntri'; break;
                                                default : $taxon['flore'] = 'ind'; break;
                                        }
                                        $taxon['num'] = ltrim(str_replace(' ', '0', $match[2]), '0');
                                        $taxon['presence'] = true;
                                } else {
                                        $morceauRem = trim($morceauRem);
                                        if ($morceauRem != '' && $morceauRem != null) {
                                                $taxon['remarques'] = $morceauRem;
                                                $taxon['presence'] = true;
                                        }
                                }
                        }
                }
                return $taxon;
        }

        // +-------------------------------------------------------------------------------------------------------------------+
        // Fonction Statistiques
        private function executerStats() {
                $nombreTotalLignesTable = $this->dao->getNombreLigne($this->param_bd_pour_stat);
                print_r($nombreTotalLignesTable);
        }

        // +-------------------------------------------------------------------------------------------------------------------+
        // Fonction générale  
        private function ouvrirDossier($nomDossier) {
                $tableaux = null;
                if (file_exists($nomDossier) === true) {
                        if (is_dir($nomDossier)) {
                                if ($dossierOuvert = opendir($nomDossier) ) {
                                        while ( ($nomFichier = readdir($dossierOuvert)) !== false) {
                                                if ( !is_dir($nomFichier) ) {
                                                        $nomFichier = $nomDossier.$nomFichier;
                                                        $tableaux[$nomFichier] = $this->ouvrirFichier($nomFichier);
                                                }
                                        }
                                        closedir($dossierOuvert);
                                } else {
                                        $this->traiterErreur("Le dossier $nomDossier n'a pas pu être ouvert.");
                                }
                        } else {
                                $tableaux[$nomDossier] = $this->ouvrirFichier($nomDossier);
                        }
                } else {
                        $this->traiterErreur("Le dossier $nomDossier est introuvable.");
                }
                return $tableaux;
        }

        // Prend en entree un fichier et retourne un tableau de Tableau phytosocio ou stations
        private function ouvrirFichier($nomFichier) {
                $tableauxDecoupes = null;
                $clefTableau = 0;
                $clefLigne = 0;
                if (file_exists($nomFichier) === true) {
                        if ( $fichierOuvert = fopen($nomFichier, 'r') ) {
                                while ($ligne = fgets($fichierOuvert)) {
                                        if (preg_match('/^.*9{10}.*$/', $ligne)) {
                                                $clefTableau ++ ;
                                                $clefLigne = 0;
                                        } else {
                                                $tableauxDecoupes[$clefTableau][$clefLigne] = rtrim($ligne, " \t");
                                                $clefLigne ++;
                                        }
                                }
                                fclose($fichierOuvert);
                        } else {
                                $this->traiterErreur("Le fichier $nomFichier n'a pas pu être ouvert.");
                        }
                } else {
                        $this->traiterErreur("Le fichier $nomFichier est introuvable.");
                }
                return $tableauxDecoupes;
        }
        
        // utilise les tableaux format_titre ou format_station pour découper les lignes
        private function decouperLigne($ligne, $format) {
                $ligne = rtrim($ligne);
                $taille = strlen($ligne);
                foreach ($format as $param => $position) {
                        // si la taille de la ligne est inférieure à la taille du champs que l'on veut récupérer 
                        if ($taille < ($position[0]+$position[1])) {
                                // on met à null sauf dans certains formats
                                $ligneDecoupe[$param] = null;
                                if (isset($format['numLigne'])) {
                                        $ligneDecoupe['indetermine'] = rtrim(substr($ligne, $position[0], $taille));
                                }
                        } else {
                                $ligneDecoupe[$param] = trim(substr($ligne, $position[0], $position[1]));
                        }
                }
                return $ligneDecoupe;
        }
}
?>