Subversion Repositories eFlore/Applications.cel

Compare Revisions

Ignore whitespace Rev 1653 → Rev 1654

/trunk/jrest/services/CelWidgetExport.php
27,54 → 27,29
class CelWidgetExport extends Cel {
private $nom_fichier_export = 'cel_export';
private $champs_a_exclure = array(
'ce_utilisateur' => true,
'courriel_utilisateur' => true,
'transmission' => true,
'code_insee_calcule' => true);
private $correspondance_champs = array(
'id_observation' => 'Identifiant Observation',
'ordre' => 'Ordre Observation',
'prenom_utilisateur' => 'Prénom',
'nom_utilisateur' => 'Nom',
'nom_sel' => 'Nom Sélectionné',
'nom_sel_nn' => 'Numéro Nomenclatural Nom Selectionné',
'nom_ret' => 'Nom Retenu',
'nom_ret_nn' => 'Numéro Nomenclatural Nom Retenu',
'nt' => 'Numéro Taxonomique',
'famille' => 'Famille',
'nom_referentiel' => 'Référentiel Taxonomique',
'ce_zone_geo' => 'Code Insee',
'zone_geo' => 'Commune',
'lieudit' => 'Lieu-Dit',
'station' => 'Station',
'milieu' => 'Milieu',
'latitude' => 'Latitude',
'longitude' => 'Longitude',
'altitude' => 'Altitude',
'geodatum' => 'Référentiel Géographique',
'date_observation' => 'Date Observation',
'mots_cles_texte' => 'Mots Clés',
'commentaire' => 'Commentaires',
'date_creation' => 'Date Création',
'date_modification' => 'Date Modification',
'date_transmission' => 'Date Transmission',
'abondance' => 'Abondance',
'certitude' => 'Certitude',
'phenologie' => 'Phénologie'
);
private $parametres_autorises = array(
'id_utilisateur' => 'ce_utilisateur',
'utilisateur' => 'courriel_utilisateur',
'commune' => 'zone_geo',
'dept' => 'departement',
'departement' => 'departement',
'lieudit' => 'lieudit',
'station' => 'station',
'projet' => 'mots_cles',
'num_taxon' => 'nt',
'date_debut' => 'date_debut',
'date_fin' => 'date_fin',
'taxon' => 'taxon',
'annee' => 'annee',
'mois' => 'mois',
'jour' => 'jour',
'recherche' => 'recherche',
'id_mots_cles' => 'id_mots_cles',
'debut' => 'debut',
'limite' => 'limite',
'format' => 'format'
'format' => 'format',
'colonnes' => 'colonnes',
'transmission' => 'transmission'
);
private $limite_decoupage_defaut = 9000;
109,16 → 84,21
private function getCalcul() {
$criteres = $this->traiterParametresAutorises($_GET);
// Seulement les observation publiques
 
$criteres['transmission'] = 1;
if($this->doitEtPeutExporterObsPrivees($criteres)) {
unset($criteres['transmission']);
}
$chercheur_observations = new RechercheObservation($this->config);
$numero_page = isset($criteres['debut']) ? $criteres['debut'] : 0;
$limite = isset($criteres['limite']) ? $criteres['limite'] : 0;
$colonnes = isset($criteres['colonnes']) ? $criteres['colonnes'] : 'standard,avance';
unset($criteres['limite']);
unset($criteres['debut']);
unset($criteres['format']);
unset($criteres['colonnes']);
$nb_observations = $chercheur_observations->compterObservations(null, $criteres);
$limite_decoupage = $this->calculerNbLignesMaxParFichier();
133,7 → 113,7
$params_url['debut'] = $intervalle;
$params_url['limite'] = $limite_decoupage;
$url_telechargement_fichier = $base_url;
$url_telechargements[] = $base_url.'?'.http_build_query($params_url).'&format='.$this->format;
$url_telechargements[] = $base_url.'?'.http_build_query($params_url).'&format='.$this->format.'&colonnes='.$colonnes;
$intervalle += $limite_decoupage;
$nb_observations -= $limite_decoupage;
} while($nb_observations >= $limite_decoupage);
156,26 → 136,29
private function getExport() {
$criteres = $this->traiterParametresAutorises($_GET);
 
// Seulement les observation publiques
$criteres['transmission'] = 1;
if($this->doitEtPeutExporterObsPrivees($criteres)) {
unset($criteres['transmission']);
}
$chercheur_observations = new RechercheObservation($this->config);
$debut = isset($criteres['debut']) ? $criteres['debut'] : 0;
$limite = isset($criteres['limite']) ? $criteres['limite'] : 0;
$colonnes = isset($criteres['colonnes']) ? $criteres['colonnes'] : 'standard,avance';
unset($criteres['limite']);
unset($criteres['debut']);
unset($criteres['format']);
unset($criteres['colonnes']);
$observations = $chercheur_observations->rechercherObservations(null, $criteres, $debut, $limite)->get();
switch($this->format) {
case 'csv':
$csv = $this->convertirEnCsv($observations);
$csv = $this->convertirEnCsv($observations, $colonnes);
$this->envoyerCsv($csv);
break;
case 'xls':
$xls = $this->convertirEnXls($observations);
$xls = $this->convertirEnXls($observations, $colonnes);
$this->envoyerXls($xls);
break;
default:
205,16 → 188,17
exit;
}
private function convertirEnCsv($data)
private function convertirEnCsv($data, $colonnes)
{
$chemin_temp = "php://temp";
$outstream = fopen($chemin_temp, 'r+');
$intitule_champs = array();
$groupe_colonnes = FormateurGroupeColonne::nomEnsembleVersListeColonnes($colonnes);
foreach($data as &$ligne) {
$ligne = $this->filtrerDonneesSensibles($ligne);
$ligne = array_diff_key($ligne, $this->champs_a_exclure);
$ligne = FormateurGroupeColonne::getLigneObservation($ligne, $groupe_colonnes);
if(empty($intitule_champs)) {
$intitule_champs = $this->creerEntetesChamps($ligne);
$intitule_champs = FormateurGroupeColonne::getIntitulesColonnes($groupe_colonnes);
fputcsv($outstream, $intitule_champs, ',', '"');
}
fputcsv($outstream, $ligne, ',', '"');
225,7 → 209,7
return $csv;
}
private function convertirEnXls($data) {
private function convertirEnXls($data, $colonnes) {
$this->extendSpreadsheetProductor = new SpreadsheetProductor();
$this->extendSpreadsheetProductor->initSpreadsheet();
238,13 → 222,13
$workbook->send($this->nom_fichier_export.'.xls');
$nb_lignes = 1;
$groupe_colonnes = FormateurGroupeColonne::nomEnsembleVersListeColonnes($colonnes);
foreach($data as &$ligne) {
$ligne = $this->filtrerDonneesSensibles($ligne);
$ligne = array_diff_key($ligne, $this->champs_a_exclure);
$ligne = FormateurGroupeColonne::getLigneObservation($ligne, $groupe_colonnes);
if(empty($intitule_champs)) {
$intitule_champs = $this->creerEntetesChamps($ligne);
$indice = 0;
$intitule_champs = FormateurGroupeColonne::getIntitulesColonnes($groupe_colonnes);
foreach ($intitule_champs as &$intitule) {
$colonne = $intitule_champs[$indice];
$worksheet->write(0,$indice,$colonne);
261,11 → 245,6
return $workbook;
}
private function creerEntetesChamps($noms_colonnes) {
$champs_presents = array_intersect_key($this->correspondance_champs, $noms_colonnes);
return array_values($champs_presents);
}
private function filtrerDonneesSensibles($ligne) {
if(stripos($ligne['mots_cles_texte'], 'sensible') !== false) {
$ligne['latitude'] = '';
279,5 → 258,18
$chaine = str_replace("\t",'',$chaine);
return $chaine;
}
private function doitEtPeutExporterObsPrivees($criteres) {
return isset($criteres['ce_utilisateur']) &&
$this->peutExporterObsPrivees($criteres['ce_utilisateur']);
}
private function peutExporterObsPrivees($id_utilisateur) {
$gestion_utilisateur = new User($this->config);
$utilisateur = $gestion_utilisateur->obtenirIdentiteConnectee();
return $utilisateur['connecte'] &&
$utilisateur['id_utilisateur'] != '' &&
$id_utilisateur == $utilisateur['id_utilisateur'];
}
}
?>
/trunk/jrest/lib/FormateurGroupeColonne.php
New file
0,0 → 1,311
<?php
Class FormateurGroupeColonne {
/*
* @param $fieldSets: un liste de noms de colonnes ou de sets de colonnes
* séparés par des virgules
* eg: "espece" ou "champs-etendus", ...
*
* @return: un tableau associatif déjà ordonné
* clé: abbrev [machine-name] de la colonne (eg: "espece" ou "mot-clef")
* valeur: des données relative à cette colonne, cf GenColInfo
*
* @TODO: fonction commune à la génération en CSV
*
*/
static function nomEnsembleVersListeColonnes($groupe_de_champs = 'standard') {
if(! $groupe_de_champs) $groupe_de_champs = 'standard';
$groupe_de_champs = array_flip(explode(',', $groupe_de_champs));
$colonnes = Array();
if(isset($groupe_de_champs['standard'])) {
$colonnes += Array(
'nom_sel' => self::GenColInfo('nom_sel', 'Espèce'),
'nom_sel_nn' => self::GenColInfo('nom_sel_nn', 'Numéro nomenclatural', 0, NULL, NULL, FALSE),
'nom_ret' => self::GenColInfo('nom_ret', 'Nom retenu', 0, NULL, NULL, FALSE),
'nom_ret_nn' => self::GenColInfo('nom_ret_nn', 'Numéro nomenclatural nom retenu', 0, NULL, NULL, FALSE),
'nt' => self::GenColInfo('nt', 'Numéro taxonomique', 0, NULL, NULL, FALSE),
'famille' => self::GenColInfo('famille', 'Famille', 0, NULL, NULL, FALSE),
'nom_referentiel' => self::GenColInfo('nom_referentiel', 'Referentiel taxonomique'),
'zone_geo' => self::GenColInfo('zone_geo', 'Commune'),
'ce_zone_geo' => self::GenColInfo('ce_zone_geo', 'Identifiant Commune', 0, 'convertirCodeZoneGeoVersDepartement'),
'date_observation' => self::GenColInfo('date_observation', 'Date', 0, 'formaterDate'),
'lieudit' => self::GenColInfo('lieudit', 'Lieu-dit'),
'station' => self::GenColInfo('station', 'Station'),
'milieu' => self::GenColInfo('milieu', 'Milieu'),
'commentaire' => self::GenColInfo('commentaire', 'Notes'),
'latitude' => self::GenColInfo('latitude', 'Latitude', 1),
'longitude' => self::GenColInfo('longitude', 'Longitude', 1),
'geodatum' => self::GenColInfo('geodatum', 'Référentiel Géographique', 1, NULL, NULL, FALSE),
);
}
if(isset($groupe_de_champs['avance'])) {
$colonnes += array( // TODO: importable = FALSE car pas de merge de données importées
'ordre' => self::GenColInfo('ordre', 'Ordre', 1, NULL, NULL, FALSE),
'id_observation' => self::GenColInfo('id_observation', 'Identifiant', 1, NULL, NULL, FALSE),
'mots_cles_texte' => self::GenColInfo('mots_cles_texte', 'Mots Clés', 1),
'commentaire' => self::GenColInfo('commentaire', 'Commentaires', 1),
'date_creation' => self::GenColInfo('date_creation', 'Date Création', 1, NULL, NULL, FALSE),
'date_modification' => self::GenColInfo('date_modification', 'Date Modification', 1, NULL, NULL, FALSE),
// rappel transmission = 1, signifie simplement "public"
// des données importées peuvent être d'emblée "publiques"
// "importable" = TRUE
'transmission' => self::GenColInfo('transmission', 'Transmis', 1),
'date_transmission' => self::GenColInfo('date_transmission', 'Date Transmission', 1, NULL, NULL, FALSE),
'abondance' => self::GenColInfo('abondance', 'Abondance', 1),
'certitude' => self::GenColInfo('certitude', 'Certitude', 1),
'phenologie' => self::GenColInfo('phenologie', 'Phénologie', 1),
//'images' => self::GenColInfo('images', 'Image(s)', 1, NULL, 'getImages', TRUE),
);
}
//
//'nom_commun' => self::GenColInfo('nom_commun', 'Nom Commun', 1, NULL, 'getNomCommun', FALSE),
//'nom-commun' => self::GenColInfo('nom-commun', 'Nom Commun', 1, NULL, 'getNomCommun_v2'),
//'nom-commun' => self::GenColInfo('nom-commun', 'Nom Commun', 1, NULL, 'getNomCommun_v3'),
//
return $colonnes;
}
public static function getIntitulesColonnes(&$colonnes) {
$entetes = array();
foreach($colonnes as &$colonne) {
$entetes[] = $colonne['nom'];
}
return $entetes;
}
public static function getLigneObservation(&$obs, &$colonnes) {
$ligne_formatee = array();
foreach($colonnes as $abbrev => $colonne) {
$valeur = null;
if($colonne['extra'] == 2) continue;
// valeur direct depuis cel_obs ?
if(isset($obs[$abbrev])) $valeur = $obs[$abbrev];
// pré-processeur de la champs
if(function_exists($colonne['fonction'])) {
$valeur = $colonne['fonction']($valeur);
} elseif(method_exists(__CLASS__, $colonne['fonction'])) {
$valeur = call_user_func(array(__CLASS__, $colonne['fonction']), $valeur);
} elseif($colonne['fonction']) {
die("méthode {$colonne['fonction']} introuvable");
}
// fonction pour obtenir des champs (étendus)
elseif(function_exists($colonne['fonction_data'])) {
$valeur = $colonne['fonction_data']($obs);
}
elseif(method_exists(__CLASS__, $colonne['fonction_data'])) {
$valeur = call_user_func(array(__CLASS__, $colonne['fonction_data']), $obs);
}
// // cette section devrait être vide:
// // cas particuliers ingérable avec l'architecture actuelle:
if(false && $abbrev == 'date_observation' && $valeur == "0000-00-00") {
/* blah */
}
if($valeur == null) {
$valeur = "";
}
// // fin de section "cas particuliers"
$ligne_formatee[] = $valeur;
}
return $ligne_formatee;
}
/*
* Wrapper générant un tableau associatif:
* @param $abbrev (obligatoire): nom court de colonne, largement utilisé lors de l'import.
* En effet chaque ligne importée est accessible à l'aide du `define` de $abbrev en majuscule, préfixé de "C_"
* Exemple: $ligne[C_LONGITUDE] pour "longitude".
* cf: ImportXLS::detectionEntete()
* @param $nom (obligatoire): nom complet de colonne (utilisé pour la ligne d'en-tête)
* @param $is_extra:
* Si 0, la colonne est une colonne standard
* Si 1, la colonne est extra [le plus souvent générée automatiquement]
* (auquel cas une bordure bleue entoure son nom dans la ligne d'entête)
* Si 2, la colonne n'est pas traité à l'export, mais une définition peut lui être donnée
* qui pourra être utilisée à l'import, exemple: "image"
* @param $fonction (optionnel): un nom d'un fonction de préprocessing
* $fonction doit prendre comme seul argument la valeur d'origine et retourner la valeur transformée
* @param $fonction_data (optionnel): une *méthode* d'obtention de donnée
* $fonction_data doit prendre comme premier argument le tableau des champs de l'enregistrement existant
* $fonction_data doit retourner une valeur
* @param $importable (optionnel): défini si la colonne est traitée (ou absolument ignorée par PHPExcel) lors de
* l'import.
*/
static function GenColInfo($abbrev, $nom, $is_extra = 0, $fonction = NULL, $fonction_data = NULL, $importable = TRUE) {
return Array('abbrev' => $abbrev,
'nom' => $nom,
'extra' => $is_extra ? 1 : 0,
'fonction' => $fonction,
'fonction_data' => $fonction_data,
'importable' => $importable
);
}
protected function formaterDate($date_heure_mysql, $format = NULL) {
if (!$date_heure_mysql || $date_heure_mysql == "0000-00-00 00:00:00") return "00/00/0000";
$date_format = DateTime::createFromFormat("Y-m-d H:i:s", $date_heure_mysql);
$timestamp = @$date_format->getTimestamp();
if(!$timestamp) return "00/00/0000";
// TODO: les widgets ne font malheureusement pas usage de l'heure dans le CEL
// TODO: si modification, ne pas oublier de modifier le format d'import correspondant
// dans ImportXLS (actuellement: "d/m/Y")
$date_formatee = strftime('%d/%m/%Y', $timestamp);
if(!$date_formatee) return "00/00/0000";
return $date_formatee;
}
// TODO: mettre en static + param "id_utilisateur"
function getImages($obs) {
if(! $this->id_utilisateur) return NULL;
$rec = $this->requeter(
sprintf("SELECT GROUP_CONCAT(nom_original SEPARATOR '%s') FROM cel_images i"
." LEFT JOIN cel_obs_images oi ON (i.id_image = oi.id_image)"
." LEFT JOIN cel_obs o ON (oi.id_observation = o.id_observation)"
." WHERE ce_utilisateur = %d",
SEPARATEUR_IMAGES,
$this->id_utilisateur));
return $rec ? array_pop($rec) : NULL;
}
public static function convertirCodeZoneGeoVersDepartement($code_zone_geo) {
$code_departement = '';
if(self::estUnCodeInseeDepartement($code_zone_geo)) {
$code_departement = substr(ltrim($code_zone_geo,'INSEE-C:'),0,2);
}
return $code_departement;
}
public static function estUnCodeInseeDepartement($code_a_tester) {
return preg_match('/^INSEE-C:[0-9]{5}/',$code_a_tester);
}
// TODO: référentiel ne devrait pas être généré au moment d'un Config::get,
// comme dans Config::get('nomsVernaRechercheLimiteeTpl')
// Par exemple, la variable pour "nva" ?
function getNomCommun($obs) {
$langue = 'fra';
list($referentiel) = explode(':', strtolower($obs['nom_referentiel']));
if($referentiel == 'bdtfx') $referentiel = 'nvjfl';
else return '';
$cache_id = $referentiel . '-' . $obs['nt'] . '-' . $langue;
if(isset($this->cache['getNomCommun'][$cache_id])) {
//debug: error_log("require url_service_nom_attribution: OK ! (pour \"{$obs['nom_ret']}\")");
return $this->cache['getNomCommun'][$cache_id];
}
// pas de cache:
//debug: error_log("require url_service_nom_attribution pour \"{$obs['nom_ret']}\"");
// pour bdtfx:
// /service:eflore:0.1/nvjfl/noms-vernaculaires/attributions?masque.nt=X&masque.lg=fra&retour.champs=num_statut
// /projet/services/modules/0.1/nvjfl/NomsVernaculaires.php
$url = str_replace(Array('{referentiel}', '{valeur}', '{langue}'),
Array($referentiel, $obs['nt'], $langue),
$this->config['eflore']['url_service_nom_attribution']) .
"&retour.champs=num_statut";
$noms = @json_decode(file_get_contents($url));
if(! $noms) return '';
$noms = array_filter((array)($noms->resultat), function($item) {
return ($item->num_statut == 1);
});
$nom = array_pop($noms)->nom_vernaculaire;
// cache
$this->cache['getNomCommun'][$cache_id] = $nom;
return $nom;
}
/* Tente de bootstraper le framework au plus court et d'initialiser une instance de
NomsVernaculaires pour obtenir le nom commun */
function getNomCommun_v2($obs) {
static $service;
$service = new Projets();
$langue = 'fra';
list($referentiel) = explode(':', strtolower($obs['nom_referentiel']));
if($referentiel == 'bdtfx') $referentiel = 'nvjfl';
else return '';
$cache_id = $referentiel . '-' . $obs['nt'] . '-' . $langue;
if(isset($this->cache['getNomCommun'][$cache_id])) {
error_log("require NomsVernaculaires.php: OK ! (pour \"{$obs['nom_ret']}\")");
return $this->cache['getNomCommun'][$cache_id];
}
// pas de cache:
error_log("require NomsVernaculaires.php pour \"{$obs['nom_ret']}\"");
$donnees = Array('masque.nt' => $obs['nt'],
'masque.lg' => $langue,
'retour.champs' => 'num_statut');
$noms = $service->consulter(Array('nvjfl', 'noms-vernaculaires'), $donnees);
if(! $noms) return '';
$noms = array_filter((array)($noms->resultat), function($item) {
return ($item->num_statut == 1);
});
$nom = array_pop($noms)->nom_vernaculaire;
// cache
$this->cache['getNomCommun'][$cache_id] = $nom;
return $nom;
}
/* Effectue un bootstraping plus sage que ci-dessus, mais le gain d'efficacité
n'est pas aussi retentissant qu'espéré */
static $service;
function getNomCommun_v3($obs) {
if(! $this->service) $this->service = new Projets();
$langue = 'fra';
list($referentiel) = explode(':', strtolower($obs['nom_referentiel']));
if($referentiel == 'bdtfx') $referentiel = 'nvjfl';
else return '';
$cache_id = $referentiel . '-' . $obs['nt'] . '-' . $langue;
if(isset($this->cache['getNomCommun'][$cache_id])) {
error_log("require NomsVernaculaires.php: OK ! (pour \"{$obs['nom_ret']}\")");
return $this->cache['getNomCommun'][$cache_id];
}
// pas de cache:
error_log("require NomsVernaculaires.php pour \"{$obs['nom_ret']}\"");
$donnees = Array('masque.nt' => $obs['nt'],
'masque.lg' => $langue,
'retour.champs' => 'conseil_emploi');
$this->service->initialiserRessourcesEtParametres(Array('nvjfl', 'noms-vernaculaires', 'attributions'), $donnees);
try {
$noms = $this->service->traiterRessources();
} catch(Exception $e) {
return '';
}
if(! $noms) return '';
$noms = array_filter($noms['resultat'], function($item) {
return ($item['num_statut'] == 1);
});
$premier_nom = array_pop($noms);
$nom = $premier_nom['nom_vernaculaire'];
// cache
$this->cache['getNomCommun'][$cache_id] = $nom;
return $nom;
}
}