eFlore/Projets.eflore-projets – /trunk/services

Rev 733 – ontologies: support de requêtes multi-critères pour les ontologies (partie 2/2). ...

raphael — Fri, 28 Jun 2013 14:39:23 +0200

raphael – 1 file(s) modified
ontologies: support de requêtes multi-critères pour les ontologies (partie 2/2).
Lorsque des ontologies sont demandées, celles-ci peuvent désormais être regroupées
au sein d'une même requête.
La modification, portée à Commun/Ontologie.php affecte donc les web-services n'ayant *pas*
redéfini leur classe d'accès aux ontologies, c'est à dire (au 28/06/2013):
* nvjfl
* bdnt

Exemple:
Avant, 3 requêtes:
/service:eflore:0.1/nvjfl/ontologies/numStatut:1
/service:eflore:0.1/nvjfl/ontologies/numStatut:2
/service:eflore:0.1/nvjfl/ontologies/genreNombre:10

Après, 1 requête:
/service:eflore:0.1/nvjfl/ontologies/numStatus:1,numStatus:2,genreNombre:10

Dans le seul cas d'une requête multi-critères le format de retour du web-service
a été modifié: Un ensemble de clef-valeurs est retourné dans lequel chaque clef
représente le nom d'un des critères demandés.
Si un critère ne correspond à rien dans la BDD, celui-ci est absent de l'ensemble retourné.

$ ddiff \
<(GET "http://eflore/$i"|json_pp) \
<(GET "http://www.tela-botanica.org/$i"|json_pp)

# service:eflore:0.1/nvjfl/noms-vernaculaires/attributions?masque.nt=1382&masque.lg=fra&retour.champs=conseil_emploi
# 2 appels d'ontologies nvjfl, résultat identique

# service:eflore:0.1/bdtxa/taxons/13517/relations/inferieurs
# 1 appel d'ontologie bdnt/nom, résultat identique

$ diff \
<(GET http://eflore/service:eflore:0.1/bdnt/ontologies/rangTaxo:70|json_pp) \
<(GET http://eflore/service:eflore:0.1/bdnt/ontologies/rangTaxo:70,rangTaxo:-1|json_pp) \
|grep -v rangTaxo:70
# même résultat (-1 n'existe pas)

Le comparatif suivant provient de l'étude de la requête suivante,
représentative d'une recherche de nom commun (cf: Cel/export XLS):
"/service:eflore:0.1/nvjfl/noms-vernaculaires/attributions?masque.nt=1382&masque.lg=fra&retour.champs=conseil_emploi"

Avant Après
Requêtes HTTP 3 2
Connexions SQL 4 3
SELECT 15 10
Temps sur 300 (*) 1m36 1m30

(*) $ time \
mysql -N tb_eflore<<<"SELECT num_taxonomique FROM bdtfx_v1_01 WHERE num_nom = num_nom_retenu ORDER BY ORD(SUBSTRING(nom_sci, 4, 1)) LIMIT 300;" | \
xargs -i -t -n 1 curl -so /dev/null "http://eflore/service:eflore:0.1/nvjfl/noms-vernaculaires/attributions?masque.nt={}&masque.lg=fra&retour.champs=conseil_emploi"

Le faible différentiel de temps observable s'explique partiellement par le fait que toutes les recherches de nom vernaculaire
n'aboutissent pas systématiquement à l'émission de plusieurs requêtes d'ontologie.
Le différentiel n'en reste pas moins décevant.

~ /trunk/services/modules/0.1/commun/Ontologies.php

Rev 732 – ontologies communes: fix cosmétiques. 1° usage du paramètre retour.champs ...

raphael — Fri, 28 Jun 2013 14:29:38 +0200

raphael – 1 file(s) modified
ontologies communes: fix cosmétiques.
1° usage du paramètre retour.champs qui n'était pas utilisé jusqu'ici et n'aurait
pas pu être utilisé dans le cas d'un retour.format différent de "max".

2° ajout d'un commentaire relatif aux SELECT imbriqués actuellement utilisés et
auxquel une série de JOIN serait à préférer.

3° clarification de formaterOntologiesId()

4° réécriture et renommage afficherDonnees() en calculerClassID().
Une variable est passée par référence en paramètre de la fonction et
les conditions imbriquées sont remplacées par des return rapides.
La gestion des champs demandés est améliorée.

~ /trunk/services/modules/0.1/commun/Ontologies.php

Rev 731 – nom-vernaculaires: support de requêtes multi-critères pour NVJFL, côté client (partie ...

raphael — Thu, 27 Jun 2013 18:57:41 +0200

raphael – 1 file(s) modified
nom-vernaculaires: support de requêtes multi-critères pour NVJFL, côté client (partie 1).
Lorsque des données ontologiques propres à la base NVJFL sont nécessaires, celles-ci sont
chargée en une seule fois en tirant parti des requête ontologiques multi-critères.

ATTENTION: le code effectif est encore désactivé (par un if(FALSE...))
car le commit correspondant dans la classe d'ontologie NVJFL n'est pas encore présent.
(partie 2, cf: services/modules/0.1/commun/Ontologies.php)

Le fonctionnement est le suivant:
1) NvjflOntologieIndex()
Concaténer tous les critères nécessaires, exemple: numStatut:1,numStatut:2,...
et faire un lien entre d'une part
* un tableau temporaire associant requête et résultat
et d'autre part:
* le tableau général associant résultat existant [ champs standards ] et requête

2) NvjflOntologieExpand()
Obtenir une URL vers le web-service multi-critère, l'appeler et
enregistrer les résultats à la place qui leur est destinée dans le
tableau temporaire "requête -> résultat"
L'index spécial créé en 1), du tableau des résultats généraux est mis
à jour automatiquement puisqu'il s'agit d'une référence.

3) NvjflOntologieCombine()
Nettoyer les éléments de résultats pour et copier les valeurs demandée dans
un index correctement nommé (dépendant du web-service, et plus directement de
la variable $champ_infos).

Un modèle similaire pourrait être reproduit pour d'autre partie de code effectuant
des requêtes sans que des modification majeures du concept soient nécessaire.

Cependant une manière plus générale d'aborder la résolution consisterait à effectuer
l'indexation à partir des URL déjà générées plutôt que sur les éléments de tableau de
résultats, cependant le faible nombre de web-service supportant le multi-critère et la
diversité des schémas d'URL ne plaident pas en faveur d'une généralisation trop précoce.

~ /trunk/services/modules/0.1/nvjfl/NomsVernaculaires.php

Rev 730 – nom-vernaculaires: fix cosmétiques. Clarification du code (index de tableau) ...

raphael — Thu, 27 Jun 2013 17:58:12 +0200

raphael – 1 file(s) modified
nom-vernaculaires: fix cosmétiques.
Clarification du code (index de tableau) et modification des boucles.
Le cas du traitement des ontologies est découplé de la boucle d'initialisation des
valeurs standard.

Par conséquent, ajouterChampsOntologieLigneResultat() n'est plus utilisée, mais
une fonction faisant le traitement de l'ensemble des résultats la remplace ce qui
pourra permettre, à terme, une vision intelligente du contexte dans le cadre duquel un
ensemble de valeurs ontologiques sont nécessaires à la complétion des résultats.

Un stub à été inséré à l'endroit où un traitement spécifique par ontologie pourra apparaître
permettant ainsi d'utiliser des requêtes multi-critères pour les seuls web-services le supportant
effectivement.

~ /trunk/services/modules/0.1/nvjfl/NomsVernaculaires.php

Rev 729 – nom-vernaculaires: fix cosmétiques. Suppression d'affectations inutiles (sur-affectations), de tests ...

raphael — Thu, 27 Jun 2013 17:07:18 +0200

raphael – 1 file(s) modified
nom-vernaculaires: fix cosmétiques.
Suppression d'affectations inutiles (sur-affectations), de tests inutiles
et généralisation de ajouterChampsOntologieLigneResultat().

Considérant que les sous-appels multiples aux web-services sont nichés dans:
chercherSignificationCode()
Appellée, en boucle, par ajouterChampsOntologieLigneResultat()
Appellée, en boucle, par formaterNomsVernaculairesAttributions(),

Considérant que le cache de réponse par url ($this->signification_code),
ne peut offrir à lui-seul une amélioration sensible des performances,

L'objectif de faire usage d'un webservice supportant de multiples
critères d'ontologies par requête nécessite comme préalable de faire
remonter ces appels en amont du cycle afin de se donner
l'opportunité des les factoriser.

Ce commit représente un premier pas dans ce sens.

~ /trunk/services/modules/0.1/nvjfl/NomsVernaculaires.php

Rev 728 –

alex — Mon, 24 Jun 2013 16:56:42 +0200

alex – 1 file(s) modified

~ /trunk/services/configurations/config_moissonnage.ini

Rev 727 – Nouveau module : moissonnage. Ce module sert à générer des ...

alex — Mon, 24 Jun 2013 16:03:54 +0200

alex – 11 file(s) modified
Nouveau module : moissonnage.
Ce module sert à générer des cartes de répartition de taxons de plantes à partir d'un fond de base SVG et de différentes sources de données
Methodes développées : génération de cartes, légende, ontologies

+ /trunk/services/configurations/config_moissonnage.ini
+ /trunk/services/modules/0.1/moissonnage
+ /trunk/services/modules/0.1/moissonnage/cartes
+ /trunk/services/modules/0.1/moissonnage/Cartes.php
+ /trunk/services/modules/0.1/moissonnage/cartes/DonneesFloradata.php
+ /trunk/services/modules/0.1/moissonnage/cartes/DonneesMoissonnage.php
+ /trunk/services/modules/0.1/moissonnage/cartes/FormateurSVG.php
+ /trunk/services/modules/0.1/moissonnage/cartes/LegendeCartes.php
+ /trunk/services/modules/0.1/moissonnage/cartes/SourceDonnees.php
+ /trunk/services/modules/0.1/moissonnage/Ontologies.php
+ /trunk/services/presentations/images/cartes/france_moissonnage.svg

Rev 726 – cel/images: bugfix, dans certains cas une jointure retournait plusieurs ...

raphael — Fri, 21 Jun 2013 10:59:02 +0200

raphael – 1 file(s) modified
cel/images: bugfix, dans certains cas une jointure retournait plusieurs
enregistrement de méta-données pour une image, dont le premier entièrement
NULL.
L'ajout d'une condition au WHERE permets désormais d'éviter ce problème.

URL d'exemple:
http://www.tela-botanica.org/eflore/consultation/popup.php?module=popup-illustrations&action=fiche&referentiel=bdtfx&id=41825
avant: Date d'observation : 1 janvier 1970
après: Date d'observation : 30 novembre 1890

Requête d'exemple:
SELECT SQL_CALC_FOUND_ROWS ci.id_image AS id_img, co.date_observation AS date, co.id_observation AS id_obs, \
ci.courriel_utilisateur AS utilisateur_courriel, nom_sel, nom_sel_nn, zone_geo, ce_zone_geo, lieudit, station, milieu \
FROM cel_images AS ci LEFT JOIN cel_obs_images AS coi ON (coi.id_image = ci.id_image) \
LEFT JOIN cel_obs AS co ON (coi.id_observation = co.id_observation) \
WHERE ci.id_image = 41825; # ajout: AND co.id_observation IS NOT NULL;

~ /trunk/services/modules/0.1/cel/Images.php

Rev 725 – svg: synchro trunk/eflore-test qui pose la question des valeurs à ...

raphael — Wed, 19 Jun 2013 11:00:21 +0200

raphael – 1 file(s) modified
svg: synchro trunk/eflore-test qui pose la question des valeurs à 0
pour ce qui concerne les données d'optimum écologique.

~ /trunk/services/modules/0.1/baseflor/InformationsTaxonsSup.php

Rev 724 – config/baseflor: erreur de préfixe de chemin dans le fichier de ...

raphael — Tue, 18 Jun 2013 15:56:35 +0200

raphael – 1 file(s) modified
config/baseflor: erreur de préfixe de chemin dans le fichier de configuration
par défaut.

~ /trunk/services/configurations/config_baseflor.ini

Rev 723 – Ajout de noms de projets manquants

aurelien — Tue, 18 Jun 2013 13:44:19 +0200

aurelien – 1 file(s) modified
Ajout de noms de projets manquants

~ /trunk/services/configurations/config.defaut.ini

Rev 721 – Ajout du web service noms vernaculaires des antilles

aurelien — Mon, 17 Jun 2013 14:51:59 +0200

aurelien – 3 file(s) modified
Ajout du web service noms vernaculaires des antilles

+ /trunk/services/configurations/config_nva.ini
+ /trunk/services/modules/0.1/nva
+ /trunk/services/modules/0.1/nva/NomsVernaculaires.php

Rev 720 – Ajout d'un try catch sur la récupération des ontologies pour ...

aurelien — Mon, 17 Jun 2013 10:47:50 +0200

aurelien – 1 file(s) modified
Ajout d'un try catch sur la récupération des ontologies pour qu'un terme manquant ne fasse pas planter tout le web service

~ /trunk/services/modules/0.1/bdtxa/CommunNomsTaxons.php

Rev 719 – Correction du fonc blanc pour la carte

aurelien — Thu, 13 Jun 2013 10:38:09 +0200

aurelien – 1 file(s) modified
Correction du fonc blanc pour la carte

~ /trunk/services/modules/0.1/chorodep/cartes/TaxonsCartes.php

Rev 718 – Ajout d'une vérification permettant d'ignorer les erreurs dans le cas ...

aurelien — Thu, 13 Jun 2013 10:37:58 +0200

aurelien – 1 file(s) modified
Ajout d'une vérification permettant d'ignorer les erreurs dans le cas d'une ontologie manquante

~ /trunk/services/modules/0.1/bdtfx/Taxons.php

Rev 717 – Décalage du titre de la carte dans le svg antilles

aurelien — Thu, 13 Jun 2013 10:37:25 +0200

aurelien – 1 file(s) modified
Décalage du titre de la carte dans le svg antilles

~ /trunk/services/presentations/images/cartes/antilles.svg

Rev 714 – fix du commentaire indiquant le fichier du Framework à inclure

raphael — Wed, 12 Jun 2013 13:29:24 +0200

raphael – 1 file(s) modified
fix du commentaire indiquant le fichier du Framework à inclure

~ /trunk/services/framework.defaut.php

Rev 713 – Ajout des champs de présence dans bdtxa

aurelien — Wed, 12 Jun 2013 10:34:27 +0200

aurelien – 1 file(s) modified
Ajout des champs de présence dans bdtxa

~ /trunk/services/modules/0.1/bdtxa/Noms.php

Rev 712 – Ajout de try catch sur la récupération d'ontologie

aurelien — Wed, 12 Jun 2013 10:22:58 +0200

aurelien – 3 file(s) modified
Ajout de try catch sur la récupération d'ontologie

~ /trunk/services/modules/0.1/baseflor/CommunGraphiques.php
~ /trunk/services/modules/0.1/baseflor/GraphiquesTaxonsSup.php
~ /trunk/services/modules/0.1/baseflor/InformationsTaxonsSup.php

Rev 709 – Suppression des fonctions liées à la flore qui n'existe pas ...

aurelien — Mon, 10 Jun 2013 17:10:53 +0200

aurelien – 1 file(s) modified
Suppression des fonctions liées à la flore qui n'existe pas dans isfan

~ /trunk/services/modules/0.1/isfan/Noms.php

Rev 708 – Suppression de paramètres non pertinents

aurelien — Mon, 10 Jun 2013 17:10:20 +0200

aurelien – 1 file(s) modified
Suppression de paramètres non pertinents

~ /trunk/services/configurations/config_isfan.ini

Rev 707 – Web service pour la base isfan (Index Synonymique de la ...

aurelien — Mon, 10 Jun 2013 16:37:01 +0200

aurelien – 5 file(s) modified
Web service pour la base isfan (Index Synonymique de la Flore d'Afrique du Nord) (le fichier de config peut être à simplifier lors de l'obtention de la version finale des tables)

+ /trunk/services/configurations/config_isfan.ini
+ /trunk/services/modules/0.1/isfan
+ /trunk/services/modules/0.1/isfan/CommunNomsTaxons.php
+ /trunk/services/modules/0.1/isfan/Noms.php
+ /trunk/services/modules/0.1/isfan/Taxons.php

Rev 704 – Version finale finale du fichier svg pour la chorologie des ...

aurelien — Wed, 29 May 2013 17:37:47 +0200

aurelien – 1 file(s) modified
Version finale finale du fichier svg pour la chorologie des antilles

~ /trunk/services/presentations/images/cartes/antilles.svg

Rev 703 – Version finale du fichier svg pour la chorologie des antilles

aurelien — Wed, 29 May 2013 13:19:41 +0200

aurelien – 2 file(s) modified
Version finale du fichier svg pour la chorologie des antilles

~ /trunk/services/modules/0.1/bdtxa/cartes/TaxonsCartes.php
+ /trunk/services/presentations/images/cartes/antilles.svg

Rev 702 – Ajout de paramètres pour bdtxa afin que les cartes de ...

aurelien — Tue, 28 May 2013 17:43:39 +0200

aurelien – 1 file(s) modified
Ajout de paramètres pour bdtxa afin que les cartes de répartition soient activées

~ /trunk/services/configurations/config_bdtxa.ini

Rev 701 – Ajout des services de carte de répartition pour le référentiel ...

aurelien — Tue, 28 May 2013 17:43:03 +0200

aurelien – 4 file(s) modified
Ajout des services de carte de répartition pour le référentiel bdtxa

+ /trunk/services/modules/0.1/bdtxa/cartes
+ /trunk/services/modules/0.1/bdtxa/Cartes.php
+ /trunk/services/modules/0.1/bdtxa/cartes/LegendeCartes.php
+ /trunk/services/modules/0.1/bdtxa/cartes/TaxonsCartes.php

Rev 700 – Ajout d'une option qui permet de récupérer la hierarchie d'un ...

aurelien — Fri, 24 May 2013 13:52:17 +0200

aurelien – 2 file(s) modified
Ajout d'une option qui permet de récupérer la hierarchie d'un taxon

~ /trunk/services/modules/0.1/bdtfx/Taxons.php
~ /trunk/services/modules/0.1/bdtxa/Taxons.php

Rev 698 – modification de la modif precedent

delphine — Fri, 10 May 2013 18:18:42 +0200

delphine – 1 file(s) modified
modification de la modif precedent

~ /trunk/services/modules/0.1/baseflor/GraphiquesTaxonsSup.php

Rev 697 – debug

aurelien — Fri, 10 May 2013 10:45:04 +0200

aurelien – 2 file(s) modified
debug

~ /trunk/services/modules/0.1/baseflor/GraphiquesBaseflor.php
~ /trunk/services/modules/0.1/baseflor/GraphiquesTaxonsSup.php

Rev 696 – Correction erreur de guillemets dans le chemin du cache.

isa — Wed, 24 Apr 2013 16:00:54 +0200

isa – 1 file(s) modified
Correction erreur de guillemets dans le chemin du cache.

~ /trunk/services/configurations/config_eflore.ini

Rev 694 – Correction d'indentation.

isa — Thu, 18 Apr 2013 15:12:27 +0200

isa – 1 file(s) modified
Correction d'indentation.

~ /trunk/services/modules/0.1/eflore/cartes/GeneralFormateur.php

Rev 693 – Création d'un paramètre dans config.ini contenant le chemin vers le ...

isa — Thu, 18 Apr 2013 15:10:46 +0200

isa – 5 file(s) modified
Création d'un paramètre dans config.ini contenant le chemin vers le dossier de l'application pour éviter de modifier plusieurs fichiers de config.

~ /trunk/services/bibliotheque/CacheEflore.php
~ /trunk/services/configurations/config.defaut.ini
~ /trunk/services/configurations/config_baseflor.ini
~ /trunk/services/configurations/config_chorodep.ini
~ /trunk/services/configurations/config_eflore.ini

Rev 685 – ajout protection des antilles appel au fichier de config pour ...

delphine — Mon, 15 Apr 2013 15:57:58 +0200

delphine – 2 file(s) modified
ajout protection des antilles
appel au fichier de config pour projet

+ /trunk/services/modules/0.1/sptba
+ /trunk/services/modules/0.1/sptba/Statuts.php

Rev 681 – ajout du wab service statuts des antilles et modif de ...

delphine — Thu, 11 Apr 2013 17:47:57 +0200

delphine – 1 file(s) modified
ajout du wab service statuts des antilles et modif de celui de metropole

+ /trunk/services/configurations/config_sptba.ini

Rev 680 – ajout du wab service statuts des antilles et modif de ...

delphine — Thu, 11 Apr 2013 17:47:49 +0200

delphine – 1 file(s) modified
ajout du wab service statuts des antilles et modif de celui de metropole

~ /trunk/services/configurations/config_sptb.ini

Rev 679 – ajout du wab service statuts des antilles et modif de ...

delphine — Thu, 11 Apr 2013 17:47:40 +0200

delphine – 1 file(s) modified
ajout du wab service statuts des antilles et modif de celui de metropole

~ /trunk/services/configurations/config.defaut.ini

Rev 678 – ajout du wab service statuts des antilles et modif de ...

delphine — Thu, 11 Apr 2013 17:47:30 +0200

delphine – 1 file(s) modified
ajout du wab service statuts des antilles et modif de celui de metropole

~ /trunk/services/modules/0.1/sptb/Statuts.php

Rev 677 – Rajout commentaires extension rsvg

isa — Tue, 09 Apr 2013 17:28:14 +0200

isa – 1 file(s) modified
Rajout commentaires extension rsvg

~ /trunk/services/modules/0.1/chorodep/cartes/TaxonsCartes.php

Rev 673 – bug order by vide

delphine — Thu, 04 Apr 2013 18:26:00 +0200

delphine – 1 file(s) modified
bug order by vide

~ /trunk/services/modules/0.1/bdtxa/Noms.php

Rev 672 – Correction erreur syntaxe parenthèse.

jpm — Thu, 04 Apr 2013 18:19:15 +0200

jpm – 1 file(s) modified
Correction erreur syntaxe parenthèse.

~ /trunk/services/modules/0.1/bdtfx/Noms.php