Subversion Repositories eFlore/Projets.eflore-projets

Rev

Rev 865 | Show entire file | Ignore whitespace | Details | Blame | Last modification | View Log | RSS feed

Rev 865 Rev 882
Line 1... Line 1...
1
Créer une base de données tb_cel avant de lancer les scripts
1
Créer une base de données tb_cel avant de lancer les scripts
Line 2... Line 2...
2
 
2
 
3
== Sommaire ==
3
== Sommaire ==
4
1) à propos de la mise à jour de juillet 2013
4
1) à propos de la mise à jour de septembre 2013
5
2) à propos de la table cel_references
5
2) à propos de la table cel_references
Line 6... Line 6...
6
==============
6
==============
7
 
7
 
Line 11... Line 11...
11
2) maj-struct-201307.sql
11
2) maj-struct-201307.sql
12
mise à jour des structure de table (les index notamment): 
12
mise à jour des structure de table (les index notamment): 
Line 13... Line 13...
13
 
13
 
14
3) maj-cleanup-201307.sql
14
3) maj-cleanup-201307.sql
-
 
15
uniformisation des données (lon/lat, date, ...)
Line 15... Line 16...
15
uniformisation des données (lon/lat, date, ...)
16
et des NULL vs 0 (pour nom_sel_nn et nom_ret_nn)
Line 16... Line 17...
16
 
17
 
-
 
18
4) fix-utilisateur-32.sql
-
 
19
 
-
 
20
5) dedup-ordre-201307.sql
-
 
21
 
-
 
22
6) maj-referentiel-201307.sql
-
 
23
fix le référentiel pour les observation ayant un nom_sel_nn sans nom_referentiel en se
-
 
24
basant sur une match exact de CONCAT(nom_sci, auteur) parmi bdtfx, bdtxa et isfan
-
 
25
 
17
4) fix-utilisateur-32.sql
26
7) referonosaure.sql
18
 
27
MAJ des observations (valides) avec les nouvelles données générées, à partir de bdtfx/bdtxa/isfan
19
5) dedup-ordre-201307.sql
28
 
20
=====
29
=====
Line 21... Line -...
21
6) TODO: maj-nom-ret.sql
-
 
22
TODO (pas sûr) MAJ du référentiel pour les observation ayant un nom_ret sans nom_ret_nn mais dont le nom_ret
-
 
23
 ne match pas le nom_sci en BDTFX (car en BDTFX nom_ret_nn peut être égal à 0 !)
-
 
24
 
30
8) TODO: maj-nom-ret.sql
25
7) maj-referentiel-201307.sql
31
TODO (pas sûr) MAJ du référentiel pour les observation ayant un nom_ret sans nom_ret_nn mais dont le nom_ret
Line 26... Line -...
26
fix le référentiel pour les observation ayant un nom_sel_nn sans nom_referentiel
-
 
27
 
-
 
28
8) maj-referentiel-und-201307.sql
-
 
Line 29... Line 32...
29
MAJ du référentiel pour les observation n'ayant pas de nom_ret_nn (tentative de détermination par nom)
32
 ne match pas le nom_sci en BDTFX (car en BDTFX nom_ret_nn peut être égal à 0 !)
30
 
33
 
31
9) referonosaure.sql
34
9) maj-referentiel-und-201307.sql
32
MAJ des observations (valides) avec les nouvelles données générées, à partir de bdtfx/bdtxa
35
MAJ du référentiel pour les observation n'ayant pas de nom_ret_nn (tentative de détermination par nom)
33
 
36
 
Line 34... Line 37...
34
 
37
 
35
 
38
 
36
 
39
 
Line 37... Line 40...
37
 
40
 
Line 38... Line 41...
38
 
41
 
Line 39... Line 42...
39
 
42
 
40
 
43
 
41
=== 2: À propos de la table cel_references ===
44
=== 2: À propos de la table cel_references ===
42
Celle-ci existe car:
45
Celle-ci existe car:
43
* les projets doivent être indépendants (eflore, cel, projets nvjfl, ...)
46
* les projets doivent être indépendants (eflore, cel, projets nvjfl, ...)
44
* les données nécessaire à l'export et à l'import sont massif
47
* les données nécessaires à l'export et à l'import sont massives
Line 79... Line 82...
79
       UNION \
82
       UNION \
80
       SELECT "bdtxa", b.num_nom, b.num_nom_retenu, b.nom_sci, b.auteur, n.nom_vernaculaire, NULL				FROM bdtxa_v1_00 b LEFT JOIN nva_v2013_06 n	ON (b.num_tax = n.num_taxon AND n.code_langue = 'fra' )			GROUP BY b.num_nom \
83
       SELECT "bdtxa", b.num_nom, b.num_nom_retenu, b.nom_sci, b.auteur, n.nom_vernaculaire, NULL				FROM bdtxa_v1_00 b LEFT JOIN nva_v2013_06 n	ON (b.num_tax = n.num_taxon AND n.code_langue = 'fra' )			GROUP BY b.num_nom \
81
       UNION \
84
       UNION \
82
       SELECT "isfan", b.num_nom, b.num_nom_retenu, b.nom_sci, b.auteur, NULL FROM isfan_v2013 b;
85
       SELECT "isfan", b.num_nom, b.num_nom_retenu, b.nom_sci, b.auteur, NULL FROM isfan_v2013 b;
Line -... Line 86...
-
 
86
 
83
 
87
Mais évidemment, les noms communs n'existent que pour bdtfx[nvjfl], bdtxa[nva], de même que les données baseflor/baseveg.
84
Mais évidemment, les noms communs n'existe que pour bdtfx, de même que les données baseflor/baseveg. Plusieurs tables temporaires sont donc nécessaires en particulier puisque toutes les colonnes n'ont pas
88
Plusieurs tables temporaires sont donc nécessaires en particulier puisque toutes les colonnes n'ont pas
Line 85... Line 89...
85
des indexes adaptés pour effectuer des JOIN efficace dans le cadre de ce script d'intégration particulier.
89
des indexes adaptés pour effectuer des JOIN efficaces dans le cadre de ce script d'intégration particulier.
86
 
90
 
87
Une version plus aboutie, mais spécifique à bdtfx, après création préalable de T_nvjfl_v2007, était la suivante (présence des noms communs):
91
Une version plus aboutie, mais spécifique à bdtfx, après création préalable de T_nvjfl_v2007, était la suivante (présence des noms communs):