Subversion Repositories eFlore/Projets.eflore-projets

Rev

Rev 894 | Go to most recent revision | Only display areas with differences | Ignore whitespace | Details | Blame | Last modification | View Log | RSS feed

Rev 894 Rev 895
1 
/*
 1 
/*
2 
Objectif: prendre les observations dont nom_sel_nn est défini
 2 
Objectif: prendre les observations dont nom_sel_nn est défini
3 
(et donc dans laquelles les informations générées sont correctes)
 3 
(et donc dans laquelles les informations générées sont correctes)
4 
et mettre à jour ces dernières à partir de la dernière version du référentiel
 4 
et mettre à jour ces dernières à partir de la dernière version du référentiel
5 
(bdtfx, bdtxa et isfan).
 5 
(bdtfx, bdtxa et isfan).
6 
 
 6 
 
7 
Pour éviter un maximum de faux-positifs, nous vérifions aussi que la famille
 7 
Pour éviter un maximum de faux-positifs, nous vérifions aussi que la famille
8 
est conservée (même dans certains cas celle-ci a légitimement changé) et que
 8 
est conservée (même dans certains cas celle-ci a légitimement changé) et que
9 
la première partie du nom_sel correspond toujours à la première partie du nouveau nom_sci
 9 
la première partie du nom_sel correspond toujours à la première partie du nouveau nom_sci
10 
qui serait attribué.
 10 
qui serait attribué.
11 
 
 11 
 
12 
-- la requête --
 12 
-- la requête --
13 
-- SELECT id_observation, b.num_nom, CONCAT(b.nom_sci, ' ', b.auteur), b.num_taxonomique, b.famille
 13 
-- SELECT id_observation, b.num_nom, CONCAT(b.nom_sci, ' ', b.auteur), b.num_taxonomique, b.famille
14 
SELECT id_observation, nom_ret, nom_ret_nn, nt, c.famille
 14 
SELECT id_observation, nom_ret, nom_ret_nn, nt, c.famille
15 
   FROM `BASEEDIT`.`cel_obs` c, `BASESOURCE`.`TABLEBDTFX` b
 15 
   FROM `BASEEDIT`.`cel_obs` c, `BASESOURCE`.`TABLEBDTFX` b
16 
   WHERE (
 16 
   WHERE (
17 
        nom_sel_nn IS NOT NULL
 17 
        nom_sel_nn IS NOT NULL
18 
        AND nom_referentiel like 'bdtfx%'
 18 
        AND nom_referentiel like 'bdtfx%'
19 
        AND nom_sel_nn = num_nom
 19 
        AND nom_sel_nn = num_nom
20 
       )
 20 
       )
21 
   ORDER BY id_observation asc;
 21 
   ORDER BY id_observation asc;
22 
 
 22 
 
23 
 
 23 
 
24 
Cependant le nom_sel_nn n'est pas directement le num_num du taxon dont le nom est
 24 
Cependant le nom_sel_nn n'est pas directement le num_num du taxon dont le nom est
25 
retenu. Pour cela, une jointure en bdtfx sur num_nom_retenu est nécessaire et c'est
 25 
retenu. Pour cela, une jointure en bdtfx sur num_nom_retenu est nécessaire et c'est
26 
ce dernier taxon dont le num_nom est utilisé pour nom_ret_nn.
 26 
ce dernier taxon dont le num_nom est utilisé pour nom_ret_nn.
27 
Cependant il peut aussi être vide (si aucun nom_retenu "officiel" n'existe).
 27 
Cependant il peut aussi être vide (si aucun nom_retenu "officiel" n'existe).
28 
 
 28 
 
29 
Attention, les nom_sel_nn = 0 doivent avoir disparus de cel_obs *AU PRÉALABLE*
 29 
Attention, les nom_sel_nn = 0 doivent avoir disparus de cel_obs *AU PRÉALABLE*
30 
cf: maj-cleanup-201307.sql
 30 
cf: maj-cleanup-201307.sql
31 
*/
 31 
*/
32 
 
 32 
 
33 
 
 33 
 
34 
 
 34 
 
35 
/* test:
 35 
/* test:
36 
   SELECT c.nom_ret_nn, c.nom_ret, b.nom_sci, b.auteur, c.famille, b.famille, c.nt, b.num_taxonomique
 36 
   SELECT c.nom_ret_nn, c.nom_ret, b.nom_sci, b.auteur, c.famille, b.famille, c.nt, b.num_taxonomique
37 
   FROM  cel_obs c, tb_eflore.bdtfx_v1_01 b
 37 
   FROM  cel_obs c, tb_eflore.bdtfx_v1_01 b
38 
   WHERE (
 38 
   WHERE (
39 
        nom_sel_nn IS NOT NULL AND nom_ret_nn IS NOT NULL AND nom_ret_nn != 0
 39 
        nom_sel_nn IS NOT NULL AND nom_ret_nn IS NOT NULL AND nom_ret_nn != 0
40 
        AND nom_referentiel = 'bdtfx'
 40 
        AND nom_referentiel = 'bdtfx'
41 
        AND nom_ret_nn = num_nom
 41 
        AND nom_ret_nn = num_nom
42 
        AND (LOWER(c.famille) = LOWER(b.famille) OR c.famille IS NULL)
 42 
        AND (LOWER(c.famille) = LOWER(b.famille) OR c.famille IS NULL)
43 
        AND (c.famille != b.famille OR c.nom_ret != CONCAT(b.nom_sci, ' ', b.auteur) OR c.nt != b.num_taxonomique)
 43 
        AND (c.famille != b.famille OR c.nom_ret != CONCAT(b.nom_sci, ' ', b.auteur) OR c.nt != b.num_taxonomique)
44 
       );
 44 
       );
45 
   = 2 taxons: 75134 et 75468 (changement de nt)
 45 
   = 2 taxons: 75134 et 75468 (changement de nt)
46 
*/
 46 
*/
47 
 
 47 
 
48 
-- l'update BDTFX avec nom_sel_nn et nom_ret_nn corrects
 48 
-- l'update BDTFX avec nom_sel_nn et nom_ret_nn corrects
49 
UPDATE `BASEEDIT`.`cel_obs` c, `BASESOURCE`.`TABLEBDTFX` b SET
 49 
UPDATE `BASEEDIT`.`cel_obs` c, `BASESOURCE`.`TABLEBDTFX` b SET
50 
       c.nom_ret = CONCAT(b.nom_sci, ' ', b.auteur),
 50 
       c.nom_ret = CONCAT(b.nom_sci, ' ', b.auteur),
51 
       c.nt = b.num_taxonomique,
 51 
       c.nt = b.num_taxonomique,
52 
       c.famille = b.famille
 52 
       c.famille = b.famille
53 
   WHERE (
 53 
   WHERE (
54 
        nom_sel_nn IS NOT NULL AND nom_ret_nn IS NOT NULL AND nom_ret_nn != 0
 54 
        nom_sel_nn IS NOT NULL AND nom_ret_nn IS NOT NULL AND nom_ret_nn != 0
55 
        AND nom_referentiel = 'bdtfx'
 55 
        AND nom_referentiel = 'bdtfx'
56 
        AND nom_ret_nn = num_nom
 56 
        AND nom_ret_nn = num_nom
- 
 
 57 
        AND (c.mots_cles_texte IS NULL OR c.mots_cles_texte NOT LIKE '%WidgetFlorileges Sauvages%') -- TODO: bug transferts multiples + mobile.js
57 
        /* AND (LOWER(c.famille) = LOWER(b.famille) OR c.famille IS NULL) */
 58 
        AND (LOWER(c.famille) = LOWER(b.famille) OR c.famille IS NULL)
58 
       );
 59 
       );
59 
-- 25584
 60 
-- 25584
60 
SELECT ROW_COUNT() AS "BDTFX upd après correction sur nom_ret_nn + nom_sel_nn";
 61 
SELECT ROW_COUNT() AS "BDTFX upd après correction sur nom_ret_nn + nom_sel_nn";
61 
 
 62 
 
62 
/* test:
 63 
/* test:
63 
   SELECT c.nom_ret_nn, c.nom_ret, bLAST.num_nom, bLAST.nom_sci, bLAST.auteur, c.famille, bLAST.famille, c.nt, bLAST.num_taxonomique
 64 
   SELECT c.nom_ret_nn, c.nom_ret, bLAST.num_nom, bLAST.nom_sci, bLAST.auteur, c.famille, bLAST.famille, c.nt, bLAST.num_taxonomique
64 
   FROM  cel_obs c, tb_eflore.bdtfx_v1_01 b, tb_eflore.bdtfx_v1_01 bLAST
 65 
   FROM  cel_obs c, tb_eflore.bdtfx_v1_01 b, tb_eflore.bdtfx_v1_01 bLAST
65 
   WHERE (
 66 
   WHERE (
66 
         bLAST.num_nom = b.num_nom_retenu
 67 
         bLAST.num_nom = b.num_nom_retenu
67 
         AND nom_sel_nn IS NOT NULL AND nom_ret_nn IS NOT NULL AND nom_ret_nn != 0 AND nom_referentiel = 'bdtfx'
 68 
         AND nom_sel_nn IS NOT NULL AND nom_ret_nn IS NOT NULL AND nom_ret_nn != 0 AND nom_referentiel = 'bdtfx'
68 
         AND nom_ret_nn = bLAST.num_nom
 69 
         AND nom_ret_nn = bLAST.num_nom
69 
         AND (LOWER(c.famille) = LOWER(b.famille) OR c.famille IS NULL)
 70 
         AND (LOWER(c.famille) = LOWER(b.famille) OR c.famille IS NULL)
70 
         AND (c.famille != b.famille OR c.nom_ret != CONCAT(bLAST.nom_sci, ' ', bLAST.auteur) OR c.nt != b.num_taxonomique OR c.nom_ret_nn != bLAST.num_nom)
 71 
         AND (c.famille != b.famille OR c.nom_ret != CONCAT(bLAST.nom_sci, ' ', bLAST.auteur) OR c.nt != b.num_taxonomique OR c.nom_ret_nn != bLAST.num_nom)
71 
   );
 72 
   );
72 
*/
 73 
*/
73 
 
 74 
 
74 
-- l'update BDTFX avec nom_sel_nn seul
 75 
-- l'update BDTFX avec nom_sel_nn seul
75 
UPDATE `BASEEDIT`.`cel_obs` c, `BASESOURCE`.`TABLEBDTFX` b, `BASESOURCE`.`TABLEBDTFX` b_nom_ret SET
 76 
UPDATE `BASEEDIT`.`cel_obs` c, `BASESOURCE`.`TABLEBDTFX` b, `BASESOURCE`.`TABLEBDTFX` b_nom_ret SET
76 
       c.nom_ret = CONCAT(b_nom_ret.nom_sci, ' ', b_nom_ret.auteur),
 77 
       c.nom_ret = CONCAT(b_nom_ret.nom_sci, ' ', b_nom_ret.auteur),
77 
       c.nom_ret_nn = b_nom_ret.num_nom,
 78 
       c.nom_ret_nn = b_nom_ret.num_nom,
78 
       c.nt = b.num_taxonomique,
 79 
       c.nt = b.num_taxonomique,
79 
       c.famille = b.famille
 80 
       c.famille = b.famille,
- 
 
 81 
       c.date_modification = NOW
80 
   WHERE (
 82 
   WHERE (
81 
        b_nom_ret.num_nom = b.num_nom_retenu
 83 
        b_nom_ret.num_nom = b.num_nom_retenu
82 
        AND nom_sel_nn IS NOT NULL
 84 
        AND nom_sel_nn IS NOT NULL
83 
        AND nom_referentiel = 'bdtfx'
 85 
        AND nom_referentiel = 'bdtfx'
84 
        AND nom_sel_nn = b.num_nom
 86 
        AND nom_sel_nn = b.num_nom
- 
 
 87 
        AND (c.mots_cles_texte IS NULL OR c.mots_cles_texte NOT LIKE '%WidgetFlorileges Sauvages%') -- TODO: bug transferts multiples + mobile.js
85 
        AND (LOWER(c.famille) = LOWER(b.famille) OR c.famille IS NULL)
 88 
        AND (LOWER(c.famille) = LOWER(b.famille) OR c.famille IS NULL)
86 
        AND SUBSTRING_INDEX(c.nom_sel, ' ', 1) = SUBSTRING_INDEX(b.nom_sci, ' ', 1)
89 
        AND SUBSTRING_INDEX(c.nom_sel, ' ', 1) = SUBSTRING_INDEX(b.nom_sci, ' ', 1)
87 
       );
 90 
       );
88 
-- 47559 avec indirection num_nom_retenu
 91 
-- 26369 avec indirection num_nom_retenu
89 
SELECT ROW_COUNT() AS "BDTFX upd après correction sur nom_sel_nn";
 92 
SELECT ROW_COUNT() AS "BDTFX upd après correction sur nom_sel_nn";
90 
 
 93 
 
- 
 
 94 
 
- 
 
 95 
 
- 
 
 96 
 
- 
 
 97 
 
- 
 
 98 
 
- 
 
 99 
 
91 
 
 100 
 
92 
-- l'update BDTXA avec nom_sel_nn et nom_ret_nn corrects  --
 101 
-- l'update BDTXA avec nom_sel_nn et nom_ret_nn corrects
93 
UPDATE `BASEEDIT`.`cel_obs` c, `BASESOURCE`.`TABLEBDTXA` a SET
 102 
UPDATE `BASEEDIT`.`cel_obs` c, `BASESOURCE`.`TABLEBDTXA` a SET
94 
       c.nom_ret = CONCAT(a.nom_sci, ' ', a.auteur),
 103 
       c.nom_ret = CONCAT(a.nom_sci, ' ', a.auteur),
95 
       c.nt = a.num_tax,
 104 
       c.nt = a.num_tax,
96 
       c.famille = a.famille
 105 
       c.famille = a.famille
97 
   WHERE (
 106 
   WHERE (
98 
        nom_sel_nn IS NOT NULL AND nom_ret_nn IS NOT NULL AND nom_ret_nn != 0
 107 
        nom_sel_nn IS NOT NULL AND nom_ret_nn IS NOT NULL AND nom_ret_nn != 0
99 
        AND nom_referentiel = 'bdtxa'
 108 
        AND nom_referentiel = 'bdtxa'
100 
        AND nom_ret_nn = num_nom
 109 
        AND nom_ret_nn = num_nom
101 
        AND (LOWER(c.famille) = LOWER(a.famille) OR c.famille IS NULL)
 110 
        AND (LOWER(c.famille) = LOWER(a.famille) OR c.famille IS NULL)
102 
       );
 111 
       );
103 
-- 2
 112 
-- 2
104 
SELECT ROW_COUNT() AS "BDTXA upd après correction sur nom_ret_nn + nom_sel_nn";
 113 
SELECT ROW_COUNT() AS "BDTXA upd après correction sur nom_ret_nn + nom_sel_nn";
105 
 
 114 
 
106 
-- l'update BDTXA avec nom_sel_nn seul
 115 
-- l'update BDTXA avec nom_sel_nn seul
107 
UPDATE `BASEEDIT`.`cel_obs` c, `BASESOURCE`.`TABLEBDTXA` a, `BASESOURCE`.`TABLEBDTXA` a_nom_ret SET
 116 
UPDATE `BASEEDIT`.`cel_obs` c, `BASESOURCE`.`TABLEBDTXA` a, `BASESOURCE`.`TABLEBDTXA` a_nom_ret SET
108 
       c.nom_ret = CONCAT(a_nom_ret.nom_sci, ' ', a_nom_ret.auteur),
 117 
       c.nom_ret = CONCAT(a_nom_ret.nom_sci, ' ', a_nom_ret.auteur),
109 
       c.nom_ret_nn = a_nom_ret.num_nom,
 118 
       c.nom_ret_nn = a_nom_ret.num_nom,
110 
       c.nt = a.num_tax,
 119 
       c.nt = a.num_tax,
111 
       c.famille = a.famille
 120 
       c.famille = a.famille,
- 
 
 121 
       c.date_modification = NOW
112 
   WHERE (
 122 
   WHERE (
113 
        a_nom_ret.num_nom = a.num_nom_retenu
 123 
        a_nom_ret.num_nom = a.num_nom_retenu
114 
        AND nom_sel_nn IS NOT NULL
 124 
        AND nom_sel_nn IS NOT NULL
115 
        AND nom_referentiel = 'bdtxa'
 125 
        AND nom_referentiel = 'bdtxa'
116 
        AND nom_sel_nn = a.num_nom
 126 
        AND nom_sel_nn = a.num_nom
117 
        AND (LOWER(c.famille) = LOWER(a.famille) OR c.famille IS NULL)
 127 
        AND (LOWER(c.famille) = LOWER(a.famille) OR c.famille IS NULL)
118 
        AND SUBSTRING_INDEX(c.nom_sel, ' ', 1) = SUBSTRING_INDEX(a.nom_sci, ' ', 1)
128 
        AND SUBSTRING_INDEX(c.nom_sel, ' ', 1) = SUBSTRING_INDEX(a.nom_sci, ' ', 1)
119 
       );
 129 
       );
120 
-- 49 avec les restrictions sur famille et SUBSTRING_INDEX()
 130 
-- 49 avec les restrictions sur famille et SUBSTRING_INDEX()
121 
-- 48 sans les restrictions sur famille et SUBSTRING_INDEX()
 131 
-- 48 sans les restrictions sur famille et SUBSTRING_INDEX()
122 
SELECT ROW_COUNT() AS "BDTXA upd après correction sur nom_sel_nn";
 132 
SELECT ROW_COUNT() AS "BDTXA upd après correction sur nom_sel_nn";
- 
 
 133 
 
- 
 
 134 
 
- 
 
 135 
 
- 
 
 136 
 
- 
 
 137 
 
- 
 
 138 
 
123 
 
 139 
 
124 
-- l'update ISFAN avec nom_sel_nn et nom_ret_nn corrects  --
 140 
-- l'update ISFAN avec nom_sel_nn et nom_ret_nn corrects  --
125 
UPDATE `BASEEDIT`.`cel_obs` c, `BASESOURCE`.`TABLEISFAN` i SET
 141 
UPDATE `BASEEDIT`.`cel_obs` c, `BASESOURCE`.`TABLEISFAN` i SET
126 
       c.nom_ret = CONCAT(i.nom_sci, ' ', i.auteur),
 142 
       c.nom_ret = CONCAT(i.nom_sci, ' ', i.auteur),
127 
       c.nt = i.num_taxonomique,
 143 
       c.nt = i.num_taxonomique,
128 
       c.famille = i.famille
 144 
       c.famille = i.famille
129 
   WHERE (
 145 
   WHERE (
130 
        nom_sel_nn IS NOT NULL AND nom_ret_nn IS NOT NULL AND nom_ret_nn != 0
 146 
        nom_sel_nn IS NOT NULL AND nom_ret_nn IS NOT NULL AND nom_ret_nn != 0
131 
        AND nom_referentiel = 'isfan'
 147 
        AND nom_referentiel = 'isfan'
132 
        AND nom_ret_nn = num_nom
 148 
        AND nom_ret_nn = num_nom
133 
        AND (LOWER(c.famille) = LOWER(i.famille) OR c.famille IS NULL)
 149 
        AND (LOWER(c.famille) = LOWER(i.famille) OR c.famille IS NULL)
134 
       );
 150 
       );
135 
-- 2 ou 0
 151 
-- 2 ou 0
136 
SELECT ROW_COUNT() AS "ISFAN upd après correction sur nom_ret_nn + nom_sel_nn";
 152 
SELECT ROW_COUNT() AS "ISFAN upd après correction sur nom_ret_nn + nom_sel_nn";
137 
 
 153 
 
138 
-- l'update ISFAN avec nom_sel_nn seul
 154 
-- l'update ISFAN avec nom_sel_nn seul
139 
UPDATE `BASEEDIT`.`cel_obs` c, `BASESOURCE`.`TABLEISFAN` i, `BASESOURCE`.`TABLEISFAN` i_nom_ret SET
 155 
UPDATE `BASEEDIT`.`cel_obs` c, `BASESOURCE`.`TABLEISFAN` i, `BASESOURCE`.`TABLEISFAN` i_nom_ret SET
140 
       c.nom_ret = CONCAT(i_nom_ret.nom_sci, ' ', i_nom_ret.auteur),
 156 
       c.nom_ret = CONCAT(i_nom_ret.nom_sci, ' ', i_nom_ret.auteur),
141 
       c.nom_ret_nn = IF(i_nom_ret.num_nom=0,NULL,i_nom_ret.num_nom),
 157 
       c.nom_ret_nn = IF(i_nom_ret.num_nom=0,NULL,i_nom_ret.num_nom),
142 
       c.nt = i.num_taxonomique,
 158 
       c.nt = i.num_taxonomique,
143 
       c.famille = i.famille
 159 
       c.famille = i.famille,
- 
 
 160 
       c.date_modification = NOW
144 
   WHERE (
 161 
   WHERE (
145 
        i_nom_ret.num_nom = i.num_nom_retenu
 162 
        i_nom_ret.num_nom = i.num_nom_retenu
146 
        AND nom_sel_nn IS NOT NULL
 163 
        AND nom_sel_nn IS NOT NULL
147 
        AND nom_referentiel = 'isfan'
 164 
        AND nom_referentiel = 'isfan'
148 
        AND nom_sel_nn = i.num_nom
 165 
        AND nom_sel_nn = i.num_nom
149 
        AND (LOWER(c.famille) = LOWER(i.famille) OR c.famille IS NULL)
 166 
        AND (LOWER(c.famille) = LOWER(i.famille) OR c.famille IS NULL)
150 
       );
 167 
       );
151 
-- 0
 168 
-- 0
152 
SELECT ROW_COUNT() AS "ISFAN upd après correction sur nom_sel_nn";
 169 
SELECT ROW_COUNT() AS "ISFAN upd après correction sur nom_sel_nn";
153 
 
 170 
 
154 
/*
 171 
/*
155 
Pour observer les différences:
 172 
Pour observer les différences:
156 
wdiff -w '$(tput bold;tput setaf 1)' -x '$(tput sgr0)' -y '$(tput bold;tput setaf 2)' -z '$(tput sgr0)'  pre.log post.log | \
 173 
wdiff -w '$(tput bold;tput setaf 1)' -x '$(tput sgr0)' -y '$(tput bold;tput setaf 2)' -z '$(tput sgr0)'  pre.log post.log | \
157 
      ansi2html.sh --palette=solarized | \
 174 
      ansi2html.sh --palette=solarized | \
158 
      sed '/^[0-9]/{/span/!d}' > diff.html
 175 
      sed '/^[0-9]/{/span/!d}' > diff.html
159 
 
 176 
 
160 
# extract les familles ayant changé: sed '/^[0-9]/{/<\/span>$/!d}'
 177 
# extract les familles ayant changé: sed '/^[0-9]/{/<\/span>$/!d}'
161 
# lowercase toutes les familles: awk '{ NF=tolower($NF); print }'
 178 
# lowercase toutes les familles: awk '{ NF=tolower($NF); print }'
162 
 
 179 
 
163 
 
 180 
 
164 
# filtre sed: changements de famille "normaux"
 181 
# filtre sed: changements de famille "normaux"
165 
/aceraceae.*sapindaceae/d
 182 
/aceraceae.*sapindaceae/d
166 
/scrophulariaceae.*plantaginaceae/d
 183 
/scrophulariaceae.*plantaginaceae/d
167 
/globulariaceae.*plantaginaceae/d
 184 
/globulariaceae.*plantaginaceae/d
168 
/Famille inconnue.*null/d
 185 
/Famille inconnue.*null/d
169 
 
 186 
 
170 
# changement "anormaux"
 187 
# changement "anormaux"
171 
/rosaceae.*caprifoliaceae/d
 188 
/rosaceae.*caprifoliaceae/d
172 
/valerianaceae.*caprifoliaceae/d
 189 
/valerianaceae.*caprifoliaceae/d
173 
*/
 190 
*/