Subversion Repositories eFlore/Projets.eflore-projets

Rev

Rev 882 | Details | Compare with Previous | Last modification | View Log | RSS feed

Rev Author Line No. Line
755 raphael 1
/*
756 raphael 2
  Mise à jour de réferentiels NULL ou vides pour les observations dotées d'un nom_sel_nn
755 raphael 3
  75427 observations trouvées au 2013/07/19
4
 
5
  Les observations problématiques sont les suivantes:
6
  SELECT id_observation, nom_referentiel, nom_sel, nom_sel_nn, nom_ret, nom_ret_nn, nt, famille
819 raphael 7
  FROM `BASEEDIT`.`cel_obs`
780 raphael 8
  WHERE nom_referentiel IS NULL AND nom_sel != '' AND nom_sel IS NOT NULL AND nom_ret_nn IS NOT NULL;
756 raphael 9
 
10
  Or maj-cleanup-201307.sql reset les valeurs des observations ayant un nom_sel NULL ou '', de plus la préférence de sélection est
11
  donné au nom_sel (incluant les synonymes) plutôt que nom_ret_nn.
12
 
13
  La requête est donc:
14
  SELECT id_observation, nom_referentiel, nom_sel, nom_sel_nn, nom_ret, nom_ret_nn, nt, famille
819 raphael 15
  FROM `BASEEDIT`.`cel_obs` WHERE nom_referentiel IS NULL AND nom_sel_nn IS NOT NULL;
756 raphael 16
  => 76486
755 raphael 17
*/
18
 
756 raphael 19
 
20
DROP TEMPORARY TABLE IF EXISTS T_bis;
21
DROP PROCEDURE IF EXISTS majreferentiel;
22
 
23
CREATE TEMPORARY TABLE IF NOT EXISTS T_bis ( INDEX(`nom`(30))) AS \
828 raphael 24
           SELECT "bdtfx" AS valid_ref, CONCAT(b.nom_sci, ' ', b.auteur) AS nom, b.num_nom, b.num_taxonomique, b.famille FROM `BASESOURCE`.`TABLEBDTFX` b UNION ALL \
882 raphael 25
           SELECT "bdtxa" AS valid_ref, CONCAT(a.nom_sci, ' ', a.auteur) AS nom, a.num_nom, a.num_tax, a.famille FROM `BASESOURCE`.`TABLEBDTXA` a UNION ALL \
26
           SELECT "isfan" AS valid_ref, CONCAT(i.nom_sci, ' ', i.auteur) AS nom, i.num_nom, i.num_taxonomique, i.famille FROM `BASESOURCE`.`TABLEISFAN` i;
756 raphael 27
 
28
/* Donc nous JOINons:
882 raphael 29
-- INNER JOIN sur bdtfx: 62633
828 raphael 30
SELECT id_observation, nom_referentiel, nom_sel, nom_sel_nn, nom_ret, nom_ret_nn, nt, c.famille FROM `BASEEDIT`.`cel_obs` c INNER JOIN `BASESOURCE`.`TABLEBDTFX` b ON (b.num_nom = c.nom_sel_nn) WHERE nom_referentiel IS NULL AND nom_sel_nn IS NOT NULL;
882 raphael 31
-- INNER JOIN sur bdtxa: 9469
32
SELECT id_observation, nom_referentiel, nom_sel, nom_sel_nn, nom_ret, nom_ret_nn, nt, c.famille FROM `BASEEDIT`.`cel_obs` c INNER JOIN `BASESOURCE`.`TABLEISFAN` i ON (i.num_nom = c.nom_sel_nn) WHERE nom_referentiel IS NULL AND nom_sel_nn IS NOT NULL;
33
-- INNER JOIN sur isfan: 1991
34
SELECT id_observation, nom_referentiel, nom_sel, nom_sel_nn, nom_ret, nom_ret_nn, nt, c.famille FROM `BASEEDIT`.`cel_obs` c INNER JOIN `BASESOURCE`.`TABLEISFAN` i ON (i.num_nom = c.nom_sel_nn) WHERE nom_referentiel IS NULL AND nom_sel_nn IS NOT NULL;
35
-- INNER JOIN sur les 3 référentiels (bdtxa + bdtfx + isfan): 74093
36
SELECT id_observation, valid_ref, nom_sel, nom_sel_nn, nom_ret, nom_ret_nn, nt, c.famille FROM `BASEEDIT`.`cel_obs` c INNER JOIN T_bis b ON (b.num_nom = c.nom_sel_nn) WHERE nom_referentiel IS NULL AND nom_sel_nn IS NOT NULL;
756 raphael 37
*/
38
 
882 raphael 39
/* mais de nombreux noms sont exactement présents dans plusieurs référentiels,
40
   d'où GROUP BY id_observation HAVING count(id_observation) = 1,
41
   ce qui ne produit plus que 51359 matches (soit 22734 dups) */
755 raphael 42
/*
893 raphael 43
SELECT id_observation, valid_ref, nom_sel, nom, nom_sel_nn, nom_ret, nom_ret_nn, nt, c.famille
819 raphael 44
FROM `BASEEDIT`.`cel_obs` c
756 raphael 45
INNER JOIN T_bis b
46
ON (b.num_nom = c.nom_sel_nn)
780 raphael 47
WHERE nom_referentiel IS NULL AND nom_sel_nn IS NOT NULL GROUP BY id_observation HAVING count(id_observation) = 1;
893 raphael 48
-- 63941, tous bdtfx...
756 raphael 49
*/
755 raphael 50
 
51
 
756 raphael 52
delimiter |
755 raphael 53
 
756 raphael 54
CREATE PROCEDURE majreferentiel()
55
BEGIN
56
DECLARE done INT DEFAULT 0;
57
DECLARE subst INT DEFAULT 0;
58
DECLARE _id_observation bigint(20) DEFAULT 0;
59
DECLARE _valid_ref varchar(20) DEFAULT NULL;
819 raphael 60
DECLARE cur1 CURSOR FOR SELECT id_observation, valid_ref FROM `BASEEDIT`.`cel_obs` c INNER JOIN T_bis b ON (b.num_nom = c.nom_sel_nn)
865 raphael 61
                        WHERE nom_referentiel IS NULL AND nom_sel_nn IS NOT NULL GROUP BY id_observation HAVING count(id_observation) = 1;
756 raphael 62
-- DECLARE CONTINUE HANDLER FOR NOT FOUND SET done = TRUE;
63
DECLARE CONTINUE HANDLER FOR SQLSTATE '02000' SET done = 1;
64
 
65
OPEN cur1;
66
REPEAT
67
        FETCH cur1 INTO _id_observation, _valid_ref;
819 raphael 68
        UPDATE `BASEEDIT`.`cel_obs` c SET nom_referentiel = _valid_ref WHERE id_observation = _id_observation;
756 raphael 69
        SET subst = subst + 1;
70
UNTIL done END REPEAT;
71
select subst AS 'nombre de mises à jour de référentiel effectuées';
72
CLOSE cur1;
73
END
74
|
75
 
76
delimiter ;
893 raphael 77
 
78
CALL majreferentiel;