777 |
raphael |
1 |
-- suppress dup:
|
|
|
2 |
-- >= 115 au 22/07/2013
|
819 |
raphael |
3 |
-- mysql -N <<<"SELECT distinct ce_utilisateur FROM `BASEEDIT`.`cel_obs` GROUP BY ce_utilisateur, ordre HAVING COUNT(*) > 1;" > ordre-dup.txt
|
777 |
raphael |
4 |
|
|
|
5 |
DROP FUNCTION IF EXISTS next_ordre;
|
|
|
6 |
DROP PROCEDURE IF EXISTS ordre_need_update;
|
|
|
7 |
DROP PROCEDURE IF EXISTS update_ordre_user;
|
|
|
8 |
DROP PROCEDURE IF EXISTS update_ordre_users;
|
|
|
9 |
|
|
|
10 |
DELIMITER |
|
|
|
11 |
|
|
|
12 |
CREATE FUNCTION next_ordre( s1 VARCHAR(255) )
|
|
|
13 |
RETURNS INT
|
|
|
14 |
NOT DETERMINISTIC
|
|
|
15 |
BEGIN
|
|
|
16 |
DECLARE c INT;
|
819 |
raphael |
17 |
SET c = (SELECT MAX(ordre) + 1 FROM `BASEEDIT`.`cel_obs` where ce_utilisateur = s1);
|
777 |
raphael |
18 |
RETURN c;
|
|
|
19 |
END
|
|
|
20 |
|
|
882 |
raphael |
21 |
-- SELECT next_ordre("");
|
777 |
raphael |
22 |
|
|
|
23 |
CREATE PROCEDURE ordre_need_update(IN _s1 VARCHAR(255), OUT _ordre INT, OUT _c INT, OUT _min_obs INT)
|
|
|
24 |
BEGIN
|
819 |
raphael |
25 |
SELECT ordre, count(ordre), MIN(id_observation) INTO _ordre, _c, _min_obs FROM `BASEEDIT`.`cel_obs` WHERE ce_utilisateur = _s1 GROUP BY ordre HAVING COUNT(ordre) > 1 LIMIT 1;
|
777 |
raphael |
26 |
END
|
|
|
27 |
|
|
882 |
raphael |
28 |
-- SELECT ordre_need_update("");
|
777 |
raphael |
29 |
|
|
|
30 |
CREATE PROCEDURE update_ordre_user(IN _s1 VARCHAR(255))
|
|
|
31 |
BEGIN
|
|
|
32 |
DECLARE obs_match int default -1;
|
|
|
33 |
CALL ordre_need_update(_s1, @o, @c, @minobs);
|
|
|
34 |
-- pour chaque ordre dupliqué
|
|
|
35 |
WHILE @o IS NOT NULL DO
|
|
|
36 |
SELECT CONCAT(" ", @o) as " ordre", @c as "(count/doublons)";
|
819 |
raphael |
37 |
-- SELECT id_observation FROM `BASEEDIT`.`cel_obs` WHERE ce_utilisateur = _s1 AND ordre = @o AND id_observation != @minobs;
|
777 |
raphael |
38 |
-- pour chaque obs concernée, exceptée la première, on met à jour l'ordre,
|
|
|
39 |
-- en utilisant next_ordre()
|
|
|
40 |
WHILE obs_match != 0 DO
|
|
|
41 |
-- SELECT CONCAT("== do update on", @o);
|
819 |
raphael |
42 |
UPDATE `BASEEDIT`.`cel_obs` SET ordre = next_ordre(_s1)
|
777 |
raphael |
43 |
WHERE ce_utilisateur = _s1 AND ordre = @o AND id_observation != @minobs LIMIT 1;
|
|
|
44 |
SELECT ROW_COUNT() into obs_match;
|
|
|
45 |
-- SELECT @o, obs_match;
|
|
|
46 |
END WHILE;
|
|
|
47 |
-- toutes les observations dupliquées pour l'ordre @o ont été mises à jour
|
|
|
48 |
-- un nouvel ordre à mettre à jour va être obtenu par ordre_need_update()
|
|
|
49 |
-- dont nous restaurons obs_match à une valeur qui n'empêche pas la boucle
|
|
|
50 |
-- contenant l'UPDATE
|
|
|
51 |
SELECT -1 into obs_match;
|
|
|
52 |
CALL ordre_need_update(_s1, @o, @c, @minobs);
|
|
|
53 |
-- SELECT "====X", @o, @c;
|
|
|
54 |
END WHILE;
|
|
|
55 |
END
|
|
|
56 |
|
|
882 |
raphael |
57 |
-- CALL update_ordre_user("");
|
777 |
raphael |
58 |
|
|
|
59 |
|
|
|
60 |
CREATE PROCEDURE update_ordre_users()
|
|
|
61 |
BEGIN
|
|
|
62 |
DECLARE _nom VARCHAR(255);
|
|
|
63 |
DECLARE subst INT DEFAULT 0;
|
|
|
64 |
DECLARE done INT DEFAULT 1;
|
|
|
65 |
|
|
|
66 |
-- temp table
|
|
|
67 |
CREATE TEMPORARY TABLE IF NOT EXISTS _temp_users (ce_utilisateur VARCHAR(255)) ENGINE=MEMORY AS \
|
892 |
raphael |
68 |
-- the following fails, pas d'index (see EXPLAIN + http://dba.stackexchange.com/questions/48231 ?)
|
882 |
raphael |
69 |
-- ( SELECT DISTINCT ce_utilisateur FROM `BASEEDIT`.`cel_obs` GROUP BY ce_utilisateur, ordre HAVING COUNT(*) > 1 );
|
892 |
raphael |
70 |
-- mais celle-ci fonctionne, car l'ordre du GROUP BY correspond à l'INDEX [id_obs] : 16 secondes
|
|
|
71 |
( SELECT DISTINCT ce_utilisateur FROM `BASEEDIT`.`cel_obs` GROUP BY ordre, ce_utilisateur HAVING COUNT(1) > 1 );
|
|
|
72 |
-- alternativement, comme solution de replis:
|
|
|
73 |
-- ( SELECT DISTINCT ce_utilisateur FROM `BASEEDIT`.`cel_obs` WHERE ce_utilisateur IN \
|
|
|
74 |
-- (SELECT ce_utilisateur FROM `BASEEDIT`.`cel_obs` GROUP BY ce_utilisateur, ordre HAVING COUNT(1) > 1) );
|
777 |
raphael |
75 |
|
|
|
76 |
SELECT COUNT(*) INTO done FROM _temp_users;
|
|
|
77 |
-- la requête principale de sélection des utilisateurs à mettre à jour
|
|
|
78 |
WHILE done > 0 DO
|
|
|
79 |
SELECT ce_utilisateur INTO _nom FROM _temp_users LIMIT 1;
|
|
|
80 |
SELECT _nom AS "utilisateur en mise à jour:";
|
|
|
81 |
CALL update_ordre_user(_nom);
|
|
|
82 |
SET subst = subst + 1;
|
|
|
83 |
DELETE FROM _temp_users WHERE ce_utilisateur = _nom;
|
|
|
84 |
SELECT COUNT(*) INTO done FROM _temp_users;
|
|
|
85 |
END WHILE;
|
|
|
86 |
SELECT subst AS "utilisateurs mis à jour";
|
|
|
87 |
END
|
|
|
88 |
|
|
|
|
89 |
|
|
|
90 |
DELIMITER ;
|
|
|
91 |
|
|
|
92 |
|
|
|
93 |
CALL update_ordre_users();
|
|
|
94 |
|
|
|
95 |
|
779 |
raphael |
96 |
DROP FUNCTION IF EXISTS next_ordre;
|
|
|
97 |
DROP PROCEDURE IF EXISTS ordre_need_update;
|
|
|
98 |
DROP PROCEDURE IF EXISTS update_ordre_user;
|
|
|
99 |
DROP PROCEDURE IF EXISTS update_ordre_users;
|
|
|
100 |
|
777 |
raphael |
101 |
-- clef unique sur (id_utilisateur, ordre)
|
781 |
raphael |
102 |
-- [mais seulement si on a dédupliqué TOUS les utilisateurs, y compris l'utilisateur ''
|
|
|
103 |
-- à voir aussi: maj-hash-id-obs-migr.sql]
|
892 |
raphael |
104 |
DROP INDEX `id_obs` ON `BASEEDIT`.`cel_obs`;
|
|
|
105 |
CREATE UNIQUE INDEX `id_obs` ON `BASEEDIT`.`cel_obs` (`ce_utilisateur` ASC, `ordre` ASC);
|