| 1 |
# Ce Makefile effectue les substitutions de nom de base de données
|
1 |
# Ce Makefile effectue les substitutions de nom de base de données
|
| 2 |
# nécessaire au préalable de l'application des scripts SQL
|
2 |
# nécessaire au préalable de l'application des scripts SQL
|
| 3 |
|
3 |
|
| 4 |
# Cela est d'un part moins complexe:
|
4 |
# Cela est d'un part moins complexe:
|
| 5 |
# - qu'un script PHP (interpréteur, getopt, framework, ...)
|
5 |
# - qu'un script PHP (interpréteur, getopt, framework, ...)
|
| 6 |
# - qu'un shell-script (lancement avec make)
|
6 |
# - qu'un shell-script (lancement avec make)
|
| 7 |
# et d'autre part plus maintenable qu'un shell-script car
|
7 |
# et d'autre part plus maintenable qu'un shell-script car
|
| 8 |
# le versionnage des fichiers (inc ".current") permet certaines facilités.
|
8 |
# le versionnage des fichiers (inc ".current") permet certaines facilités.
|
| 9 |
|
9 |
|
| 10 |
|
10 |
|
| 11 |
# TODO:
|
11 |
# TODO:
|
| 12 |
# idéalement, ce Makefile devrait permettre une bonne gestion du jeu de dépendances
|
12 |
# idéalement, ce Makefile devrait permettre une bonne gestion du jeu de dépendances
|
| 13 |
# entre les scripts, seulement le lancement d'un script pouvant nécessiter un login/mdp
|
13 |
# entre les scripts, seulement le lancement d'un script pouvant nécessiter un login/mdp
|
| 14 |
# il est difficile de vouloir rester "simple".
|
14 |
# il est difficile de vouloir rester "simple".
|
| 15 |
# Ce serait cependant la meilleure manière de procéder, ainsi "maj2" ne serait lancé qu'en
|
15 |
# Ce serait cependant la meilleure manière de procéder, ainsi "maj2" ne serait lancé qu'en
|
| 16 |
# cas de succès de "maj1", celui-ci pouvant être détecté comme "déjà exécuté" ou non.
|
16 |
# cas de succès de "maj1", celui-ci pouvant être détecté comme "déjà exécuté" ou non.
|
| 17 |
# cf target "maj1" ci-dessous
|
17 |
# cf target "maj1" ci-dessous
|
| 18 |
|
18 |
|
| 19 |
|
19 |
|
| 20 |
# à l'aide de, note certains de ces fichiers n'ont pas cours dans le cadre de la maj1 (juillet/août 2013)
|
20 |
# à l'aide de, note certains de ces fichiers n'ont pas cours dans le cadre de la maj1 (juillet/août 2013)
|
| 21 |
# echo $(egrep -l 'BASE(SOURCE|EDIT|ANNUAIRE)' *.sql)
|
21 |
# echo $(egrep -l 'BASE(SOURCE|EDIT|ANNUAIRE)' *.sql)
|
| 22 |
fichiers = cel_references.sql dedup-ordre-201307.sql fix-utilisateur-32.sql maj-cleanup-201307.sql maj-nom-ret.sql \
|
22 |
fichiers = cel_references.sql dedup-ordre-201307.sql fix-utilisateur-32.sql maj-cleanup-201307.sql maj-nom-ret.sql \
|
| 23 |
maj-referentiel-201307.sql maj-referentiel-und-201307.sql maj-struct-201307.sql redempteur.sql \
|
23 |
maj-referentiel-201307.sql maj-referentiel-und-201307.sql maj-struct-201307.sql redempteur.sql \
|
| 24 |
referonosaure.sql \
|
24 |
referonosaure.sql \
|
| 25 |
.current
|
25 |
.current
|
| 26 |
|
26 |
|
| 27 |
# la base de données à modifier
|
27 |
# la base de données à modifier
|
| 28 |
alterdb ?= tb_cel_test
|
28 |
alterdb ?= tb_cel_test
|
| 29 |
|
29 |
|
| 30 |
# pour bdtfxa, bdtxa, isfan, nvjfl, nva, baseflor, ... lecture seule;
|
30 |
# pour bdtfx, bdtxa, isfan, nvjfl, nva, baseflor, ... lecture seule;
|
| 31 |
# utilisée pour actualiser les enregistrements de cel_obs dans referonosaure.sql
|
31 |
# utilisée pour actualiser les enregistrements de cel_obs dans referonosaure.sql
|
| 32 |
sourcedb ?= tb_eflore
|
32 |
sourcedb ?= tb_eflore
|
| 33 |
|
33 |
|
| 34 |
# pour annuaire_tela, lecture seule;
|
34 |
# pour annuaire_tela, lecture seule;
|
| 35 |
# utilisée pour initialiser cel_utilisateurs dans maj-struct-201307.sql
|
35 |
# utilisée pour initialiser cel_utilisateurs dans maj-struct-201307.sql
|
| 36 |
annuairedb ?= tela_prod_v4
|
36 |
annuairedb ?= tela_prod_v4
|
| 37 |
|
37 |
|
| 38 |
bdtfx ?= 1_01
|
38 |
bdtfx ?= 1_01
|
| 39 |
bdtxa ?= 1_00
|
39 |
bdtxa ?= 1_00
|
| 40 |
bdtfx_table = bdtfx_v$(bdtfx)
|
40 |
bdtfx_table = bdtfx_v$(bdtfx)
|
| 41 |
bdtxa_table = bdtfx_v$(bdtxa)
|
41 |
bdtxa_table = bdtxa_v$(bdtxa)
|
| 42 |
|
42 |
|
| 43 |
# macro utilisable pour les targets nécessitant de tester la présence d'un couple (base,table)
|
43 |
# macro utilisable pour les targets nécessitant de tester la présence d'un couple (base,table)
|
| 44 |
# exemples:
|
44 |
# exemples:
|
| 45 |
# * $(call is_table,tb_eflore,bdtfx_v1_01)
|
45 |
# * $(call is_table,tb_eflore,bdtfx_v1_01)
|
| 46 |
# * $(call is_table,$(annuairedb),annuaire_tela)
|
46 |
# * $(call is_table,$(annuairedb),annuaire_tela)
|
| 47 |
# argument 1: base de données
|
47 |
# argument 1: base de données
|
| 48 |
# argument 2: table
|
48 |
# argument 2: table
|
| 49 |
is_table = @$(shell mysql -N $(1) <<<"DESC $(2)" &> /dev/null && echo true || echo false)
|
49 |
is_table = @mysql -N $(1) <<<"DESC $(2)" &> /dev/null
|
| - |
|
50 |
|
| - |
|
51 |
# macro utilisable pour effectuer des substitutions:
|
| - |
|
52 |
do_subst = sed -e 's/`BASEEDIT`/`$(alterdb)`/g' \
|
| - |
|
53 |
-e 's/`BASEANNUAIRE`/`$(annuairedb)`/g' \
|
| - |
|
54 |
-e 's/`BASESOURCE`/`$(sourcedb)`/g' \
|
| - |
|
55 |
-e 's/TABLEBDTFX/`$(bdtfx_table)`/g' \
|
| - |
|
56 |
-e 's/TABLEBDTXA/`$(bdtxa_table)`/g' \
|
| 50 |
|
57 |
$(1)
|
| 51 |
|
58 |
|
| 52 |
# génère les fichiers avec les bases de données souhaitées
|
59 |
# génère les fichiers avec les bases de données souhaitées
|
| 53 |
compile: reset
|
60 |
compile: reset
|
| 54 |
@sed -i -e 's/`BASEEDIT`/`$(alterdb)`/g' \
|
61 |
@sed -i -e 's/`BASEEDIT`/`$(alterdb)`/g' \
|
| 55 |
-e 's/`BASEANNUAIRE`/`$(annuairedb)`/g' \
|
62 |
-e 's/`BASEANNUAIRE`/`$(annuairedb)`/g' \
|
| 56 |
-e 's/`BASESOURCE`/`$(sourcedb)`/g' \
|
63 |
-e 's/`BASESOURCE`/`$(sourcedb)`/g' \
|
| 57 |
-e 's/`TABLEBDTFX`/`$(bdtfx_table)`/g' \
|
64 |
-e 's/TABLEBDTFX/`$(bdtfx_table)`/g' \
|
| 58 |
-e 's/`TABLEBDTXA`/`$(bdtxa_table)`/g' \
|
65 |
-e 's/TABLEBDTXA/`$(bdtxa_table)`/g' \
|
| 59 |
$(fichiers)
|
66 |
$(fichiers)
|
| 60 |
@printf "Attention: les changements s'appliqueront sur la base \"%s\"\nLes sources utilisées seront: annuaire=\"%s\" , sources=\"%s\"\n(Ctrl+C pour interrompre, Enter pour continuer)\n" \
|
67 |
@printf "Attention: les changements s'appliqueront sur la base \"%s\"\nLes sources utilisées seront: annuaire=\"%s\" , sources=\"%s\" (%s,%s)\n(Ctrl+C pour interrompre, Enter pour continuer)\n" \
|
| 61 |
`grep ^BASEEDIT .current|cut -d '\`' -f2` \
|
68 |
`grep ^BASEEDIT .current|cut -d '\`' -f2` \
|
| 62 |
`grep ^BASEANNUAIRE .current|cut -d '\`' -f2` \
|
69 |
`grep ^BASEANNUAIRE .current|cut -d '\`' -f2` \
|
| 63 |
`grep ^BASESOURCE .current|cut -d '\`' -f2` \
|
70 |
`grep ^BASESOURCE .current|cut -d '\`' -f2` \
|
| 64 |
`grep ^TABLE_BDTFX .current|cut -d '=' -f2` \
|
71 |
`grep ^TABLE_BDTFX .current|cut -d '=' -f2` \
|
| 65 |
`grep ^TABLE_BDTXA .current|cut -d '=' -f2`
|
72 |
`grep ^TABLE_BDTXA .current|cut -d '=' -f2`
|
| 66 |
@read
|
73 |
@read
|
| 67 |
|
74 |
|
| 68 |
reset:
|
75 |
reset:
|
| 69 |
@svn revert $(fichiers) &> /dev/null
|
76 |
svn revert -q $(fichiers)
|
| - |
|
77 |
|
| - |
|
78 |
# supprime les fichiers "compilés" (concaténation de plusieurs scripts SQL substitués)
|
| - |
|
79 |
clean:
|
| 70 |
|
80 |
rm -f *.comp.sql
|
| 71 |
|
81 |
|
| 72 |
help:
|
82 |
help:
|
| 73 |
@echo "make [alterdb=<tb_cel_test>] [sourcedb=<tb_eflore>] [annuairedb=<tela_prod_v4>] [bdtfx=<1_01>] [bdtxa=<1_00>]"
|
83 |
@echo "make [alterdb=<tb_cel_test>] [sourcedb=<tb_eflore>] [annuairedb=<tela_prod_v4>] [bdtfx=<1_01>] [bdtxa=<1_00>]"
|
| 74 |
|
84 |
|
| - |
|
85 |
|
| - |
|
86 |
### mises à jour
|
| 75 |
|
87 |
|
| 76 |
# mise à jour de juillet/août 2013
|
88 |
# mise à jour de juillet/août 2013
|
| - |
|
89 |
# spécifier dans les targets l'ordre (cf A_LIRE.txt)
|
| - |
|
90 |
# attention, si un prérequis ne génère pas de SQL, cela n'empêchera pas le fichier
|
| 77 |
# spécifier dans les targets l'ordre (cf A_LIRE.txt)
|
91 |
# final de maj d'être généré (bien,
|
| 78 |
maj1: compile cel_references maj-struct-201307 maj-cleanup-201307 fix-utilisateur-32 dedup-ordre-201307
|
- |
|
| 79 |
# @echo 'cat cel_references.sql maj-struct-201307.sql maj-cleanup-201307.sql fix-utilisateur-32.sql dedup-ordre-201307.sql|mysql $(alterdb)'
|
92 |
maj1: compile cel_references maj-struct-201307 maj-cleanup-201307 fix-utilisateur-32 dedup-ordre-201307
|
| - |
|
93 |
@echo done
|
| - |
|
94 |
|
| - |
|
95 |
o_maj1: fichiers_generes = $(addsuffix .comp.sql,$(filter-out clean,$?))
|
| - |
|
96 |
o_maj1: clean o_cel_references o_maj-struct-201307 o_maj-cleanup-201307 o_fix-utilisateur-32 o_dedup-ordre-201307
|
| - |
|
97 |
cat $(fichiers_generes) > maj1.comp.sql
|
| - |
|
98 |
@echo done
|
| - |
|
99 |
|
| - |
|
100 |
### fin: mises à jour
|
| - |
|
101 |
|
| - |
|
102 |
|
| - |
|
103 |
### tools
|
| - |
|
104 |
|
| - |
|
105 |
check_cel_obs:
|
| - |
|
106 |
$(call is_table,$(alterdb),cel_obs)
|
| - |
|
107 |
|
| - |
|
108 |
### fin: tools
|
| - |
|
109 |
|
| - |
|
110 |
|
| - |
|
111 |
### mises à jour individuelles (scripts)
|
| - |
|
112 |
### pour chacun d'entre-eux, deux versions existent,
|
| - |
|
113 |
### 1) L'un compile (après substitution des noms dans le fichier SQL original)
|
| 80 |
@echo done
|
114 |
### et pipe vers mysql directement, ce qui suppose aussi un .my.cnf ou autre
|
| 81 |
|
115 |
### 2) L'autre (préfixé par o_), renvoie le fichier substitué en sortie standard
|
| 82 |
|
116 |
### et le target principal s'occupe de concaténer et de créer un fichier de destination
|
| - |
|
117 |
### Cette méthode est de loin préférable
|
| - |
|
118 |
cel_references:
|
| - |
|
119 |
$(call is_table,$(sourcedb),$(bdtfx_table))
|
| 83 |
|
120 |
$(call is_table,$(alterdb),cel_references) || mysql < cel_references.sql
|
| 84 |
cel_references:
|
121 |
o_cel_references:
|
| 85 |
$(call is_table,$(sourcedb),bdtfx_v1_01)
|
122 |
$(call is_table,$(sourcedb),$(bdtfx_table))
|
| - |
|
123 |
$(call is_table,$(alterdb),cel_references) || $(call do_subst,cel_references.sql) > $@.comp.sql
|
| - |
|
124 |
|
| - |
|
125 |
maj-struct-201307: check_cel_obs
|
| 86 |
$(call is_table,$(alterdb),cel_references) || mysql < cel_references.sql
|
126 |
$(call is_table,$(annuairedb),annuaire_tela)
|
| 87 |
|
127 |
@mysql -N $(alterdb) <<<"DESC cel_obs nom_sel"|grep -q 601 || mysql < maj-struct-201307.sql
|
| - |
|
128 |
o_maj-struct-201307: check_cel_obs
|
| - |
|
129 |
$(call is_table,$(annuairedb),annuaire_tela)
|
| 88 |
maj-struct-201307:
|
130 |
@mysql -N $(alterdb) <<<"DESC cel_obs nom_sel"|grep -q 601 || $(call do_subst,maj-struct-201307.sql) > $@.comp.sql
|
| 89 |
$(call is_table,$(annuairedb),annuaire_tela)
|
131 |
|
| - |
|
132 |
maj-cleanup-201307: check_cel_obs
|
| - |
|
133 |
@ ! mysql -N $(alterdb) <<<"SELECT 1 FROM cel_obs WHERE date_observation = '0000-00-00 00:00:00' LIMIT 1"|grep -q 1 || mysql < maj-cleanup-201307.sql
|
| 90 |
@mysql -N $(alterdb) <<<"DESC cel_obs nom_sel"|grep -q 601 || mysql < maj-struct-201307.sql
|
134 |
o_maj-cleanup-201307:
|
| 91 |
|
135 |
@ ! mysql -N $(alterdb) <<<"SELECT 1 FROM cel_obs WHERE date_observation = '0000-00-00 00:00:00' LIMIT 1"|grep -q 1 || $(call do_subst,maj-cleanup-201307.sql) > $@.comp.sql
|
| 92 |
maj-cleanup-201307:
|
136 |
|
| - |
|
137 |
fix-utilisateur-32: check_cel_obs
|
| - |
|
138 |
@mysql -N $(alterdb) <<<"DESC cel_obs ce_utilisateur"|grep -q 255 || mysql < fix-utilisateur-32.sql
|
| - |
|
139 |
o_fix-utilisateur-32: check_cel_obs
|
| - |
|
140 |
@mysql -N $(alterdb) <<<"DESC cel_obs ce_utilisateur"|grep -q 255 || $(call do_subst,fix-utilisateur-32.sql) > $@.comp.sql
|
| 93 |
@ ! mysql -N $(alterdb) <<<"SELECT 1 FROM cel_obs WHERE date_observation = '0000-00-00 00:00:00' LIMIT 1"|grep -q 1 || mysql < maj-cleanup-201307.sql
|
141 |
|
| 94 |
|
142 |
dedup-ordre-201307: check_cel_obs
|
| 95 |
fix-utilisateur-32:
|
143 |
#@mysql -N $(alterdb) <<<'SELECT distinct ce_utilisateur FROM `cel_obs` GROUP BY ce_utilisateur, ordre HAVING COUNT(*) > 1'|grep -q . || mysql < dedup-ordre-201307.sql
|
| 96 |
@mysql -N $(alterdb) <<<"DESC cel_obs ce_utilisateur"|grep -q 255 || mysql < fix-utilisateur-32.sql
|
144 |
@mysql -N $(alterdb) <<<"SHOW INDEX FROM cel_obs"|grep -q couple_user_ordre || mysql < dedup-ordre-201307.sql
|
| 97 |
|
145 |
o_dedup-ordre-201307: check_cel_obs
|
| 98 |
dedup-ordre-201307:
|
146 |
@mysql -N $(alterdb) <<<"SHOW INDEX FROM cel_obs"|grep -q couple_user_ordre || $(call do_subst,dedup-ordre-201307.sql) > $@.comp.sql
|
| 99 |
#@mysql -N $(alterdb) <<<'SELECT distinct ce_utilisateur FROM `cel_obs` GROUP BY ce_utilisateur, ordre HAVING COUNT(*) > 1'|grep -q . || mysql < dedup-ordre-201307.sql
|
147 |
|
| 100 |
@mysql -N $(alterdb) <<<"SHOW INDEX FROM cel_obs"|grep -q couple_user_ordre || mysql < dedup-ordre-201307.sql
|
148 |
|
| 101 |
|
149 |
|
| 102 |
|
150 |
|
| 103 |
# pour une prochaine maj
|
151 |
# pour une prochaine maj
|
| 104 |
maj-nom-ret:
|
152 |
maj-nom-ret:
|
| 105 |
@mysql -N <<<'SELECT count(1) FROM `$(alterdb)`.`cel_obs` c LEFT JOIN `$(sourcedb)`.`bdtfx_v1_01` b on (c.nom_ret = b.nom_sci) WHERE nom_ret_nn = 0 AND c.nom_ret != "" AND id_observation NOT IN ( SELECT id_observation FROM `$(alterdb)`.`cel_obs` c, `$(sourcedb)`.`bdtfx_v1_01` b WHERE c.nom_ret = b.nom_sci AND c.nom_ret_nn = 0 );'|grep -q 0
|
153 |
@mysql -N <<<'SELECT count(1) FROM `$(alterdb)`.`cel_obs` c LEFT JOIN `$(sourcedb)`.`$(bdtfx_table)` b on (c.nom_ret = b.nom_sci) WHERE nom_ret_nn = 0 AND c.nom_ret != "" AND id_observation NOT IN ( SELECT id_observation FROM `$(alterdb)`.`cel_obs` c, `$(sourcedb)`.`$(bdtfx_table)` b WHERE c.nom_ret = b.nom_sci AND c.nom_ret_nn = 0 );'|grep -q 0
|