UnicaenDbImport
Ce module a pour but de réaliser l'import de données d'une table (ou d'un select) d'une base de données source vers une table d'une base de données destination.
Concrètement :
- Si la source contient un enregistrement qui n'existe pas dans la destination, il est ajouté dans cette dernière.
- Si la source contient un enregistrement qui existe aussi dans la destination avec les mêmes valeurs de colonnes, rien n'est fait.
- Si la source contient un enregistrement qui existe aussi dans la destination mais avec des valeurs de colonnes différentes, les colonnes de la destination sont mises à jour en conséquence.
- Si la source ne contient pas un enregistrement qui existe dans la destination, l'enregistrement destination est historisé (i.e. marqué "supprimé").
- Si la source contient un enregistrement qui existe aussi dans la destination mais marqué "supprimé", ce dernier est dé-historisé.
Les enregistrements source et les enregistrements destination doivent avoir un identifiant unique en commun permettant
de les rapprocher : on l'appellera "code source" (cf. paramètre de config source_code_column
).
Cet identifiant doit être de type chaîne de caractères.
La différence avec le module UnicaenImport ?
Comme son nom de l'indique pas, UnicaenImport fonctionne uniquement entre 2 bases de données Oracle ; et la synchronisation est faite entièrement par le SGBD (ou presque).
UnicaenDbImport fonctionne en majeure partie en PHP tout en déléguant au maximum au SGBD ce qu'il sait bien faire
(select FULL OUTER JOIN
pour le différentiel entre données source et destination, fonction pour l'alimentation du registre
d'import, etc.) Par conséquent, il est possible et souhaitable de l'enrichir pour implémenter une synchronisation vers
différentes plateformes de base de données destination. Les plateformes de base de données destination suivantes sont
implémentées :
- PostgreSQL
NB: En revanche toutes les plateformes de base de données source sont supportées car on se contente d'y faire un select à l'aide de l'ORM Doctrine 2 pour alimenter une table intermédiaire.
Installation
composer require unicaen/db-import
Configuration
- Récupérer les fichiers config de distribution :
cp -n vendor/unicaen/db-import/config/unicaen-db-import.global.php.dist config/autoload/unicaen-db-import.global.php
cp -n vendor/unicaen/db-import/config/unicaen-db-import.local.php.dist config/autoload/unicaen-db-import.local.php
- Adapter leur contenu à vos besoins.
Utilisation
Le module fournit une ligne de commande pour :
-
lancer un import par son nom, exemple :
php public/index.php run import --name "IMPORT_PFI_SIFAC"
-
lancer tous les imports :
php public/index.php run import --all
NB: Cette commande exécute la synchronisation une fois. Pour synchroniser en permanence la base de données destination, il faut programmer le lancement périodique de cette commande à l'aide de CRON (cf. plus bas pour un exemple).
Contraintes
Identifiant commun
L'identifiant unique commun des enregistrements source et destination doit être de type chaîne de caractères.
'select'
Source de type Dans le cas d'une source de type 'select'
, il est nécessaire de convertir chaque colonne en
chaîne de caractères dans le select
.
- Pour une colonne de type "date",
TO_CHAR(nom_colonne,'YYYY-MM-DD')
permet de convertir en chaînes de caractères dans un format quasi universel ; - Pour une colonne de type numérique,
nom_colonne||''
permet par exemple de convertir entiers et décimaux en chaînes de caractères.
Il est également nécessaire de spécifier dans la config de la destination la fonction de conversion à appliquer
à chaque colonne pour la convertir en chaîne de caractères (cf. paramètre de config destination columns_to_char
).
'table'
Source de type Dans le cas d'une source de type 'table'
, il est nécessaire de spécifier dans la config de la
destination la fonction de conversion à appliquer à chaque colonne pour la convertir en chaîne de caractères
(cf. paramètre de config destination columns_to_char
).
Table destination
La table destination doit obligatoirement posséder les colonnes d'historique created_on
, updated_on
et deleted_on
. Exemple avec PostgreSQL :
ALTER TABLE TABLE_DESTINATION ADD COLUMN created_on TIMESTAMP(0) WITH TIME ZONE DEFAULT LOCALTIMESTAMP(0) NOT NULL;
ALTER TABLE TABLE_DESTINATION ADD COLUMN updated_on TIMESTAMP(0) WITH TIME ZONE;
ALTER TABLE TABLE_DESTINATION ADD COLUMN deleted_on TIMESTAMP(0) WITH TIME ZONE;
Exemple de mise en oeuvre
Import des programmes de financement SIFAC depuis une base Oracle vers une table PostgreSQL. Les données sources sont "extraites" grâce à un select.
- Configuration globale du module :
unicaen-db-import.global.php
return [
/**
* Configuration du module UnicaenDbImport.
*/
'import' => [
/**
* Liste des imports.
*/
'imports' => [
[
/**
* Petit nom (unique) de l'import.
*/
'name' => 'Import_PFI_SIFAC',
/**
* Configuration de la source de données à importer :
* - 'name' : petit nom (unique) de la source
* - 'table' : nom de la table source contenant les données à importer
* - 'select' : select SQL de mise en forme des données source à importer (NB: antinomique avec 'table')
* - 'connection' : identifiant de la connexion Doctrine à la base de données source
* - 'source_code_column' : nom de la colonne dans la table/vue source contenant l'identifiant unique
* - 'columns' : liste ordonnée des noms des colonnes à prendre en compte dans la table/vue source
*/
'source' => [
'name' => 'PFI SIFAC',
'connection' => 'doctrine.connection.orm_oracle',
'source_code_column' => 'CODE',
'columns' => ['LIBELLE', 'FLECHE', 'DEBUT_VALIDITE', 'FIN_VALIDITE'],
'select' => <<<'EOT'
select distinct
MEASURE CODE,
SHORT_DESC LIBELLE,
ZFLECHE FLECHE,
to_char(TO_DATE(VALID_FROM,'YYYYMMDD'),'YYYY-MM-DD') DEBUT_VALIDITE,
to_char(TO_DATE(VALID_TO,'YYYYMMDD'),'YYYY-MM-DD') FIN_VALIDITE
from (
SELECT
SAPSR3.FMMEASURE.MEASURE,
SAPSR3.FMMEASURET.SHORT_DESC,
SAPSR3.FMMEASURE.ZFLECHE,
SAPSR3.FMMEASURE.VALID_FROM,
SAPSR3.FMMEASURE.VALID_TO
FROM
SAPSR3.FMMEASURE,
SAPSR3.FMMEASURET
WHERE
( (SAPSR3.FMMEASURE.CLIENT in (select A.MANDT from SAPSR3.FM01H A where A.MANDT = '500') OR SAPSR3.FMMEASURE.CLIENT is null)
and (SAPSR3.FMMEASURE.FMAREA in (select A.FIKRS from SAPSR3.FM01H A where A.FIKRS = '1010') or SAPSR3.FMMEASURE.FMAREA is null) )
AND ( SAPSR3.FMMEASURE.CLIENT=SAPSR3.FMMEASURET.CLIENT(+) )
AND ( SAPSR3.FMMEASURE.FMAREA=SAPSR3.FMMEASURET.FMAREA(+) )
AND ( SAPSR3.FMMEASURE.MEASURE=SAPSR3.FMMEASURET.MEASURE(+) )
)
EOT
,
],
/**
* Forçage éventuel du nom de la table intermédiaire utilisée lorsque source et destination
* ne partagent pas la même connexion. NB: cette table intermédiaire est créée/peuplée/supprimée
* dans la base de données destination à chaque import.
* En l'absence de ce forçage, le nom de la table intermédiaire sera celui de la table destination
* préfixé par "src_".
*/
'intermediate_table' => 'src_progfin',
/**
* Suppression automatique de la table intermédiaire "src_" au début de l'import.
* Si la suppression automatique est désactivée, l'existence de la table intermédiaire au démarrage
* de l'import fera échouer l'import.
*/
'intermediate_table_auto_drop' => false,
/**
* Configuration de la destination des données importées :
* - 'name' : petit nom (unique) de la destination
* - 'table' : nom de la table destination vers laquelle les données sont importées
* - 'connection' : identifiant de la connexion Doctrine à la base de données destination
* - 'source_code_column' : nom de la colonne dans la table destination contenant l'identifiant unique
* - 'columns' : liste ordonnée des noms des colonnes importées dans la table destination
* - 'columns_to_char' : format sprintf nécessaire pour mettre des colonnes au format requis (string)
*/
'destination' => [
'name' => 'PFI Zébu',
'table' => 'progfin',
'connection' => 'doctrine.connection.orm_default',
'source_code_column' => 'code',
'columns' => ['libelle', 'fleche', 'debut_validite', 'fin_validite'],
'columns_to_char' => [
'debut_validite' => "TO_CHAR(%s,'YYYY-MM-DD')", // car colonne destination de type TIMESTAMP
'fin_validite' => "TO_CHAR(%s,'YYYY-MM-DD')", // idem
],
],
],
],
],
];
On doit renseigner le paramètre intermediate_table
car les données source proviennent d'un select.
- Configuration locale du module :
unicaen-db-import.local.php
return [
/**
* Configuration Doctrine minimum requise.
*/
'doctrine' => [
'connection' => [
'orm_oracle' => [
'driverClass' => 'Doctrine\\DBAL\\Driver\\OCI8\\Driver',
'params' => [
'host' => 'host.domain.fr',
'port' => '1525',
'user' => 'x',
'password' => 'y',
'dbname' => 'z',
'charset' => 'AL32UTF8',
],
'eventmanager' => 'orm_oracle',
],
'orm_default' => [
'driverClass' => 'Doctrine\\DBAL\\Driver\\PDOPgSql\\Driver',
'params' => [
'host' => 'host.domain.fr',
'port' => '5432',
'charset' => 'utf8',
'dbname' => 'a',
'user' => 'b',
'password' => 'c',
],
],
],
'eventmanager' => [
'orm_sifac' => [
'subscribers' => [
\Doctrine\DBAL\Event\Listeners\OracleSessionInit::class,
],
],
],
],
];
NB: les paramètres de config de la connexion orm_default
existent sans doute déjà dans la configuration de votre
application, il est bien-sûr inutile de les répéter dans la config du module unicaen/db-import.
- Configuration CRON pour lancer périodiquement la synchro :
# Du lundi au vendredi, entre 6h00 et 19h45, toutes les 15 minutes
*/15 6-19 * * 1-5 root /usr/bin/php /var/www/zebu-back/public/index.php run import --all 1> /tmp/zebu-cron.log 2>&1
- Exemple de logs affichés par la commande :
######################## IMPORTS ########################
### Import des PFI SIFAC ###
05/09/2017 16:22:08
# delete :
UPDATE progfin SET deleted_on = LOCALTIMESTAMP(0) WHERE CODE = 'fddsfsd' ; UPDATE import_reg SET executed_on = LOCALTIMESTAMP(0) WHERE import_hash = 'fddsfsd-99c4b652-9245-11e7-bddd-0242f725575b' ;
(1 instructions exécutées)
# insert :
INSERT INTO progfin(CODE, LIBELLE, FLECHE, DEBUT_VALIDITE, FIN_VALIDITE, created_on) VALUES ('971UP009', 'Of Wisco', ' ', '2014-01-01', '2047-12-31', LOCALTIMESTAMP(0)) ; UPDATE import_reg SET executed_on = LOCALTIMESTAMP(0) WHERE import_hash = '971UP009-99c4b652-9245-11e7-bddd-0242f725575b' ;
INSERT INTO progfin(CODE, LIBELLE, FLECHE, DEBUT_VALIDITE, FIN_VALIDITE, created_on) VALUES ('977CA025', 'Screening de 5', ' ', '2016-07-21', '2018-12-31', LOCALTIMESTAMP(0)) ; UPDATE import_reg SET executed_on = LOCALTIMESTAMP(0) WHERE import_hash = '977CA025-99c4b652-9245-11e7-bddd-0242f725575b' ;
INSERT INTO progfin(CODE, LIBELLE, FLECHE, DEBUT_VALIDITE, FIN_VALIDITE, created_on) VALUES ('F950MEC1', 'MDE CAEN FONCTIONNEM', ' ', '2015-01-01', '2047-12-31', LOCALTIMESTAMP(0)) ; UPDATE import_reg SET executed_on = LOCALTIMESTAMP(0) WHERE import_hash = 'F950MEC1-99c4b652-9245-11e7-bddd-0242f725575b' ;
INSERT INTO progfin(CODE, LIBELLE, FLECHE, DEBUT_VALIDITE, FIN_VALIDITE, created_on) VALUES ('F971CF03', 'UNIVERSITE DU HAVRE', ' ', '2015-01-01', '2047-12-31', LOCALTIMESTAMP(0)) ; UPDATE import_reg SET executed_on = LOCALTIMESTAMP(0) WHERE import_hash = 'F971CF03-99c4b652-9245-11e7-bddd-0242f725575b' ;
INSERT INTO progfin(CODE, LIBELLE, FLECHE, DEBUT_VALIDITE, FIN_VALIDITE, created_on) VALUES ('014DU009', 'DU RDCM', ' ', '2016-01-01', '2047-12-31', LOCALTIMESTAMP(0)) ; UPDATE import_reg SET executed_on = LOCALTIMESTAMP(0) WHERE import_hash = '014DU009-99c4b652-9245-11e7-bddd-0242f725575b' ;
INSERT INTO progfin(CODE, LIBELLE, FLECHE, DEBUT_VALIDITE, FIN_VALIDITE, created_on) VALUES ('012RE001', 'COLLOQUE 50 ANS SC E', ' ', '2017-01-01', '2017-12-31', LOCALTIMESTAMP(0)) ; UPDATE import_reg SET executed_on = LOCALTIMESTAMP(0) WHERE import_hash = '012RE001-99c4b652-9245-11e7-bddd-0242f725575b' ;
INSERT INTO progfin(CODE, LIBELLE, FLECHE, DEBUT_VALIDITE, FIN_VALIDITE, created_on) VALUES ('012CH021', 'Typo-chronologie', ' ', '2017-01-01', '2017-12-31', LOCALTIMESTAMP(0)) ; UPDATE import_reg SET executed_on = LOCALTIMESTAMP(0) WHERE import_hash = '012CH021-99c4b652-9245-11e7-bddd-0242f725575b' ;
INSERT INTO progfin(CODE, LIBELLE, FLECHE, DEBUT_VALIDITE, FIN_VALIDITE, created_on) VALUES ('013PL002', 'CMABIO', ' ', '2016-01-01', '2047-12-31', LOCALTIMESTAMP(0)) ; UPDATE import_reg SET executed_on = LOCALTIMESTAMP(0) WHERE import_hash = '013PL002-99c4b652-9245-11e7-bddd-0242f725575b' ;
INSERT INTO progfin(CODE, LIBELLE, FLECHE, DEBUT_VALIDITE, FIN_VALIDITE, created_on) VALUES ('999CM003', '2016-AGRI-133', ' ', '2016-03-30', '2018-12-31', LOCALTIMESTAMP(0)) ; UPDATE import_reg SET executed_on = LOCALTIMESTAMP(0) WHERE import_hash = '999CM003-99c4b652-9245-11e7-bddd-0242f725575b' ;
(9 instructions exécutées)
# undelete :
UPDATE progfin SET LIBELLE = 'TA 2017', FLECHE = ' ', DEBUT_VALIDITE = '2017-01-01', FIN_VALIDITE = '2047-12-31', updated_on = LOCALTIMESTAMP(0), deleted_on = null WHERE CODE = '913TA017' ; UPDATE import_reg SET executed_on = LOCALTIMESTAMP(0) WHERE import_hash = '913TA017-99c4b652-9245-11e7-bddd-0242f725575b' ;
UPDATE progfin SET LIBELLE = 'TA 2017', FLECHE = ' ', DEBUT_VALIDITE = '2017-01-01', FIN_VALIDITE = '2047-12-31', updated_on = LOCALTIMESTAMP(0), deleted_on = null WHERE CODE = '920TA017' ; UPDATE import_reg SET executed_on = LOCALTIMESTAMP(0) WHERE import_hash = '920TA017-99c4b652-9245-11e7-bddd-0242f725575b' ;
UPDATE progfin SET LIBELLE = 'PAIE DIU ADOLESCENTS', FLECHE = ' ', DEBUT_VALIDITE = '2017-01-01', FIN_VALIDITE = '2047-12-31', updated_on = LOCALTIMESTAMP(0), deleted_on = null WHERE CODE = 'P14DU910' ; UPDATE import_reg SET executed_on = LOCALTIMESTAMP(0) WHERE import_hash = 'P14DU910-99c4b652-9245-11e7-bddd-0242f725575b' ;
(3 instructions exécutées)
# update :
UPDATE progfin SET LIBELLE = 'PLATIN''', updated_on = LOCALTIMESTAMP(0) WHERE CODE = '925PL005' ; UPDATE import_reg SET executed_on = LOCALTIMESTAMP(0) WHERE import_hash = '925PL005-PLATINvxcvxc-99c4b652-9245-11e7-bddd-0242f725575b' ;
(1 instructions exécutées)
Import réalisé avec succès.
Dans le moteur
SRC_*
Table intermédiaire Lorsque les données source sont issues d'un select, une table intermédiaire SRC_*
est créée dans la base de données
destination à partir de ces données source. La synchronisation est ensuite réalisée entre cette table intermdiaire et
la table destination. À la fin du processus de synchronisation, cette table intermdiaire est supprimée.
NB: attention, si au lancement de la commande d'import la table intermédiaire SRC_*
existe déjà dans la base de
données ete que le paramètre de config intermediate_table_auto_drop
est à false
, l'import échouera.
Différentiel entre source et destination
La requête utilisée pour comparer les données sources et destination pour une table destination progfin
ressemble
à cela (syntaxe PostgreSQL) :
SELECT create_import_metarequest_for_progfin(
src.code, src.libelle, TO_CHAR(src.debut_validite,'YYYY-MM-DD'),
dest.code, dest.libelle, TO_CHAR(dest.debut_validite,'YYYY-MM-DD'), dest.deleted_on,
'eb1ab85c-916a-11e7-aba7-0242f725575b'
) AS operation
FROM src_progfin src
FULL OUTER JOIN progfin dest ON src.code = dest.code
;
create_import_metarequest_for_*
Fonction Le module crée automatiquement dans le SGBD pour chaque import configuré une fonction create_import_metarequest_for_*
chargée de :
- déterminer l'opération de mise à jour nécessaire à partir du résultat du différentiel entre données source et destination ;
- inscrire dans un "registre d'import" (table
IMPORT_REG
) les instructions SQL nécessaires à la mise à jour de la table destination.
Vous trouverez dans ce fichier
un exemple de fonction create_import_metarequest_for_*
pour une table destination ztemptable
dans une base PostgreSQL.
NB: Pour un enregistrement existant à la fois dans la source et la destination (opération "update"), la détection de différence et donc sa mise à jour se fait colonne par colonne.
IMPORT_REG
, registre d'import
Table Une table de travail import_reg
est utilisée par le module pour y inscrire les opérations nécessaires à chaque
synchronisation.
Ce registre comporte les colonnes suivantes :
- le type d'opération nécessaire : insert, update, delete, undelete
- le "source code" de l'enregistrement concerné
- le nom de la table concernée
- le nom de la colonne concernée (si c'est pertinent pour l'opération)
- la valeur de la colonne avant synchronisation (si c'est pertinent pour l'opération)
- la valeur de la colonne après synchronisation (si c'est pertinent pour l'opération)
- l'instruction SQL à exécuter pour mettre à jour la table destination
- la date d'exécution de l'instruction SQL de mise à jour de la table destination
- la date de création de la ligne de registre
- un hash permettant d'identifier l'ensemble de lignes auquel appartient cette ligne de registre (utile pour mettre à jour la date d'exécution)
Exemple de contenu de la table import_reg
:
operation | source_code | table_name | field_name | from_value | to_value | sql | created_on | executed_on | import_hash |
---|---|---|---|---|---|---|---|---|---|
insert | 013CC021 | progfin | NULL | NULL | NULL | INSERT INTO progfin(CODE, LIBELLE, FLECHE, DEBUT_VALIDITE, FIN_VALIDITE) VALUES ( 013CC021 , Caract. verres trait , 2017-05-01 , 2018-12-31 ) ; UPDATE import_reg SET executed_on = now() WHERE import_hash = eb1ab85c-916a-11e7-aba7-0242f725575b ; |
2017-09-04 14:17:41.501375 | 2017-09-04 14:17:41.549583 | eb1ab85c-916a-11e7-aba7-0242f725575b |
insert | 920CA050 | progfin | NULL | NULL | NULL | INSERT INTO progfin(CODE, LIBELLE, FLECHE, DEBUT_VALIDITE, FIN_VALIDITE) VALUES ( 920CA050 , Tthèse CIFRE2015/119 , 2016-01-01 , 2018-12-31 ) ; UPDATE import_reg SET executed_on = now() WHERE import_hash = eb1ab85c-916a-11e7-aba7-0242f725575b ; |
2017-09-04 14:17:41.501375 | 2017-09-04 14:17:41.549583 | eb1ab85c-916a-11e7-aba7-0242f725575b |
insert | 909CC189 | progfin | NULL | NULL | NULL | INSERT INTO progfin(CODE, LIBELLE, FLECHE, DEBUT_VALIDITE, FIN_VALIDITE) VALUES ( 909CC189 , THESE CIFRE , 2016-02-01 , 2019-12-31 ) ; UPDATE import_reg SET executed_on = now() WHERE import_hash = eb1ab85c-916a-11e7-aba7-0242f725575b ; |
2017-09-04 14:17:41.501375 | 2017-09-04 14:17:41.549583 | eb1ab85c-916a-11e7-aba7-0242f725575b |
insert | 909EA002 | progfin | NULL | NULL | NULL | INSERT INTO progfin(CODE, LIBELLE, FLECHE, DEBUT_VALIDITE, FIN_VALIDITE) VALUES ( 909EA002 , ED SIMEM FONCTIONNEM , 2015-01-01 , 2047-12-31 ) ; UPDATE import_reg SET executed_on = now() WHERE import_hash = eb1ab85c-916a-11e7-aba7-0242f725575b ; |
2017-09-04 14:17:41.501375 | 2017-09-04 14:17:41.549583 | eb1ab85c-916a-11e7-aba7-0242f725575b |
insert | 913CA052 | progfin | NULL | NULL | NULL | INSERT INTO progfin(CODE, LIBELLE, FLECHE, DEBUT_VALIDITE, FIN_VALIDITE) VALUES ( 913CA052 , ECO CORAIL , 2014-09-26 , 2017-12-31 ) ; UPDATE import_reg SET executed_on = now() WHERE import_hash = eb1ab85c-916a-11e7-aba7-0242f725575b ; |
2017-09-04 14:17:41.501375 | 2017-09-04 14:17:41.549583 | eb1ab85c-916a-11e7-aba7-0242f725575b |
insert | 917CA955 | progfin | NULL | NULL | NULL | INSERT INTO progfin(CODE, LIBELLE, FLECHE, DEBUT_VALIDITE, FIN_VALIDITE) VALUES ( 917CA955 , CAPACITE , 2013-11-01 , 2047-12-31 ) ; UPDATE import_reg SET executed_on = now() WHERE import_hash = eb1ab85c-916a-11e7-aba7-0242f725575b ; |
2017-09-04 14:17:41.501375 | 2017-09-04 14:17:41.549583 | eb1ab85c-916a-11e7-aba7-0242f725575b |
insert | F971UP03 | progfin | NULL | NULL | NULL | INSERT INTO progfin(CODE, LIBELLE, FLECHE, DEBUT_VALIDITE, FIN_VALIDITE) VALUES ( F971UP03 , DELAWARE , 2015-01-01 , 2047-12-31 ) ; UPDATE import_reg SET executed_on = now() WHERE import_hash = eb1ab85c-916a-11e7-aba7-0242f725575b ; |
2017-09-04 14:17:41.501375 | 2017-09-04 14:17:41.549583 | eb1ab85c-916a-11e7-aba7-0242f725575b |
insert | 925CD271 | progfin | NULL | NULL | NULL | INSERT INTO progfin(CODE, LIBELLE, FLECHE, DEBUT_VALIDITE, FIN_VALIDITE) VALUES ( 925CD271 , CONV.2015PCM51 , 2016-01-01 , 2017-12-31 ) ; UPDATE import_reg SET executed_on = now() WHERE import_hash = eb1ab85c-916a-11e7-aba7-0242f725575b ; |
2017-09-04 14:17:41.501375 | 2017-09-04 14:17:41.549583 | eb1ab85c-916a-11e7-aba7-0242f725575b |
insert | 925CD276 | progfin | NULL | NULL | NULL | INSERT INTO progfin(CODE, LIBELLE, FLECHE, DEBUT_VALIDITE, FIN_VALIDITE) VALUES ( 925CD276 , CONV.1060284 , , 2015-12-10, 2019-12-31) ; UPDATE import_reg SET executed_on = now() WHERE import_hash = eb1ab85c-916a-11e7-aba7-0242f725575b ; |
2017-09-04 14:17:41.501375 | 2017-09-04 14:17:41.549583 | eb1ab85c-916a-11e7-aba7-0242f725575b |
insert | 920CA047 | progfin | NULL | NULL | NULL | INSERT INTO progfin(CODE, LIBELLE, FLECHE, DEBUT_VALIDITE, FIN_VALIDITE) VALUES (920CA047, Projet THYMOTHE, , 2015-12-21, 2018-12-31) ; UPDATE import_reg SET executed_on = now() WHERE import_hash = eb1ab85c-916a-11e7-aba7-0242f725575b ; | 2017-09-04 14:17:41.501375 | 2017-09-04 14:17:41.549583 | eb1ab85c-916a-11e7-aba7-0242f725575b |
undelete | 013GR014 | progfin | NULL | NULL | NULL | UPDATE progfin SET LIBELLE = SUBVENTION COTENTIN, FLECHE = , DEBUT_VALIDITE = 2017-01-01, FIN_VALIDITE = 2047-12-31, updated_on = now(), deleted_on = null WHERE CODE = 013GR014 ; UPDATE import_reg SET executed_on = now() WHERE import_hash = eb1ab85c-916a-11e7-aba7-0242f725575b ; | 2017-09-04 14:17:41.501375 | 2017-09-04 14:17:41.549583 | eb1ab85c-916a-11e7-aba7-0242f725575b |
undelete | 012CB018 | progfin | NULL | NULL | NULL | UPDATE progfin SET LIBELLE = Bilan sur les nouv., FLECHE = , DEBUT_VALIDITE = 2016-12-15, FIN_VALIDITE = 2018-12-31, updated_on = now(), deleted_on = null WHERE CODE = 012CB018 ; UPDATE import_reg SET executed_on = now() WHERE import_hash = eb1ab85c-916a-11e7-aba7-0242f725575b ; | 2017-09-04 14:17:41.501375 | 2017-09-04 14:17:41.549583 | eb1ab85c-916a-11e7-aba7-0242f725575b |
undelete | 012RF001 | progfin | NULL | NULL | NULL | UPDATE progfin SET LIBELLE = COLLOQUE CONSTITUTIO, FLECHE = , DEBUT_VALIDITE = 2017-01-01, FIN_VALIDITE = 2017-12-31, updated_on = now(), deleted_on = null WHERE CODE = 012RF001 ; UPDATE import_reg SET executed_on = now() WHERE import_hash = eb1ab85c-916a-11e7-aba7-0242f725575b ; | 2017-09-04 14:17:41.501375 | 2017-09-04 14:17:41.549583 | eb1ab85c-916a-11e7-aba7-0242f725575b |
update | 971UP002 | progfin | LIBELLE | Etablissement api | Etablissement API | UPDATE progfin SET LIBELLE = Etablissement API, updated_on = now() WHERE CODE = 971UP002 ; UPDATE import_reg SET executed_on = now() WHERE import_hash = cd384e78-2588-4d99-ad9a-5364adac41fc ; | 2017-09-04 14:17:41.501375 | NULL | cd384e78-2588-4d99-ad9a-5364adac41fc |
update | 971UP004 | progfin | LIBELLE | ETAB GIORGIA north | ETAB GIORGIA NORTH | UPDATE progfin SET LIBELLE = ETAB GIORGIA NORTH, updated_on = now() WHERE CODE = 971UP004 ; UPDATE import_reg SET executed_on = now() WHERE import_hash = cd384e78-2588-4d99-ad9a-5364adac41fc ; | 2017-09-04 14:17:41.501375 | NULL | cd384e78-2588-4d99-ad9a-5364adac41fc |
update | 950ME003 | progfin | LIBELLE | REGIE DE REC | REGIE DE RECETTES-EN | UPDATE progfin SET LIBELLE = REGIE DE RECETTES-EN, updated_on = now() WHERE CODE = 950ME003 ; UPDATE import_reg SET executed_on = now() WHERE import_hash = cd384e78-2588-4d99-ad9a-5364adac41fc ; | 2017-09-04 14:17:41.501375 | NULL | cd384e78-2588-4d99-ad9a-5364adac41fc |
``` |
Remarques :
-
Le "hash" (
eb1ab85c-916a-11e7-aba7-0242f725575b
par exemple) dans la colonneimport_hash
permet d'identifier un ensemble d'instructions SQL à exécuter au sein d'une même transaction dans la base de données destination. -
Chaque instruction SQL de mise à jour de la table destination (ex:
UPDATE progfin SET LIBELLE = $$Etablissement API$$, updated_on = now() WHERE CODE = $$971UP002$$ ;
) est suivie d'une autre instruction SQL permettant d'inscrire dans le registre d'import la date d'exécution de la fameuse instruction de mise à jour de la table destination (ex:UPDATE import_reg SET executed_on = now() WHERE import_hash = $$cd384e78-2588-4d99-ad9a-5364adac41fc$$ ;
). -
La colonne
executed_on
accueille la date d'exécution de l'instruction de mise à jour de la table destination ; si cette date est NULL, l'instruction n'a pas été exécutée.