Commit 8629fe9f authored by Laurent Lecluse's avatar Laurent Lecluse
Browse files

Merge branch 'master' of https://git.unicaen.fr/open-source/OSE into ll-pb-import

parents f3f9dc11 3b088d90
Loading
Loading
Loading
Loading
+6 −6
Changes for doc/Connecteurs Import/Octopus/Connecteur.md: 6 added lines, 6 removed lines.
Original line number Diff line number Diff line
@@ -14,7 +14,7 @@ Le lien avec Octopus se fait au moyen d'un DbLink que vous devrez créer. Dans c

## Déclaration du connecteur dans OSE

OSE doit lister toutes ses sources de données. Il faut donc y ajouter Harpège :
OSE doit lister toutes ses sources de données. Il faut donc y ajouter Octopus :

```sql
BEGIN
@@ -32,7 +32,7 @@ La liste des sources de OSE est accessible ici (URL pointant vers l'instance de
Les pays sont enregistrés dans la table PAYS.

Si vous venez d'installer OSE, alors l'application est livrée avec un jeu de données par défaut, parmi lesquelles une liste
des pays. Avant d'utiliser votre propre liste issue d'Harpège, vous devez impérativement vider la table PAYS, sans quoi vous
des pays. Avant d'utiliser votre propre liste issue d'Octopus, vous devez impérativement vider la table PAYS, sans quoi vous
vous retrouveriez avec des erreurs d'import pour cause de doublons.

```sql
@@ -49,7 +49,7 @@ Ensuite, créez la vue source [SRC_PAYS](SRC_PAYS.sql).
Les départements sont enregistrés dans la table DEPARTEMENT.

Comme pour les pays, si vous venez d'installer OSE, alors l'application est livrée avec un jeu de données par défaut, parmi
lesquelles une liste des départements. Avant d'utiliser votre propre liste issue d'Harpège, vous devez impérativement vider la
lesquelles une liste des départements. Avant d'utiliser votre propre liste issue d'Octopus, vous devez impérativement vider la
table DEPARTEMENT, sans quoi vous vous retrouveriez avec des erreurs d'import pour cause de doublons.

```sql
@@ -68,7 +68,7 @@ Les structures portent entres autres l'offre de formation, les intervenants mais

Créez la vue source [SRC_STRUCTURE](SRC_STRUCTURE.sql).

Dans cette vue, on importe les structures Harpège de niveau 2 et la structure Université (UNIV) de niveau 1.
Dans cette vue, on importe les structures Octopus de niveau 2 et la structure Université (UNIV) de niveau 1.

[Activez-là, puis tentez une synchronisation](../activer-synchroniser.md).

@@ -80,7 +80,7 @@ Les corps sont enregistrés dans la table CORPS, les grades dnas la table GRADE.

Comme pour les pays, si vous venez d'installer OSE, alors l'application est livrée avec un jeu de données par défaut, parmi
lesquelles une liste des corps et une autre des grades. Avant d'utiliser vos propres listes de corps et de grades issues d'
Harpège, vous devez impérativement vider les table GRADE et CORPS, sans quoi vous vous retrouveriez avec des erreurs d'import
Octopus, vous devez impérativement vider les table GRADE et CORPS, sans quoi vous vous retrouveriez avec des erreurs d'import
pour cause de doublons.

```sql
@@ -105,7 +105,7 @@ L'ensemble de la population active dans Octopus (ou plus exactement les individu
400 jours après leur date de fin d'activité)
se retrouve dans ce connecteur.

Voici la vue matérialisée qui remonte les données d'Harpège :
Voici la vue matérialisée qui remonte les données d'Octopus :

[MV_INTERVENANT](MV_INTERVENANT.sql)

+67 −93
Changes for doc/Connecteurs Import/Octopus/MV_OCTO_INTERVENANT.sql: 67 added lines, 93 removed lines.
Original line number Diff line number Diff line
@@ -3,171 +3,145 @@ MATERIALIZED VIEW MV_INTERVENANT_OCTO AS
    WITH i AS (
        SELECT DISTINCT code,
                        z_statut_id,
                    --On prend la structure d'affectation principale sinon la première structure saisie
                    FIRST_VALUE(structure_code) OVER (PARTITION BY code, z_statut_id ORDER BY affectation_principale DESC, id_affectation ASC)            structure_code,
                        MIN(source_code)    OVER (partition by code, z_statut_id)            source_code,
                        MIN(validite_debut) OVER (partition by code, z_statut_id)            validite_debut,
                        MAX(validite_fin)   OVER (partition by code, z_statut_id)            validite_fin
    FROM (SELECT aff.id                                                                   id_affectation,
    			 --Le code de l'intervenant est maintenant le id unique octopus
                 uni.c_individu_chaine                                                    code,
                 s.code                                                                   structure_code,
        FROM (
                --Step 1 : On prend tous les contrats des individus et statut OSE
                 SELECT icto.individu_id                                                         code,
                        CASE WHEN icto.code_ose IS NOT NULL THEN icto.code_ose ELSE 'AUTRES' END z_statut_id,
                 COALESCE(aff.date_debut, to_date('01/01/1900', 'dd/mm/YYYY'))            validite_debut,
                 COALESCE(aff.date_fin, to_date('01/01/1900', 'dd/mm/YYYY'))              validite_fin,
                 --Le source code n'est plus utilisé par SRC_INTERVENANT on met donc la même valeur que code
                 uni.c_individu_chaine || '-a'                                            source_code,
                 aff.t_principale                                                         affectation_principale
          FROM octo.individu_affectation@octoprod aff
                   JOIN octo.individu_affectation_type@octoprod aft ON (aff.type_id = aft.id)
                   JOIN octo.individu_unique@octoprod uni
                        ON (aff.individu_id = uni.c_individu_chaine AND uni.c_source IN ('HARP'))
                   LEFT JOIN octo.v_individu_contrat_type_ose@octoprod icto
                             ON icto.individu_id = uni.c_individu_chaine AND COALESCE(icto.d_fin, SYSDATE) >= SYSDATE
                   LEFT JOIN octo.STRUCTURE@octoprod s ON s.id = aff.structure_id
          WHERE aff.date_debut - 184 <= SYSDATE
            AND aft.nom = 'AFFECTATION'
            --Uniquement si on veut que les affectations principales
            --AND aff.t_principale = 'O'

          UNION ALL
          --AFFECTATION ENSEIGNEMENT
          SELECT aff.id                                                                   id_affectation,
                 uni.c_individu_chaine                                                    code,
                 s.code                                                                   structure_code,
                 CASE WHEN icto.code_ose IS NOT NULL THEN icto.code_ose ELSE 'AUTRES' END z_statut_id,
                 COALESCE(aff.date_debut, to_date('01/01/1900', 'dd/mm/YYYY'))            validite_debut,
                 COALESCE(aff.date_fin, to_date('01/01/1900', 'dd/mm/YYYY'))              validite_fin,
                 --Le source code n'est plus utilisé par SRC_INTERVENANT on met donc la même valeur que code
                 uni.c_individu_chaine || '-c'                                            source_code,
                 aff.t_principale                                                         affectation_principale
          FROM octo.individu_affectation@octoprod aff
                   JOIN octo.individu_affectation_type@octoprod aft ON (aff.type_id = aft.id)
                   JOIN octo.individu_unique@octoprod uni
                        ON (aff.individu_id = uni.c_individu_chaine AND uni.c_source IN ('HARP'))
                   LEFT JOIN octo.v_individu_contrat_type_ose@octoprod icto
                             ON icto.individu_id = uni.c_individu_chaine AND COALESCE(icto.d_fin, SYSDATE) >= SYSDATE
                   LEFT JOIN octo.STRUCTURE@octoprod s ON s.id = aff.structure_id
          WHERE aff.date_debut - 184 <= SYSDATE
            AND aft.nom = 'ENSEIGNEMENT'
            --Uniquement si on veut que les affectations principales
            -- AND aff.t_principale = 'O'
                        icto.id_orig                                                             source_code,
                        COALESCE(icto.d_debut, to_date('01/01/1900', 'dd/mm/YYYY'))              validite_debut,
                        COALESCE(icto.d_fin, to_date('01/01/9999', 'dd/mm/YYYY'))                validite_fin
                 FROM octo.v_individu_contrat_type_ose@octoprod icto
                          JOIN octo.individu_unique@octoprod uni ON (icto.individu_id = uni.c_individu_chaine AND uni.c_source IN ('HARP'))
                 WHERE icto.d_debut - 184 <= SYSDATE

                 UNION ALL
          --AFFECTATION RECHERCHE
          SELECT aff.id                                                                   id_affectation,
                 uni.c_individu_chaine                                                    code,
                 s.code                                                                   structure_code,
                 CASE WHEN icto.code_ose IS NOT NULL THEN icto.code_ose ELSE 'AUTRES' END z_statut_id,
                 --Step 2 : On ajoute les affectations type recherche qui n'ont pas de contrat
                 SELECT uni.c_individu_chaine                                         code,
                        'AUTRES'                                                      z_statut_id,
                        uni.c_individu_chaine || '-recherche'                         source_code,
                        COALESCE(aff.date_debut, to_date('01/01/1900', 'dd/mm/YYYY')) validite_debut,
                 COALESCE(aff.date_fin, to_date('01/01/1900', 'dd/mm/YYYY'))              validite_fin,
                 --Le source code n'est plus utilisé par SRC_INTERVENANT on met donc la même valeur que code
                 uni.c_individu_chaine || '-r'                                            source_code,
                 aff.t_principale                                                         affectation_principale
                        COALESCE(aff.date_fin, to_date('01/01/9999', 'dd/mm/YYYY'))   validite_fin
                 FROM octo.individu_affectation@octoprod aff
                          JOIN octo.individu_affectation_type@octoprod aft ON (aff.type_id = aft.id)
                          JOIN octo.individu_unique@octoprod uni
                               ON (aff.individu_id = uni.c_individu_chaine AND uni.c_source IN ('HARP'))
                   LEFT JOIN octo.v_individu_contrat_type_ose@octoprod icto
                             ON icto.individu_id = uni.c_individu_chaine AND COALESCE(icto.d_fin, SYSDATE) >= SYSDATE
                   LEFT JOIN octo.STRUCTURE@octoprod s ON s.id = aff.structure_id
                          LEFT JOIN octo.structure@octoprod s ON s.id = aff.structure_id
                 WHERE aff.date_debut - 184 <= SYSDATE
                   AND aft.nom = 'RECHERCHE'
             --Uniquement si on veut que les affectations principales
             --AND aff.t_principale = 'O'
             ) t
    ),
         --Trouver le tel pro principal de l'intervenant
         telephone_pro_principal AS (
             SELECT indtel.individu_id individu_id,
                    tel.numero         numero
             FROM octo.individu_telephone@octoprod indtel
                      JOIN octo.telephone@octoprod tel ON (tel.id = indtel.telephone_id AND tel.t_principal = 'O')
         ),
         --Trouver la structure d'affectation principale de l'intervenant
         structure_principale_individu AS (
             SELECT DISTINCT
                uni.c_individu_chaine,
                FIRST_VALUE(aff.structure_id) OVER (PARTITION BY uni.c_individu_chaine ORDER BY aff.date_fin DESC)  z_structure_id
                FROM octo.individu_affectation@octoprod aff
                JOIN octo.individu_unique@octoprod uni ON uni.c_individu_chaine = aff.individu_id
                WHERE aff.t_principale = 'O'
                AND aff.date_fin + 1 >= (SYSDATE - (365 * 2))
         )
SELECT
SELECT DISTINCT
    /*Octopus id, id unique pour un individu immuable dans le temps, remplace le code harpege*/
    i.code                                                                                               code,
    /* Code RH */
    ltrim(TO_CHAR(induni.c_src_individu, '99999999'))                                                    code_rh,
    i.source_code                                                                                        source_code,
    /* = supannempid du LDAP Unicaen */
    indc.ldap_uid                                                                                        utilisateur_code,

    str2.code                                                                                            z_structure_code_n2,
    i.structure_code                                                                                     z_structure_code,
    str.code                                                                                             z_structure_code,
    CASE WHEN str2.code <> str.code THEN str2.code ELSE NULL END                                         z_structure_code_n2,
    i.z_statut_id                                                                                        z_statut_id,
    indg.grade_id                                                                                        z_grade_id,
    grade.c_grade                                                                                        z_grade_id,
    /* Données nécessaires pour calculer la discipline */
    indg.cnu_id                                                                                          z_discipline_id_cnu,
    NULL                                                                                                 z_discipline_id_sous_cnu,
    indg.cnu_specialite_id                                                                               z_discipline_id_spe_cnu,
    indg.discipline_sec_id                                                                               z_discipline_id_dis2deg,
    cnu.c_cnu                                                                                            z_discipline_id_cnu,
    CAST(NULL AS varchar2(255))                                                                          z_discipline_id_sous_cnu,
    cnus.c_cnu_specialite                                                                                z_discipline_id_spe_cnu,
    dissec.c_discipline                                                                                  z_discipline_id_dis2deg,
    /* Données identifiantes de base */
    CASE ind.sexe WHEN 'M' THEN 'M.' ELSE 'Mme' END                                                      z_civilite_id,
    initcap(ind.nom_usage)                                                                               nom_usuel,
    initcap(ind.prenom)                                                                                  prenom,
    ind.d_naissance                                                                                      date_naissance,


    /* Données identifiantes complémentaires */
    initcap(ind.nom_famille)                                                                             nom_patronymique,
    ind.ville_de_naissance                                                                               commune_naissance,
    ind.c_pays_naissance                                                                                 z_pays_naissance_id,
    ind.c_dept_naissance                                                                                 z_departement_naissance_id,
    ind.c_pays_nationalite                                                                               z_pays_nationalite_id,

    telpro.numero                                                                                        tel_pro,
    ind.tel_perso                                                                                        tel_perso,
    indc.email                                                                                           email_pro,
    ind.email_perso                                                                                      email_perso,
    /* Adresse */
    trim(adr.adresse1 || ' ' || adr.adresse2 || ' ' || adresse3)                                         adresse_precisions,
    NULL                                                                                                 adresse_numero,
    NULL                                                                                                 z_adresse_numero_compl_id,
    NULL                                                                                                 z_adresse_voirie_id,
    NULL                                                                                                 adresse_voie,
    NULL                                                                                                 adresse_lieu_dit,
    CAST(NULL AS varchar2(255))                                                                          adresse_numero,
    CAST(NULL AS varchar2(255))                                                                          z_adresse_numero_compl_id,
    CAST(NULL AS varchar2(255))                                                                          z_adresse_voirie_id,
    CAST(NULL AS varchar2(255))                                                                          adresse_voie,
    CAST(NULL AS varchar2(255))                                                                          adresse_lieu_dit,
    adr.code_postal                                                                                      adresse_code_postal,
    adr.ville_nom                                                                                        adresse_commune,
    adr.pays_id                                                                                          z_adresse_pays_id,
    /* INSEE */
    NULL                                                                                                 numero_insee,
    NULL                                                                                                 numero_insee_provisoire,

    CAST(NULL AS varchar2(255))                                                                          numero_insee,
    CAST(NULL AS varchar2(255))                                                                          numero_insee_provisoire,
    /* Banque */
    NULL                                                                                                 iban,
    NULL                                                                                                 bic,
    NULL                                                                                                 rib_hors_sepa,

    CAST(NULL AS varchar2(255))                                                                          iban,
    CAST(NULL AS varchar2(255))                                                                          bic,
    CAST(NULL AS varchar2(255))                                                                          rib_hors_sepa,
    /* Données complémentaires */
    CAST(NULL AS varchar2(255))                                                                          autre_1,
    CAST(NULL AS varchar2(255))                                                                          autre_2,
    CAST(NULL AS varchar2(255))                                                                          autre_3,
    CAST(NULL AS varchar2(255))                                                                          autre_4,
    CAST(NULL AS varchar2(255))                                                                          autre_5,

    /* Employeur */
    CAST(NULL AS varchar2(255))                                                                          z_employeur_id,
    CASE WHEN i.validite_debut = to_date('01/01/1900', 'dd/mm/YYYY') THEN NULL ELSE i.validite_debut END validite_debut,
    CASE WHEN i.validite_fin = to_date('01/01/9999', 'dd/mm/YYYY') THEN NULL ELSE i.validite_fin END     validite_fin

FROM i
         JOIN octo.individu_unique@octoprod induni ON (i.code = induni.c_individu_chaine AND induni.c_source IN ('HARP'))
         LEFT JOIN octo.individu@octoprod ind ON ind.c_individu_chaine = induni.c_individu_chaine
    --On récupére la structure principale de l'individu
         LEFT JOIN structure_principale_individu spi ON spi.c_individu_chaine = induni.c_individu_chaine
    --On récupére le grade de l'individu
         LEFT JOIN octo.individu_grade@octoprod indg ON induni.c_individu_chaine = indg.individu_id
    AND COALESCE(indg.d_fin, to_date('01/01/9999', 'dd/mm/YYYY')) > SYSDATE
    AND COALESCE(indg.d_debut, to_date('01/01/1900', 'dd/mm/YYYY')) < SYSDATE
         LEFT JOIN octo.cnu@octoprod cnu ON indg.cnu_id = cnu.id
         LEFT JOIN octo.cnu_specialite@octoprod cnus ON indg.cnu_specialite_id = cnus.id
         LEFT JOIN octo.discipline_sec@octoprod dissec ON indg.discipline_sec_id = dissec.id
         LEFT JOIN octo.grade@octoprod grade ON indg.grade_id = grade.id
    --On récupére l'adresse principale de l'individu
         LEFT JOIN octo.v_individu_adresse_perso@octoprod adr
                   ON adr.individu_id = induni.c_individu_chaine AND t_principale = 'O'
                   ON adr.individu_id = induni.c_individu_chaine
                       AND (t_principale = 'O' AND adr.source_id IN ('HARP', 'SIHAM'))
    --On récupére le téléphone pro principal de l'indivdu
         LEFT JOIN telephone_pro_principal telpro ON telpro.individu_id = induni.c_individu_chaine
    -- On ne prend que les comptes qui ne sont pas étudiants
         LEFT JOIN octo.individu_compte@octoprod indc
                   ON indc.individu_id = induni.c_individu_chaine AND not regexp_like(ldap_uid, 'e[0-9]{8}')
         LEFT JOIN v_structure@octoprod str ON str.code = i.structure_code
    --On récupére le code de la structure d'affectation principal de l'individu
         LEFT JOIN v_structure@octoprod str ON str.id = spi.z_structure_id
         LEFT JOIN v_structure@octoprod str2 ON str.niv2_id = str2.id
WHERE i.validite_fin + 1 >= (SYSDATE - (365 * 2))
--AND ind.nom_usage LIKE 'HEARD%'
--AND i.structure_code = '13A'
--AND induni.c_individu_chaine = 1239
--Filtre octopus id
--AND induni.c_src_individu = 52958 --Filtre code rh (harpége)
--AND induni.c_individu_chaine = 20359-- Filtre avec code octopus
--AND induni.c_src_individu = 1253-- Filtre avec code harpege








+5 −4
Changes for doc/Connecteurs Import/Octopus/SRC_OCTO_STRUCTURE.sql: 5 added lines, 4 removed lines.
Original line number Diff line number Diff line
@@ -3,15 +3,15 @@ OR REPLACE VIEW SRC_OCTO_STRUCTURE AS
SELECT s.code                                                        code,
       s.libelle_court                                               libelle_court,
       s.libelle_long                                                libelle_long,
       null            adresse_precisions,
       trim(sa.adresse1 || ' ' || sa.adresse2 || ' ' || sa.adresse3) adresse_precisions,
       null                                                          adresse_numero,
       null                                                          adresse_numero_compl_id,
       null                                                          adresse_voirie_id,
       null                                                          adresse_voie,
       null                                                          adresse_lieu_dit,
       null            adresse_code_postal,
       null            adresse_commune,
       null            z_adresse_pays_id,
       sa.code_postal                                                adresse_code_postal,
       sa.ville_nom                                                  adresse_commune,
       sa.pays_id                                                    z_adresse_pays_id,
       src.id                                                        source_id,
       s.code                                                        source_code
FROM structure@octodev s
@@ -19,5 +19,6 @@ FROM structure@octodev s
              ON s.id = sp.structure_id AND sp.parent_id = (SELECT id FROM structure@octodev WHERE code = 'UNIV')
         JOIN source src
              ON src.code = 'Octopus'
         LEFT JOIN octo.structure_adresse@octoprod sa ON sa.structure_id = s.id
WHERE SYSDATE BETWEEN s.date_ouverture AND COALESCE(s.date_fermeture, SYSDATE + 1)