Commit 16d91302 authored by Bertrand Gauthier's avatar Bertrand Gauthier
Browse files

Import: les origines de financement ne sont plus importées car elles sont...

Import: les origines de financement ne sont plus importées car elles sont communes aux 3 établissements Apogée (quid de Physalis?) + Amélioration du code.
parent 75864554
Loading
Loading
Loading
Loading
Loading
+2 −2
Changes for module/Import/src/Import/Controller/ImportController.php: 2 added lines, 2 removed lines.
Original line number Diff line number Diff line
@@ -75,7 +75,7 @@ class ImportController extends AbstractActionController
    }

    /**
     * @param string $codeStructure Code structure de l'tablissement, ex: 'UCN'
     * @param string $codeStructure Code structure de l'établissement, ex: 'UCN'
     * @return Etablissement
     */
    private function fetchEtablissementByCodeStructure($codeStructure)
@@ -85,7 +85,7 @@ class ImportController extends AbstractActionController

        $etablissement = $this->etablissementService->getRepository()->findOneBySourceCode($sourceCode);
        if ($etablissement === null) {
            throw new RuntimeException("Aucun établissement trouvé avec le code structure " . $etablissement);
            throw new RuntimeException("Aucun établissement trouvé avec le code structure " . $sourceCode);
        }

        return $etablissement;
+159 −135
Changes for module/Import/src/Import/Service/DbService.php: 159 added lines, 135 removed lines.
Original line number Diff line number Diff line
@@ -27,7 +27,22 @@ class DbService
    /**
     * @var Etablissement
     */
    protected $etablissement;
    private $etablissement;

    /**
     * @var string
     */
    protected $serviceName;

    /**
     * @var ClassMetadata
     */
    private $entityClassMetadata;

    /**
     * @var string
     */
    private $tableName;

    /**
     * @param Etablissement $etablissement
@@ -40,11 +55,6 @@ class DbService
        return $this;
    }

    /**
     * @var string
     */
    protected $serviceName;

    /**
     * @param string $serviceName
     * @return self
@@ -59,83 +69,56 @@ class DbService
    }

    /**
     * @var ClassMetadata
     */
    private $entityClassMetadata;

    /**
     * @var string
     */
    private $tableName;

    /**
     * Demande au WS d'import un enregistrement particulier d'un service.
     * NB: AUCUN COMMIT N'EST FAIT.
     * Persiste en base de données les données importées spécifiées, concernant le service et l'établissement courants.
     *
     * @param stdClass $jsonEntity
     */
    public function saveEntity(stdClass $jsonEntity)
    {
        $this->saveEntities([$jsonEntity]);
    }

    /**
     * Demande au WS d'import tous les enregistrements d'un service, éventuellement filtrés.
     * NB: AUCUN COMMIT N'EST FAIT.
     *
     * @param stdClass[] $jsonEntities
     */
    public function saveEntities(array $jsonEntities)
    public function save(array $jsonEntities)
    {
        $this->loadEntityClassMetadata();

        $tableColumns = $this->entityClassMetadata->columnNames;

        /** Etablissement de la transaction Oracle */
        $connection = $this->entityManager->getConnection();
        $connection->beginTransaction();
        $statement = null;

        /** Construction des requêtes d'INSERTion **/
        /** Construction des requêtes SQL **/
        $queries = [];
        foreach ($jsonEntities as $jsonEntity) {
            $colonnes = implode(", ", $tableColumns);
            $values = implode(", ", $this->generateValueArray($jsonEntity));
            $query = "INSERT INTO " . $this->tableName . " (" . $colonnes . ") VALUES (" . $values . ")";
            $queries[] = $query;
            $queries[] = $this->generateSQLQueryForSavingData($jsonEntity);
        }

        /** Execution des requetes d'INSERTion par groupes de N */
        /** Execution des requetes SQL par groupes de N */
        $_debut = microtime(true);
        $queriesChunks = array_chunk($queries, self::INSERT_QUERIES_CHUNK_SIZE);
        foreach ($queriesChunks as $queryChunk) {
            $sql = implode(';' . PHP_EOL, $queryChunk) . ';';
            $this->logger->debug(sprintf("Execution de %s requête(s) INSERT.", count($queryChunk)));
            $this->logger->debug(sprintf("Execution de %s requête(s).", count($queryChunk)));
            $sql = $this->wrapSQLQueriesInBeginEnd($queryChunk);
            try {
                $connection->executeQuery('BEGIN' . PHP_EOL . $sql . PHP_EOL . ' END;');
                $connection->executeQuery($sql);
            } catch (DBALException $e) {
                throw new RuntimeException("Erreur lors des requêtes INSERT dans la table '$this->tableName'.'", null, $e);
                throw new RuntimeException("Erreur rencontrée lors des requêtes dans '$this->tableName'.'", null, $e);
            }
        }
        $_fin = microtime(true);

        $this->logger->debug(sprintf("%d requête(s) INSERT effectuée(s) en %s secondes.", count($queries), $_fin - $_debut));
        $this->logger->debug(sprintf("%d requête(s) effectuée(s) en %s secondes.", count($queries), $_fin - $_debut));
    }

    /**
     * Supprime les données de la table utilisée pour le service spécifié.
     * NB: AUCUN COMMIT N'EST FAIT.
     * Supprime certaines données en base satisfaisant les critères spécifiés,
     * concernant le service et l'établissement courants.
     *
     * $filters peut contenir une clé 'id' pour ne supprimer qu'un seul enregistrement.
     * NB: AUCUN COMMIT N'EST FAIT.
     *
     * @param array $filters
     * @param array $filters Peut contenir une clé 'id' pour ne supprimer qu'un seul enregistrement.
     */
    public function deleteExistingData(array $filters = [])
    public function clear(array $filters = [])
    {
        $this->loadEntityClassMetadata();

        // Requête de suppression des données existantes
        $query = $this->generateSQLSnippetForDelete($this->tableName, $filters);
        $query = $this->generateSQLQueryForClearingExistingData($filters);

        $connection = $this->entityManager->getConnection();
        try {
@@ -187,6 +170,7 @@ class DbService

    /**
     * Fonction écrivant dans la table des logs API_LOGS.
     *
     * NB: AUCUN COMMIT N'EST FAIT.
     *
     * @param string        $serviceName
@@ -197,7 +181,11 @@ class DbService
     */
    public function insertLog($serviceName, DateTime $startDate, $duration, $route, $status)
    {
        try {
            $end_date = new DateTime();
        } catch (\Exception $e) {
            throw new RuntimeException("Là, on touche le fond!", null, $e);
        }

        $message = sprintf("Interrogation du service '%s' de l'établissement '%s', en %s seconde(s).",
            $serviceName,
@@ -249,46 +237,92 @@ class DbService
    }

    /**
     * Fonction de mise en forme des données typées pour les requêtes Oracle
     *
     * @param mixed  $value : la value à formater
     * @param string $type  : le type de la donnée à formater
     * @return string la donnée formatée
     * Génère la requête SQL de suppression de tout ou partie des données déjà importées de l'établissement courant.
     *
     * RMQ si un format n'est pas prévu par le traitement la valeur est retournée sans traitement et un message est
     * affiché
     * @param array $filters
     * @return string
     */
    private function prepValue($value, $type)
    private function generateSQLQueryForClearingExistingData(array $filters = [])
    {
        $nvalue = null;
        switch ($type) {
            case "string":
                $nvalue = $this->prepString($value);
                break;
            case "date":
                $nvalue = $this->prepDate($value);
                break;
            default:
                $nvalue = $value;
                break;
        $codeStructureEtablissement = $this->etablissement->getStructure()->getCode();

        $query = sprintf("DELETE FROM %s WHERE ETABLISSEMENT_ID = '%s'", $this->tableName, $codeStructureEtablissement);

        $filters = $this->prepareFiltersForTmpTableUpdate($filters);

        if (count($filters) > 0) {
            $wheres = $filters;
            // NB: préfixage par le code établissement doit être fait en amont
            array_walk($wheres, function (&$v, $k) {
                $v = strtoupper($k) . " = '$v'";
            });
            $wheres = implode(' AND ', $wheres);
            $query .= ' AND ' . $wheres;
        }

        return $nvalue;
        return $query;
    }

    private function prepString($value)
    /**
     * Génère les requêtes SQL de persistence d'une donnée importée de l'établissement courant.
     *
     * @param stdClass $jsonEntity
     * @return string[]
     */
    private function generateSQLQueryForSavingData(stdClass $jsonEntity)
    {
        return ("'" . str_replace("'", "''", $value) . "'");
        $tableColumns = $this->entityClassMetadata->columnNames;
        $forceCodeEtablissement = null;

        return sprintf("INSERT INTO %s (%s) VALUES (%s)",
            $this->tableName,
            implode(", ", $tableColumns),
            implode(", ", $this->generateValueArray($jsonEntity))
        );
    }

    private function prepDate($value)
    /**
     * @param array $queries
     * @return string
     */
    private function wrapSQLQueriesInBeginEnd(array $queries)
    {
        if ($value === null) {
            return "null";
        $indent = '  ';

        $sql = $indent . implode(';' . PHP_EOL . $indent, $queries) . ';';

        return implode(PHP_EOL, ['BEGIN', $sql, 'END;']);
    }
        $date = explode(' ', $value->{'date'})[0];

        return "to_date('" . $date . "','YYYY-MM-DD')";
    /**
     * @param array $filters
     * @return array
     */
    private function prepareFiltersForTmpTableUpdate(array $filters)
    {
        if (empty($filters)) {
            return $filters;
        }

        $filtersToMerge = [];

        foreach ($filters as $name => $value) {
            switch ($name) {
                case 'these_id':
                    // on remplace l'id par le source code car les WS ne traitent que des sources codes.
                    /** @var These $these */
                    $these = $this->entityManager->getRepository(These::class)->find($value);
                    if ($these === null) {
                        throw new RuntimeException("Aucune thèse trouvée avec cet id: $value");
                    }
                    $filtersToMerge['these_id'] = $these->getSourceCode();
                    break;
                default:
                    break;
            }
        }

        return array_merge($filters, $filtersToMerge);
    }

    /**
@@ -299,23 +333,20 @@ class DbService
     */
    private function generateValueArray(stdClass $jsonEntity)
    {
        $codeEtablissement = $this->etablissement->getStructure()->getCode();
        $f = new EtablissementPrefixFilter();
        $valuesArray = [];

        foreach ($this->entityClassMetadata->columnNames as $propriete => $colonne) {
            $type = $this->entityClassMetadata->fieldMappings[$propriete]["type"];
        foreach ($this->entityClassMetadata->columnNames as $property => $colonne) {
            $prefix = null;
            $value = null;
            switch ($propriete) {
                case "etablissementId": // UCN, URN, ULHN, INSA, rien d'autre
                    $value = $this->etablissement->getStructure()->getCode();
            switch ($property) {
                case "etablissementId": // UCN, URN, ULHN ou INSA, sans préfixage
                    $value = $codeEtablissement;
                    break;
//                case "acteurEtablissementId":
//                    if (isset($entity_json->{$propriete})) {
//                        $value = $f->addPrefixEtablissementTo($entity_json->{$propriete}, $this->etablissement);
//                    }
//                    break;
                case "sourceCode":
                    $value = $f->addPrefixEtablissementTo($jsonEntity->id, $this->etablissement);
                    $prefix = $codeEtablissement;
                    $value = $jsonEntity->id;
                    break;
                case "sourceId":
                case "individuId":
@@ -326,79 +357,72 @@ class DbService
                case "ecoleDoctId":
                case "uniteRechId":
                case "acteurEtablissementId":
                    $prefix = $codeEtablissement;
                    $value = isset($jsonEntity->{$property}) ? $jsonEntity->{$property} : null;
                    break;
                case "origineFinancementId":
                    if (isset($jsonEntity->{$propriete})) {
                        $value = $f->addPrefixEtablissementTo($jsonEntity->{$propriete}, $this->etablissement);
                    }
                    $prefix = Etablissement::CODE_STRUCTURE_COMUE; // particularité!
                    $value = isset($jsonEntity->{$property}) ? $jsonEntity->{$property} : null;
                    break;
                default:
                    if (isset($jsonEntity->{$propriete})) {
                        $value = $jsonEntity->{$propriete};
                    }
                    $value = isset($jsonEntity->{$property}) ? $jsonEntity->{$property} : null;
                    break;
            }

            $valuesArray[] = $this->prepValue($value, $type);
            // préfixage éventuel
            if ($value !== null && $prefix !== null) {
                $value = $f->addPrefixTo($value, $prefix);
            }

            $valuesArray[] = $this->prepValueForProperty($value, $property);
        }

        return $valuesArray;
    }

    /**
     * Génère le code SQL de la requête de suppression des données existantes.
     * Fonction de mise en forme d'une valeur selon les metatadata de la propriété spécifiée.
     *
     * @param string $tableName
     * @param array  $filters
     * @return string
     * @param mixed  $value    La valeur à formater
     * @param string $property La propriété concernée
     * @return string La donnée formatée
     *
     * RMQ si un format n'est pas prévu par le traitement la valeur est retournée sans traitement et un message est
     * affiché
     */
    private function generateSQLSnippetForDelete($tableName, array $filters = [])
    private function prepValueForProperty($value, $property)
    {
        $filters = $this->prepareFiltersForTmpTableUpdate($filters);

        $query = "DELETE FROM " . $tableName . " WHERE ETABLISSEMENT_ID='" . $this->etablissement->getStructure()->getCode() . "'";
        $type = $this->entityClassMetadata->fieldMappings[$property]["type"];

        if (count($filters) > 0) {
            $wheres = $filters;
            // NB: préfixage par le code établissement doit être fait en amont
            array_walk($wheres, function (&$v, $k) {
                $v = strtoupper($k) . " = '$v'";
            });
            $wheres = implode(' AND ', $wheres);
            $query .= ' AND ' . $wheres;
        $nvalue = null;
        switch ($type) {
            case "string":
                $nvalue = $this->prepString($value);
                break;
            case "date":
                $nvalue = $this->prepDate($value);
                break;
            default:
                $nvalue = $value;
                break;
        }

        return $query;
        return $nvalue;
    }

    /**
     * @param array $filters
     * @return array
     */
    private function prepareFiltersForTmpTableUpdate(array $filters)
    private function prepString($value)
    {
        if (empty($filters)) {
            return $filters;
        return "'" . str_replace("'", "''", $value) . "'";
    }

        $filtersToMerge = [];

        foreach ($filters as $name => $value) {
            switch ($name) {
                case 'these_id':
                    // on remplace l'id par le source code car les WS ne traitent que des sources codes.
                    /** @var These $these */
                    $these = $this->entityManager->getRepository(These::class)->find($value);
                    if ($these === null) {
                        throw new RuntimeException("Aucune thèse trouvée avec cet id: $value");
                    }
                    $filtersToMerge['these_id'] = $these->getSourceCode();
                    break;
                default:
                    break;
            }
    private function prepDate($value)
    {
        if ($value === null) {
            return "null";
        }
        $date = explode(' ', $value->{'date'})[0];

        return array_merge($filters, $filtersToMerge);
        return "to_date('" . $date . "','YYYY-MM-DD')";
    }

    /**
+12 −4
Changes for module/Import/src/Import/Service/FetcherService.php: 12 added lines, 4 removed lines.
Original line number Diff line number Diff line
@@ -110,7 +110,11 @@ class FetcherService
        $this->logger->info(sprintf("Import: service %s[%s]", $serviceName, $sourceCode));

        $debut = microtime(true);
        try {
            $startDate = new DateTime();
        } catch (\Exception $e) {
            throw new RuntimeException("On touche le fond, là!", null, $e);
        }

        $this->logger->info(sprintf("Interrogations du WS '%s'...", $serviceName));

@@ -124,8 +128,8 @@ class FetcherService
        $_deb = microtime(true);
        $this->dbService->setServiceName($serviceName);
        $this->dbService->setEtablissement($this->etablissement);
        $this->dbService->deleteExistingData(['id' => $sourceCode]);
        $this->dbService->saveEntity($jsonEntity, $sourceCode);
        $this->dbService->clear(['id' => $sourceCode]);
        $this->dbService->save([$jsonEntity]);
        $this->dbService->commit();
        $_fin = microtime(true);
        $this->logger->info(sprintf("Enregistrement en base de données en %.2f secondes.", $_fin - $_deb));
@@ -144,7 +148,11 @@ class FetcherService
    {
        $this->logger->info(sprintf("Import: service '%s'", $serviceName));

        try {
            $startDate = new DateTime();
        } catch (\Exception $e) {
            throw new RuntimeException("On touche le fond, là!", null, $e);
        }
        $debut = microtime(true);

        $this->logger->info(sprintf("Interrogations du WS '%s'...", $serviceName));
@@ -175,8 +183,8 @@ class FetcherService
        $_deb = microtime(true);
        $this->dbService->setServiceName($serviceName);
        $this->dbService->setEtablissement($this->etablissement);
        $this->dbService->deleteExistingData($filters);
        $this->dbService->saveEntities($jsonEntities);
        $this->dbService->clear($filters);
        $this->dbService->save($jsonEntities);
        $this->dbService->commit();
        $_fin = microtime(true);
        $this->logger->info(sprintf("Enregistrement des %d entités en %.2f secondes.", count($jsonEntities), $_fin - $_deb));
+5 −1
Changes for module/Import/src/Import/Service/ImportService.php: 5 added lines, 1 removed line.
Original line number Diff line number Diff line
@@ -51,7 +51,7 @@ class ImportService
        'role',
        'acteur',
        'variable',
        'origine-financement',
        // NB: 'origine-financement' n'est plus importé.
        'financement',
        'titre-acces',
    ];
@@ -261,7 +261,11 @@ class ImportService

        // On met à jour le HISTO_MODIFICATION de la thèse pour mémoriser la date de l'import forcé qu'on vient de faire.
        // Pas super parce que normalement HISTO_MODIFICATION n'est modifiée que si l'import a mis à jour la thèse).
        try {
            $these->setHistoModification(new \DateTime());
        } catch (\Exception $e) {
            throw new RuntimeException("C'est le bouquet!");
        }
        try {
            $this->getEntityManager()->flush($these);
        } catch (OptimisticLockException $e) {