Commit 989797ab authored by Bertrand Gauthier's avatar Bertrand Gauthier
Browse files

Merge branch 'refact-db-service'

parents 147966c3 4590606a
Loading
Loading
Loading
Loading
+0 −1
Changes for module/Application/src/Application/Entity/Db/Etablissement.php: 0 added lines, 1 removed line.
Original line number Diff line number Diff line
@@ -99,7 +99,6 @@ class Etablissement implements StructureConcreteInterface, HistoriqueAwareInterf

    /**
     * @return string
     * @deprecated mais encore nécessaire à cause de StructureConcreteInterface
     * @see StructureConcreteInterface
     */
    public function getCode()
+104 −177
Changes for module/Import/src/Import/Service/DbService.php: 104 added lines, 177 removed lines.
Original line number Diff line number Diff line
@@ -44,6 +44,30 @@ class DbService
     */
    private $tableName;

    /**
     * @var SQLGenerator
     */
    private $sqlGenerator;

    /**
     * @var DbServiceJSONHelper
     */
    private $jsonHelper;

    /**
     * @var int
     */
    private $insertQueriesChunkSize = self::INSERT_QUERIES_CHUNK_SIZE;

    /**
     * DbService constructor.
     */
    public function __construct()
    {
        $this->setSqlGenerator(new DbServiceSQLGenerator());
        $this->setJsonHelper(new DbServiceJSONHelper());
    }

    /**
     * @param Etablissement $etablissement
     * @return self
@@ -52,6 +76,8 @@ class DbService
    {
        $this->etablissement = $etablissement;

        $this->jsonHelper->setEtablissement($etablissement);

        return $this;
    }

@@ -68,6 +94,64 @@ class DbService
        return $this;
    }

    /**
     * @param DbServiceJSONHelper $jsonHelper
     * @return DbService
     */
    public function setJsonHelper(DbServiceJSONHelper $jsonHelper): DbService
    {
        $this->jsonHelper = $jsonHelper;

        return $this;
    }

    /**
     * @param DbServiceSQLGenerator $sqlGenerator
     * @return DbService
     */
    public function setSqlGenerator(DbServiceSQLGenerator $sqlGenerator): DbService
    {
        $this->sqlGenerator = $sqlGenerator;

        return $this;
    }

    /**
     * @param int $insertQueriesChunkSize
     * @return DbService
     */
    public function setInsertQueriesChunkSize(int $insertQueriesChunkSize) : DbService
    {
        $this->insertQueriesChunkSize = $insertQueriesChunkSize;

        return $this;
    }

    /**
     * Supprime certaines données en base satisfaisant les critères spécifiés,
     * concernant le service et l'établissement courants.
     *
     * NB: AUCUN COMMIT N'EST FAIT.
     *
     * @param array $filters Peut contenir une clé 'id' pour ne supprimer qu'un seul enregistrement.
     */
    public function clear(array $filters = [])
    {
        $this->loadEntityClassMetadata();

        $filters = $this->prepareFiltersForTableUpdate($filters);
        $filters['etablissement_id'] = $this->etablissement->getCode();

        $query = $this->sqlGenerator->generateSQLQueryForClearingExistingData($this->tableName, $filters);

        $connection = $this->entityManager->getConnection();
        try {
            $connection->executeQuery($query);
        } catch (DBALException $e) {
            throw new RuntimeException("Erreur lors de la suppression dans la table $this->tableName", null, $e);
        }
    }

    /**
     * Persiste en base de données les données importées spécifiées, concernant le service et l'établissement courants.
     *
@@ -79,6 +163,8 @@ class DbService
    {
        $this->loadEntityClassMetadata();

        $tableColumns = $this->entityClassMetadata->columnNames;

        /** Etablissement de la transaction Oracle */
        $connection = $this->entityManager->getConnection();
        $connection->beginTransaction();
@@ -86,15 +172,16 @@ class DbService
        /** Construction des requêtes SQL **/
        $queries = [];
        foreach ($jsonEntities as $jsonEntity) {
            $queries[] = $this->generateSQLQueryForSavingData($jsonEntity);
            $columnsValues = $this->generateValueArray($jsonEntity);
            $queries[] = $this->sqlGenerator->generateSQLQueryForSavingData($this->tableName, $tableColumns, $columnsValues);
        }

        /** Execution des requetes SQL par groupes de N */
        $_debut = microtime(true);
        $queriesChunks = array_chunk($queries, self::INSERT_QUERIES_CHUNK_SIZE);
        $queriesChunks = array_chunk($queries, $this->insertQueriesChunkSize);
        foreach ($queriesChunks as $queryChunk) {
            $this->logger->debug(sprintf("Execution de %s requête(s).", count($queryChunk)));
            $sql = $this->wrapSQLQueriesInBeginEnd($queryChunk);
            $sql = $this->sqlGenerator->wrapSQLQueriesInBeginEnd($queryChunk);
            try {
                $connection->executeQuery($sql);
            } catch (DBALException $e) {
@@ -106,28 +193,6 @@ class DbService
        $this->logger->debug(sprintf("%d requête(s) effectuée(s) en %s secondes.", count($queries), $_fin - $_debut));
    }

    /**
     * Supprime certaines données en base satisfaisant les critères spécifiés,
     * concernant le service et l'établissement courants.
     *
     * NB: AUCUN COMMIT N'EST FAIT.
     *
     * @param array $filters Peut contenir une clé 'id' pour ne supprimer qu'un seul enregistrement.
     */
    public function clear(array $filters = [])
    {
        $this->loadEntityClassMetadata();

        $query = $this->generateSQLQueryForClearingExistingData($filters);

        $connection = $this->entityManager->getConnection();
        try {
            $connection->executeQuery($query);
        } catch (DBALException $e) {
            throw new RuntimeException("Erreur lors de la suppression dans la table $this->tableName", null, $e);
        }
    }

    /**
     * Fait un commit en bdd.
     */
@@ -165,7 +230,9 @@ class DbService
        $this->entityClassMetadata = $this->entityManager->getClassMetadata($entityClass);
        $this->tableName = $this->entityClassMetadata->table['name'];

        $this->logMetadata($this->serviceName);
        $this->sqlGenerator->setDatabasePlatform($this->entityManager->getConnection()->getDatabasePlatform());

        $this->logMetadata();
    }

    /**
@@ -189,7 +256,7 @@ class DbService

        $message = sprintf("Interrogation du service '%s' de l'établissement '%s', en %s seconde(s).",
            $serviceName,
            $this->etablissement->getStructure()->getCode(),
            $this->etablissement->getCode(),
            $duration
        );

@@ -210,7 +277,7 @@ class DbService
        try {
            $connection->executeQuery($sql, [
                'message' => $message,
                'etab' => $this->etablissement->getStructure()->getCode(),
                'etab' => $this->etablissement->getCode(),
                'status' => $status,
                'route' => $route,
                'service' => $serviceName,
@@ -236,69 +303,11 @@ class DbService
        return $entityClass;
    }

    /**
     * Génère la requête SQL de suppression de tout ou partie des données déjà importées de l'établissement courant.
     *
     * @param array $filters
     * @return string
     */
    private function generateSQLQueryForClearingExistingData(array $filters = [])
    {
        $codeStructureEtablissement = $this->etablissement->getStructure()->getCode();

        $query = sprintf("DELETE FROM %s WHERE ETABLISSEMENT_ID = '%s'", $this->tableName, $codeStructureEtablissement);

        $filters = $this->prepareFiltersForTmpTableUpdate($filters);

        if (count($filters) > 0) {
            $wheres = $filters;
            // NB: préfixage par le code établissement doit être fait en amont
            array_walk($wheres, function (&$v, $k) {
                $v = strtoupper($k) . " = '$v'";
            });
            $wheres = implode(' AND ', $wheres);
            $query .= ' AND ' . $wheres;
        }

        return $query;
    }

    /**
     * Génère les requêtes SQL de persistence d'une donnée importée de l'établissement courant.
     *
     * @param stdClass $jsonEntity
     * @return string[]
     */
    private function generateSQLQueryForSavingData(stdClass $jsonEntity)
    {
        $tableColumns = $this->entityClassMetadata->columnNames;
        $forceCodeEtablissement = null;

        return sprintf("INSERT INTO %s (%s) VALUES (%s)",
            $this->tableName,
            implode(", ", $tableColumns),
            implode(", ", $this->generateValueArray($jsonEntity))
        );
    }

    /**
     * @param array $queries
     * @return string
     */
    private function wrapSQLQueriesInBeginEnd(array $queries)
    {
        $indent = '  ';

        $sql = $indent . implode(';' . PHP_EOL . $indent, $queries) . ';';

        return implode(PHP_EOL, ['BEGIN', $sql, 'END;']);
    }

    /**
     * @param array $filters
     * @return array
     */
    private function prepareFiltersForTmpTableUpdate(array $filters)
    private function prepareFiltersForTableUpdate(array $filters)
    {
        if (empty($filters)) {
            return $filters;
@@ -326,118 +335,36 @@ class DbService
    }

    /**
     * Mise sous forme de table des données appartenant à une entité
     * Mise sous forme de liste de valeurs des attributs d'une entité JSON, dans l'ordre des colonnes de la table.
     *
     * @param stdClass $jsonEntity : le json associé à une entité
     * @return array les données mises sous forme d'un tableau
     */
    private function generateValueArray(stdClass $jsonEntity)
    {
        $codeEtablissement = $this->etablissement->getStructure()->getCode();
        $f = new EtablissementPrefixFilter();
        $valuesArray = [];

        foreach ($this->entityClassMetadata->columnNames as $property => $colonne) {
            $prefix = null;
            $value = null;
            switch ($property) {
                case "etablissementId": // UCN, URN, ULHN ou INSA, sans préfixage
                    $value = $codeEtablissement;
                    break;
                case "sourceCode":
                    $prefix = $codeEtablissement;
                    $value = $jsonEntity->id;
                    break;
                case "sourceId":
                case "individuId":
                case "roleId":
                case "theseId":
                case "doctorantId":
                case "structureId":
                case "ecoleDoctId":
                case "uniteRechId":
                case "acteurEtablissementId":
                    $prefix = $codeEtablissement;
                    $value = isset($jsonEntity->{$property}) ? $jsonEntity->{$property} : null;
                    break;
                case "origineFinancementId":
                    $prefix = Etablissement::CODE_STRUCTURE_COMUE; // particularité!
                    $value = isset($jsonEntity->{$property}) ? $jsonEntity->{$property} : null;
                    break;
                default:
                    $value = isset($jsonEntity->{$property}) ? $jsonEntity->{$property} : null;
                    break;
            }

            // préfixage éventuel
            if ($value !== null && $prefix !== null) {
                $value = $f->addPrefixTo($value, $prefix);
            }

            $valuesArray[] = $this->prepValueForProperty($value, $property);
        }

        return $valuesArray;
    }

    /**
     * Fonction de mise en forme d'une valeur selon les metatadata de la propriété spécifiée.
     *
     * @param mixed  $value    La valeur à formater
     * @param string $property La propriété concernée
     * @return string La donnée formatée
     *
     * RMQ si un format n'est pas prévu par le traitement la valeur est retournée sans traitement et un message est
     * affiché
     */
    private function prepValueForProperty($value, $property)
    {
        foreach ($this->entityClassMetadata->columnNames as $property => $columnName) {
            $value = $this->jsonHelper ->extractPropertyValue($property, $jsonEntity);
            $type = $this->entityClassMetadata->fieldMappings[$property]["type"];

        $nvalue = null;
        switch ($type) {
            case "string":
                $nvalue = $this->prepString($value);
                break;
            case "date":
                $nvalue = $this->prepDate($value);
                break;
            default:
                $nvalue = $value;
                break;
        }

        return $nvalue;
            $valuesArray[] = $this->sqlGenerator->formatValueForPropertyType($value, $type);
        }

    private function prepString($value)
    {
        return "'" . str_replace("'", "''", $value) . "'";
    }

    private function prepDate($value)
    {
        if ($value === null) {
            return "null";
        }
        $date = explode(' ', $value->{'date'})[0];

        return "to_date('" . $date . "','YYYY-MM-DD')";
        return $valuesArray;
    }

    /**
     * Ajoute aux logs les metadonnées associées à une entity
     *
     * @param string $dataName    : le nom de l'entité
     * Log les metadonnées associées au service courant.
     */
    private function logMetadata($dataName)
    private function logMetadata()
    {
        $entityClass = $this->entityClassMetadata->name;
        $tableName = $this->entityClassMetadata->table['name'];
        $tableColumns = $this->entityClassMetadata->columnNames;

        $str = <<<EOS
La table associée à l'entité [$dataName][$entityClass] est [$tableName]"
La table associée à l'entité [$this->serviceName][$entityClass] est [$tableName]"
Relation dans propriétés/colonnes: 
EOS;
        foreach ($tableColumns as $propriete => $colonne) {
+76 −0
Changes for module/Import/src/Import/Service/DbServiceJSONHelper.php: 76 added lines, 0 removed lines.
Original line number Diff line number Diff line
<?php

namespace Import\Service;

use Application\Entity\Db\Etablissement;
use Application\Filter\EtablissementPrefixFilter;
use stdClass;

class DbServiceJSONHelper
{
    /**
     * @var Etablissement
     */
    private $etablissement;

    /**
     * @param Etablissement $etablissement
     * @return self
     */
    public function setEtablissement(Etablissement $etablissement)
    {
        $this->etablissement = $etablissement;

        return $this;
    }

    /**
     * @param string   $propertyName
     * @param stdClass $jsonObject
     * @return string|null
     */
    public function extractPropertyValue($propertyName, stdClass $jsonObject)
    {
        $codeEtablissement = $this->etablissement->getCode();

        $prefix = null;
        $value = null;

        switch ($propertyName) {
            case 'etablissementId': // UCN, URN, ULHN ou INSA, sans préfixage
                $value = $codeEtablissement;
                break;
            case 'sourceCode':
                $prefix = $codeEtablissement;
                $value = $jsonObject->id;
                break;
            case 'sourceId':
            case 'individuId':
            case 'roleId':
            case 'theseId':
            case 'doctorantId':
            case 'structureId':
            case 'ecoleDoctId':
            case 'uniteRechId':
            case 'acteurEtablissementId':
                $prefix = $codeEtablissement;
                $value = isset($jsonObject->{$propertyName}) ? $jsonObject->{$propertyName} : null;
                break;
            case 'origineFinancementId':
                $prefix = Etablissement::CODE_STRUCTURE_COMUE; // particularité!
                $value = isset($jsonObject->{$propertyName}) ? $jsonObject->{$propertyName} : null;
                break;
            default:
                $value = isset($jsonObject->{$propertyName}) ? $jsonObject->{$propertyName} : null;
                break;
        }

        // préfixage éventuel
        $f = new EtablissementPrefixFilter();
        if ($value !== null && $prefix !== null) {
            $value = $f->addPrefixTo($value, $prefix);
        }

        return $value;
    }
}
 No newline at end of file
+116 −0
Changes for module/Import/src/Import/Service/DbServiceSQLGenerator.php: 116 added lines, 0 removed lines.
Original line number Diff line number Diff line
<?php

namespace Import\Service;

use Doctrine\DBAL\Platforms\AbstractPlatform;

class DbServiceSQLGenerator
{
    /**
     * @var AbstractPlatform
     */
    private $databasePlatform;

    /**
     * @param AbstractPlatform $databasePlatform
     * @return self
     */
    public function setDatabasePlatform($databasePlatform)
    {
        $this->databasePlatform = $databasePlatform;

        return $this;
    }

    /**
     * Génère la requête SQL de suppression de tout ou partie des données déjà importées.
     *
     * @param string $tableName
     * @param array $filters
     * @return string
     */
    public function generateSQLQueryForClearingExistingData($tableName, array $filters = [])
    {
        $query = "DELETE FROM " . $tableName;

        if (count($filters) > 0) {
            $wheres = $filters;
            // NB: préfixage par le code établissement doit être fait en amont
            array_walk($wheres, function (&$v, $k) {
                $v = strtoupper($k) . " = '$v'";
            });
            $wheres = implode(' AND ', $wheres);
            $query .= ' WHERE ' . $wheres;
        }

        return $query;
    }

    /**
     * Génère les requêtes SQL de persistence d'une donnée importée.
     *
     * @param string $tableName
     * @param array $tableColumns
     * @param array $columnsValues
     * @return string
     */
    public function generateSQLQueryForSavingData($tableName, array $tableColumns, array $columnsValues)
    {
        return sprintf("INSERT INTO %s (%s) VALUES (%s)",
            $tableName,
            implode(", ", $tableColumns),
            implode(", ", $columnsValues)
        );
    }

    /**
     * @param array $queries
     * @return string
     */
    public function wrapSQLQueriesInBeginEnd(array $queries)
    {
        $indent = '  ';

        $sql = $indent . implode(';' . PHP_EOL . $indent, $queries) . ';';

        return implode(PHP_EOL, ['BEGIN', $sql, 'END;']);
    }

    /**
     * Fonction de mise en forme d'une valeur selon les metatadata de la propriété spécifiée.
     *
     * @param mixed $value La valeur à formater
     * @param string $type
     * @return string La donnée formatée
     *
     * RMQ si un format n'est pas prévu par le traitement la valeur est retournée sans traitement et un message est
     * affiché
     */
    public function formatValueForPropertyType($value, $type)
    {
        switch ($type) {
            case 'string':
                return $this->prepareString($value);
            case 'date':
                return $this->prepareDate($value);
            default:
                return $value;
        }
    }

    private function prepareString($value)
    {
        return $this->databasePlatform->quoteStringLiteral($value);
    }

    private function prepareDate($value)
    {
        if ($value === null) {
            return "NULL";
        }

        $yyymmdd = explode(' ', $value->date)[0];

        return "TO_DATE('$yyymmdd', 'YYYY-MM-DD')";
    }
}
+2 −1
Changes for module/Import/src/Import/Service/Factory/FetcherServiceFactory.php: 2 added lines, 1 removed line.
Original line number Diff line number Diff line
@@ -26,7 +26,8 @@ class FetcherServiceFactory
            throw new LogicException("La config du FetcherService est incorrecte.", null, $e);
        }

        $service = new FetcherService($config);
        $service = new FetcherService();
        $service->setConfig($config);
        $service->setCallService($callService);
        $service->setDbService($dbService);

Loading