Commit f478f822 authored by Bertrand Gauthier's avatar Bertrand Gauthier
Browse files

Merge branch 'import-specif-entity-manager' into develop

parents 86391548 9bc42bab
Loading
Loading
Loading
Loading
+4 −2
Changes for module/Import/Module.php: 4 added lines, 2 removed lines.
Original line number Diff line number Diff line
@@ -40,19 +40,21 @@ class Module
    {
        return [
            // command
            'import --service=  --etablissement= [--source-code=] [--synchronize=]' => "Importer toutes les données d'un service d'un établissement.",
            'import --service=  --etablissement= [--source-code=] [--synchronize=] [--em=]' => "Importer toutes les données d'un service d'un établissement.",
            // parameters
            ['--service',       "Requis. Identifiant du service, ex: 'variable'"],
            ['--etablissement', "Requis. Identifiant de l'établissement, ex: 'UCN'"],
            ['--source-code',   "Facultatif. Source code du seul enregistrement à importer"],
            ['--synchronize',   "Facultatif. Réaliser ou non la synchro SRC_XXX => XXX. Valeurs possibles: 0, 1. Valeur par défaut: 1."],
            ['--em',            "Facultatif. Nom de l'EntityManager à utiliser. Valeur par défaut: 'orm_default'."],

            // command
            'import-all --etablissement= [--synchronize=]' => "Importer toutes les données de tous les serviceq d'un établissement.",
            'import-all --etablissement= [--synchronize=] [--em=]' => "Importer toutes les données de tous les serviceq d'un établissement.",
            // parameters
            ['--etablissement',          "Requis. Identifiant de l'établissement, ex: 'UCN'"],
            ['--breakOnServiceNotFound', "Facultatif. Faut-il stopper si un service appelé n'existe pas. Valeurs possibles: 0, 1. Valeur par défaut: 1."],
            ['--synchronize',            "Facultatif. Réaliser ou non la synchro SRC_XXX => XXX. Valeurs possibles: 0, 1. Valeur par défaut: 1."],
            ['--em',                     "Facultatif. Nom de l'EntityManager à utiliser. Valeur par défaut: 'orm_default'."],

            // command
            'process-observed-import-results --etablissement= [--import-observ=] [--source-code=]' => "Traitement des résultats d'observation de certains changements durant la synchro.",
+2 −2
Changes for module/Import/config/import.config.php: 2 added lines, 2 removed lines.
Original line number Diff line number Diff line
@@ -67,7 +67,7 @@ return [
                'import-console' => [
                    'type' => Simple::class,
                    'options' => [
                        'route'    => 'import --service=  --etablissement= [--source-code=] [--synchronize=]',
                        'route'    => 'import --service=  --etablissement= [--source-code=] [--synchronize=] [--em=]',
                        'defaults' => [
                            'controller' => Import\Controller\ImportController::class,
                            'action'     => 'import-console',
@@ -77,7 +77,7 @@ return [
                'import-all-console' => [
                    'type' => Simple::class,
                    'options' => [
                        'route'    => 'import-all --etablissement= [--breakOnServiceNotFound=] [--synchronize=]',
                        'route'    => 'import-all --etablissement= [--breakOnServiceNotFound=] [--synchronize=] [--em=]',
                        'defaults' => [
                            'controller' => Import\Controller\ImportController::class,
                            'action'     => 'import-all-console',
+28 −3
Changes for module/Import/src/Import/Controller/ImportController.php: 28 added lines, 3 removed lines.
Original line number Diff line number Diff line
@@ -8,6 +8,8 @@ use Application\Filter\EtablissementPrefixFilter;
use Application\Service\Etablissement\EtablissementServiceAwareTrait;
use Application\Service\These\TheseServiceAwareTrait;
use Assert\Assertion;
use Doctrine\DBAL\Connection;
use Doctrine\ORM\EntityManager;
use Import\Exception\CallException as ImportCallException;
use Import\Service\Traits\ImportServiceAwareTrait;
use UnicaenApp\Exception\LogicException;
@@ -230,14 +232,26 @@ class ImportController extends AbstractActionController
        $codeStructure = $this->params('etablissement'); // ex: 'UCN'
        $sourceCode = $this->params('source-code');
        $synchronize = (bool) $this->params('synchronize', 1);
        $emName = $this->params('em', 'orm_default');

        $this->setLoggerStream('php://output');

        $etablissement = $this->fetchEtablissementByCodeStructure($codeStructure);

        $this->importService->import($service, $etablissement, $sourceCode, [], $synchronize);
        /** @var EntityManager $entityManager */
        $entityManager = $this->getServiceLocator()->get("doctrine.entitymanager.$emName");

        echo "Importation des données du service '$service' de l'établissement '$etablissement' effectuée." . PHP_EOL;
        $_deb = microtime(true);
        $this->importService->setEntityManager($entityManager);
        $this->importService->import($service, $etablissement, $sourceCode, [], $synchronize);
        $_fin = microtime(true);

        echo sprintf(
            "Importation des données du service '%s' de l'établissement '%s' effectuée en %.2f.",
            $service,
            $etablissement,
            $_fin - $_deb
        ) . PHP_EOL;
    }

    public function importAllConsoleAction()
@@ -245,14 +259,25 @@ class ImportController extends AbstractActionController
        $codeStructure = $this->params('etablissement'); // ex: 'UCN'
        $breakOnServiceNotFound = (bool) $this->params('breakOnServiceNotFound', 1);
        $synchronize = (bool) $this->params('synchronize', 1);
        $emName = $this->params('em', 'orm_default');

        $etablissement = $this->fetchEtablissementByCodeStructure($codeStructure);

        $this->setLoggerStream('php://output');

        /** @var EntityManager $entityManager */
        $entityManager = $this->getServiceLocator()->get("doctrine.entitymanager.$emName");

        $_deb = microtime(true);
        $this->importService->setEntityManager($entityManager);
        $this->importService->importAll($etablissement, $synchronize, $breakOnServiceNotFound);
        $_fin = microtime(true);

        echo "Importation de toutes les données de l'établissement '$etablissement' effectuée." . PHP_EOL;
        echo sprintf(
            "Importation de toutes les données de l'établissement '%s' effectuée en %.2f.",
            $etablissement,
            $_fin - $_deb
        ) . PHP_EOL;
    }

    /**
+1 −7
Changes for module/Import/src/Import/Service/DbService.php: 1 added line, 7 removed lines.
Original line number Diff line number Diff line
@@ -248,11 +248,7 @@ class DbService
     */
    public function insertLog($serviceName, DateTime $startDate, $duration, $route, $status)
    {
        try {
            $end_date = new DateTime();
        } catch (\Exception $e) {
            throw new RuntimeException("Là, on touche le fond!", null, $e);
        }
        $end_date = date_create();

        $message = sprintf("Interrogation du service '%s' de l'établissement '%s', en %s seconde(s).",
            $serviceName,
@@ -285,8 +281,6 @@ class DbService
        } catch (DBALException $e) {
            throw new RuntimeException("Ecriture du log en base impossible.", null, $e);
        }

        $this->logger->info($message);
    }

    /**
+28 −22
Changes for module/Import/src/Import/Service/FetcherService.php: 28 added lines, 22 removed lines.
Original line number Diff line number Diff line
@@ -8,10 +8,10 @@ use Application\Filter\EtablissementPrefixFilter;
use Assert\Assertion;
use Assert\AssertionFailedException;
use DateTime;
use Doctrine\ORM\EntityManager;
use Import\Service\Traits\CallServiceAwareTrait;
use Import\Service\Traits\DbServiceAwareTrait;
use stdClass;
use UnicaenApp\Exception\LogicException;
use UnicaenApp\Exception\RuntimeException;
use Zend\Log\LoggerAwareTrait;
use Zend\Log\LoggerInterface;
@@ -38,6 +38,21 @@ class FetcherService
     */
    protected $etablissement;

    /**
     * Force le gestionnaire d'entités que doit utiliser le DbService.
     *
     * NB: le nom de ce setter tente d'informer que la classe FetcherService n'a pas besoin d'entity manager.
     *
     * @param EntityManager $entityManager
     * @return self
     */
    public function setEntityManagerForDbService(EntityManager $entityManager)
    {
        $this->dbService->setEntityManager($entityManager);

        return $this;
    }

    /**
     * Set logger object
     *
@@ -99,23 +114,16 @@ class FetcherService
    {
        $sourceCode = $this->normalizeSourceCode($sourceCode);

        $this->logger->info(sprintf("Import: service %s[%s]", $serviceName, $sourceCode));
        $this->logger->info(sprintf("Import: service %s[%s] {", $serviceName, $sourceCode));

        $debut = microtime(true);
        try {
            $startDate = new DateTime();
        } catch (\Exception $e) {
            throw new RuntimeException("On touche le fond, là!", null, $e);
        }

        $this->logger->info(sprintf("Interrogations du WS '%s'...", $serviceName));
        $startDate = date_create();

        $uri = $serviceName . "/" . $sourceCode;
        $this->callService->setConfig($this->getConfigForEtablissement());
        $_deb = microtime(true);
        $jsonEntity = $this->callService->get($uri);
        $_fin = microtime(true);
        $this->logger->debug(sprintf("- '%s' en %.2f secondes.", $uri, $_fin - $_deb));
        $this->logger->info(sprintf("- interrogation du WS '%s' en %.2f secondes", $serviceName, $_fin - $debut));

        $_deb = microtime(true);
        $this->dbService->setServiceName($serviceName);
@@ -124,8 +132,9 @@ class FetcherService
        $this->dbService->save([$jsonEntity]);
        $this->dbService->commit();
        $_fin = microtime(true);
        $this->logger->info(sprintf("Enregistrement en base de données en %.2f secondes.", $_fin - $_deb));
        $this->logger->info(sprintf("- enregistrement en BDD en %.2f secondes.", $_fin - $_deb));

        $this->logger->info(sprintf("} %.2f secondes.", $_fin - $debut));
        $this->dbService->insertLog($serviceName . ($sourceCode ? "[$sourceCode]" : ''), $startDate, $_fin - $debut, $uri, 'OK');
        $this->dbService->commit();
    }
@@ -138,17 +147,11 @@ class FetcherService
     */
    public function fetchRows($serviceName, array $filters = [])
    {
        $this->logger->info(sprintf("Import: service '%s'", $serviceName));
        $this->logger->info(sprintf("Import: service '%s' {", $serviceName));

        try {
            $startDate = new DateTime();
        } catch (\Exception $e) {
            throw new RuntimeException("On touche le fond, là!", null, $e);
        }
        $startDate = date_create();
        $debut = microtime(true);

        $this->logger->info(sprintf("Interrogations du WS '%s'...", $serviceName));

        $this->callService->setConfig($this->getConfigForEtablissement());
        $apiFilters = $this->prepareFiltersForAPIRequest($filters);
        $jsonEntities = [];
@@ -163,7 +166,7 @@ class FetcherService
            $_deb = microtime(true);
            $json = $this->callService->get($uri);
            $_fin = microtime(true);
            $this->logger->debug(sprintf("- '%s' en %.2f secondes.", $uri, $_fin - $_deb));
            $this->logger->debug(sprintf("  ('%s' en %.2f secondes.)", $uri, $_fin - $_deb));

            $pageCount = $json->page_count; // NB: même valeur retournée à chaque requête (nombre total de pages)
            $jsonName = str_replace("-", "_", $serviceName);
@@ -172,6 +175,8 @@ class FetcherService
            $page++;
        }
        while ($page <= $pageCount);
        $_fin = microtime(true);
        $this->logger->info(sprintf("- interrogation du WS '%s' en %.2f secondes", $serviceName, $_fin - $debut));

        $_deb = microtime(true);
        $this->dbService->setServiceName($serviceName);
@@ -180,8 +185,9 @@ class FetcherService
        $this->dbService->save($jsonEntities);
        $this->dbService->commit();
        $_fin = microtime(true);
        $this->logger->info(sprintf("Enregistrement des %d entités en %.2f secondes.", count($jsonEntities), $_fin - $_deb));
        $this->logger->info(sprintf("- enregistrement en BDD de %d lignes en %.2f secondes.", count($jsonEntities), $_fin - $_deb));

        $this->logger->info(sprintf("} %.2f secondes.", $_fin - $debut));
        $this->dbService->insertLog($serviceName, $startDate, $_fin - $debut, $uri, 'OK');
        $this->dbService->commit();
    }
Loading