Loading bin/database/README.md +5 −2 Changes for bin/database/README.md: 5 added lines, 2 removed lines. Original line number Diff line number Diff line # Base de données : génération de la doc d'installation Ce README s'adresse au développeur souhaitant générer les scripts de création d'une base de données PostgreSQL toute neuve *à partir d'une base de données modèle existante*. ## Génération des fichiers Le script shell [`./build_db_install_files.sh`](build_db_install_files.sh) génère dans un répertoire de votre choix : Loading @@ -17,7 +20,7 @@ Le script shell [`./build_db_install_files.sh`](build_db_install_files.sh) gén - un script bash et un fichier de config pour "préparer" les scripts SQL ayant l'extension `.sql.dist` : - [`build_db_files.conf.dist`](build_db_files.conf.dist) - [`build_db_files.sh`](build_db_files.sh) - un fichier expliquant comment procéder pour créer une base de données : - un fichier expliquant comment procéder pour créer la base de données à l'aide de tous ces scripts : - [`README.md`](README.md) Ce script [`./build_db_install_files.sh`](build_db_install_files.sh) : Loading @@ -28,7 +31,7 @@ Ce script [`./build_db_install_files.sh`](build_db_install_files.sh) : Le script prend en argument le chemin d'un fichier de config et le chemin du répertoire où doivent être générés les fichiers. Pour générer les fichiers de création d'une base de données : Voici un exemple pour générer les fichiers de création d'une base de données... - dans le répertoire destination `./build`, - à partir de la base modèle `sygal` (spécifiée par les variables d'env `PGDATABASE`, etc.), - qui permettront de créer une base et un utilisateur spécifiés dans le fichier de config Loading bin/database/build_db_install_files.sh +1 −1 Changes for bin/database/build_db_install_files.sh: 1 added line, 1 removed line. Original line number Diff line number Diff line Loading @@ -153,7 +153,7 @@ echo "> $OUTPUT_FILE" # data # OUTPUT_FILE=$OUTPUT_DIR/sql/04_$NAME_INSERT_DATA.sql PATTERN='categorie_privilege|domaine_scientifique|import_observ|information_langue|nature_fichier|privilege|profil|profil_privilege|soutenance_configuration|soutenance_etat|soutenance_qualite|type_structure|type_validation|version_fichier|wf_etape' PATTERN='categorie_privilege|domaine_scientifique|import_observ|information_langue|nature_fichier|privilege|profil|profil_privilege|soutenance_configuration|soutenance_etat|soutenance_qualite|type_rapport|type_structure|type_validation|version_fichier|wf_etape' pg_dump --data-only --column-inserts --table "($PATTERN)" >$OUTPUT_FILE applyDbParamsInScript $OUTPUT_FILE removeSchemaInScript $OUTPUT_FILE Loading bin/database/src/README.template.md +118 Changes for bin/database/src/README.template.md: 118 added lines, 0 removed lines. Original line number Diff line number Diff line Création d'une base de données pour SyGAL ========================================= Les fichiers fournis permettant de créer une base de données pour SyGAL sont : - d'une part, le fichier de config et le script bash de construction : - [`build_db_files.conf.dist`](build_db_files.conf.dist) (à adpater puis à renommer en `.conf`) - [`build_db_files.sh`](build_db_files.sh) - d'autre part, les scripts SQL situés dans le répertoire [`sql/`](sql) : - [`01_create_db_user.sql`](sql/01_create_db_user.sql) - [`02_create_schema.sql`](sql/02_create_schema.sql) - [`03_insert_bootstrap_data.sql`](sql/03_insert_bootstrap_data.sql) - [`04_insert_data.sql`](sql/04_insert_data.sql) - [`05_create_constraints.sql`](sql/05_create_constraints.sql) - [`06_create_comue.sql.dist`](sql/06_create_comue.sql.dist) (à "préparer" avec le script) - [`07_init.sql.dist`](sql/07_init.sql.dist) (idem) - [`08_create_fixture.sql.dist`](sql/08_create_fixture.sql.dist) (idem) ## Case départ Ouvez un shell et placez-vous dans le répertoire contenant le présent README et le script bash [`build_db_files.sh`](build_db_files.sh). ## Préparation de certains scripts SQL Les scripts SQL à "préparer" portent l'extension `.sql.dist` : - [`06_create_comue.sql.dist`](sql/06_create_comue.sql.dist) - [`07_init.sql.dist`](sql/07_init.sql.dist) - [`08_create_fixture.sql.dist`](sql/08_create_fixture.sql.dist) Pour les préparer, vous devez dans l'ordre : - Renommer ou copier le fichier de config [`build_db_files.conf.dist`](build_db_files.conf.dist) en `build_db_files.conf` (i.e. suppression du `.dist`). - Modifier le fichier `build_db_files.conf` selon votre situation (cf. commentaires inclus). - Lancer le script bash [`build_db_files.sh`](build_db_files.sh), en lui spécifiant le fichier de config et le répertoire des scripts SQL à préparer. Exemple : ```bash ./build_db_files.sh -c ./build_db_files.conf -i ./sql/ ``` Une fois le script bash exécuté, vous devriez vous retrouver avec 3 scripts SQL supplémentaires dans le répertoire [`sql/`](sql) : - [`06_create_comue.sql`](sql/06_create_comue.sql) - [`07_init.sql`](sql/07_init.sql) - [`08_create_fixture.sql`](sql/08_create_fixture.sql) À présent, tout est prêt pour lancer la création de la base de données. ## Création de la base de données `{DBNAME}` et de l'utilisateur `{DBUSER}` - Lancer le script [`01_create_db_user.sql`](sql/01_create_db_user.sql) *en étant connecté en tant que super-utilisateur*, exemple : ```bash ON_ERROR_STOP=1 \ PGHOST=host.domain.fr \ PGPORT=5432 \ PGDATABASE=postgres \ PGUSER=postgres \ PGPASSWORD=xxxxxxxx \ psql -f sql/01_create_db_user.sql ``` Ce 1er script SQL crée la base de données `{DBNAME}` et l'utilisateur `{DBUSER}`. **Attention, l'utilisateur est créé avec un mot de passe par défaut** donc vous devez le modifier en faisant un truc du genre : ```bash PGHOST=host.domain.fr \ PGPORT=5432 \ PGDATABASE=postgres \ PGUSER=postgres \ PGPASSWORD=xxxxxxxx \ psql -c "alter user {DBUSER} with encrypted password 'VRAI_MOT_DE_PASSE'" ``` ## Création des objets et insertion des données de fonctionnement *Les scripts suivants doivent être lancés en étant connecté à la base `{DBNAME}` avec le user `{DBUSER}` créés à l'étape précédente (et non plus avec l'utilisateur `postgres`).* Pour cela, exportez les variables d'environnement PostgreSQL comme suit : ```bash export \ ON_ERROR_STOP=1 \ PGHOST=host.domain.fr \ PGPORT=5432 \ PGDATABASE={DBNAME} \ PGUSER={DBUSER} \ PGPASSWORD=xxxxxx ``` Lancez ensuite *dans l'ordre* chacun des scripts suivants : ```bash psql -f sql/02_create_schema.sql && \ psql -f sql/03_insert_bootstrap_data.sql && \ psql -f sql/04_insert_data.sql && \ psql -f sql/05_create_constraints.sql && \ psql -f sql/06_create_comue.sql && \ psql -f sql/07_init.sql && \ psql -f sql/08_create_fixture.sql ``` Par précaution, effacez éventuellement les variables d'environnement PostgreSQL : ```bash unset ON_ERROR_STOP PGHOST PGPORT PGDATABASE PGUSER PGPASSWORD # précaution ``` bin/database/src/build_db_files.template.conf.dist +21 Changes for bin/database/src/build_db_files.template.conf.dist: 21 added lines, 0 removed lines. Original line number Diff line number Diff line #============================================# # Config pour la préparation des scripts SQL # de création d'une BDD pour SyGAL #============================================# #=============== Établissement =============# ETAB_CODE='UCN' # Code unique identifiant l'établissement ETAB_SIGLE='Unicaen' # Sigle ou surnom de l'établissement ETAB_LIBELLE='Université de Caen Normandie' # Libellé complet de l'établissement ETAB_DOMAINE='unicaen.fr' # Domaine de l'établissement #============= COMUE éventuelle ============# ETAB_COMUE=0 # Une COMUE doit-elle être créée ? 0=Non 1=Oui #ETAB_COMUE_SIGLE='NU' # Sigle ou surnom de la COMUE #ETAB_COMUE_LIBELLE='Normandie Université' # Libellé complet de la COMUE #ETAB_COMUE_DOMAINE='normandie-univ.fr' # Domaine de la COMUE #============= Sources d'import ============# SOURCE_APOGEE=1 # Apogée est-elle une source de données à importer ? 0=Non 1=Oui SOURCE_PHYSALIS=0 # Physalis est-elle une source de données à importer ? 0=Non 1=Oui bin/database/src/build_db_files.template.sh +x+70 Changes for bin/database/src/build_db_files.template.sh: 70 added lines, 0 removed lines. Original line number Diff line number Diff line #!/usr/bin/env bash # # Script bash de préparation des scripts SQL permettant de créer une base de données pour SyGAL. # usage() { echo "Usage :" echo " $(basename $0) ARGUMENTS" echo "Arguments :" echo " -c CONFIG_FILE Chemin du fichier de config. Obligatoire." echo " -i INPUT_DIR Chemin du répertoire où se trouvent les scripts SQL à customiser. Obligatoire." exit 0 } if [[ ${#} -eq 0 ]]; then usage fi while getopts ":c:i:" arg; do case "${arg}" in c) CONFIG_FILE="${OPTARG}" ;; i) INPUT_DIR="${OPTARG}" ;; ?) echo "Option invalide : -${OPTARG}." echo usage ;; esac done [[ -z "$CONFIG_FILE" ]] && echo ":-( Un fichier de config doit être spécifié." && usage && exit 1 [[ -z "$INPUT_DIR" ]] && echo ":-( Le répertoire où se trouvent les scripts SQL doit être spécifié." && usage && exit 1 [[ ! -f "$CONFIG_FILE" ]] && echo "Le fichier de config $CONFIG_FILE est introuvable" && exit 1 # Chargement des variables de config source ${CONFIG_FILE} echo "Fichier de config chargé : $(realpath ${CONFIG_FILE})" THIS_DIR=$(cd $(dirname $0) && pwd) INPUT_DIR=$(realpath "$INPUT_DIR") function injectEtabParamsInScript() { FILE=$1 sed -i -e "s|{ETAB_CODE}|${ETAB_CODE}|g" $FILE sed -i -e "s|{ETAB_SIGLE}|${ETAB_SIGLE}|g" $FILE sed -i -e "s|{ETAB_LIBELLE}|${ETAB_LIBELLE}|g" $FILE sed -i -e "s|{ETAB_DOMAINE}|${ETAB_DOMAINE}|g" $FILE sed -i -e "s|{ETAB_COMUE}|${ETAB_COMUE}|g" $FILE sed -i -e "s|{ETAB_COMUE_SIGLE}|${ETAB_COMUE_SIGLE}|g" $FILE sed -i -e "s|{ETAB_COMUE_LIBELLE}|${ETAB_COMUE_LIBELLE}|g" $FILE sed -i -e "s|{ETAB_COMUE_DOMAINE}|${ETAB_COMUE_DOMAINE}|g" $FILE sed -i -e "s|{SOURCE_APOGEE}|${SOURCE_APOGEE}|g" $FILE sed -i -e "s|{SOURCE_PHYSALIS}|${SOURCE_PHYSALIS}|g" $FILE } echo "Préparation des scripts SQL situés dans $INPUT_DIR..." for file in $INPUT_DIR/*.sql.dist; do [ ! -f "$file" ] && echo ":-( Aucun fichier .sql.dist trouvé." && break newfile="${file%.sql.dist}.sql" cp -- "$file" "$newfile" injectEtabParamsInScript $newfile echo "> $file ==> $(basename $newfile)" done No newline at end of file Loading
bin/database/README.md +5 −2 Changes for bin/database/README.md: 5 added lines, 2 removed lines. Original line number Diff line number Diff line # Base de données : génération de la doc d'installation Ce README s'adresse au développeur souhaitant générer les scripts de création d'une base de données PostgreSQL toute neuve *à partir d'une base de données modèle existante*. ## Génération des fichiers Le script shell [`./build_db_install_files.sh`](build_db_install_files.sh) génère dans un répertoire de votre choix : Loading @@ -17,7 +20,7 @@ Le script shell [`./build_db_install_files.sh`](build_db_install_files.sh) gén - un script bash et un fichier de config pour "préparer" les scripts SQL ayant l'extension `.sql.dist` : - [`build_db_files.conf.dist`](build_db_files.conf.dist) - [`build_db_files.sh`](build_db_files.sh) - un fichier expliquant comment procéder pour créer une base de données : - un fichier expliquant comment procéder pour créer la base de données à l'aide de tous ces scripts : - [`README.md`](README.md) Ce script [`./build_db_install_files.sh`](build_db_install_files.sh) : Loading @@ -28,7 +31,7 @@ Ce script [`./build_db_install_files.sh`](build_db_install_files.sh) : Le script prend en argument le chemin d'un fichier de config et le chemin du répertoire où doivent être générés les fichiers. Pour générer les fichiers de création d'une base de données : Voici un exemple pour générer les fichiers de création d'une base de données... - dans le répertoire destination `./build`, - à partir de la base modèle `sygal` (spécifiée par les variables d'env `PGDATABASE`, etc.), - qui permettront de créer une base et un utilisateur spécifiés dans le fichier de config Loading
bin/database/build_db_install_files.sh +1 −1 Changes for bin/database/build_db_install_files.sh: 1 added line, 1 removed line. Original line number Diff line number Diff line Loading @@ -153,7 +153,7 @@ echo "> $OUTPUT_FILE" # data # OUTPUT_FILE=$OUTPUT_DIR/sql/04_$NAME_INSERT_DATA.sql PATTERN='categorie_privilege|domaine_scientifique|import_observ|information_langue|nature_fichier|privilege|profil|profil_privilege|soutenance_configuration|soutenance_etat|soutenance_qualite|type_structure|type_validation|version_fichier|wf_etape' PATTERN='categorie_privilege|domaine_scientifique|import_observ|information_langue|nature_fichier|privilege|profil|profil_privilege|soutenance_configuration|soutenance_etat|soutenance_qualite|type_rapport|type_structure|type_validation|version_fichier|wf_etape' pg_dump --data-only --column-inserts --table "($PATTERN)" >$OUTPUT_FILE applyDbParamsInScript $OUTPUT_FILE removeSchemaInScript $OUTPUT_FILE Loading
bin/database/src/README.template.md +118 Changes for bin/database/src/README.template.md: 118 added lines, 0 removed lines. Original line number Diff line number Diff line Création d'une base de données pour SyGAL ========================================= Les fichiers fournis permettant de créer une base de données pour SyGAL sont : - d'une part, le fichier de config et le script bash de construction : - [`build_db_files.conf.dist`](build_db_files.conf.dist) (à adpater puis à renommer en `.conf`) - [`build_db_files.sh`](build_db_files.sh) - d'autre part, les scripts SQL situés dans le répertoire [`sql/`](sql) : - [`01_create_db_user.sql`](sql/01_create_db_user.sql) - [`02_create_schema.sql`](sql/02_create_schema.sql) - [`03_insert_bootstrap_data.sql`](sql/03_insert_bootstrap_data.sql) - [`04_insert_data.sql`](sql/04_insert_data.sql) - [`05_create_constraints.sql`](sql/05_create_constraints.sql) - [`06_create_comue.sql.dist`](sql/06_create_comue.sql.dist) (à "préparer" avec le script) - [`07_init.sql.dist`](sql/07_init.sql.dist) (idem) - [`08_create_fixture.sql.dist`](sql/08_create_fixture.sql.dist) (idem) ## Case départ Ouvez un shell et placez-vous dans le répertoire contenant le présent README et le script bash [`build_db_files.sh`](build_db_files.sh). ## Préparation de certains scripts SQL Les scripts SQL à "préparer" portent l'extension `.sql.dist` : - [`06_create_comue.sql.dist`](sql/06_create_comue.sql.dist) - [`07_init.sql.dist`](sql/07_init.sql.dist) - [`08_create_fixture.sql.dist`](sql/08_create_fixture.sql.dist) Pour les préparer, vous devez dans l'ordre : - Renommer ou copier le fichier de config [`build_db_files.conf.dist`](build_db_files.conf.dist) en `build_db_files.conf` (i.e. suppression du `.dist`). - Modifier le fichier `build_db_files.conf` selon votre situation (cf. commentaires inclus). - Lancer le script bash [`build_db_files.sh`](build_db_files.sh), en lui spécifiant le fichier de config et le répertoire des scripts SQL à préparer. Exemple : ```bash ./build_db_files.sh -c ./build_db_files.conf -i ./sql/ ``` Une fois le script bash exécuté, vous devriez vous retrouver avec 3 scripts SQL supplémentaires dans le répertoire [`sql/`](sql) : - [`06_create_comue.sql`](sql/06_create_comue.sql) - [`07_init.sql`](sql/07_init.sql) - [`08_create_fixture.sql`](sql/08_create_fixture.sql) À présent, tout est prêt pour lancer la création de la base de données. ## Création de la base de données `{DBNAME}` et de l'utilisateur `{DBUSER}` - Lancer le script [`01_create_db_user.sql`](sql/01_create_db_user.sql) *en étant connecté en tant que super-utilisateur*, exemple : ```bash ON_ERROR_STOP=1 \ PGHOST=host.domain.fr \ PGPORT=5432 \ PGDATABASE=postgres \ PGUSER=postgres \ PGPASSWORD=xxxxxxxx \ psql -f sql/01_create_db_user.sql ``` Ce 1er script SQL crée la base de données `{DBNAME}` et l'utilisateur `{DBUSER}`. **Attention, l'utilisateur est créé avec un mot de passe par défaut** donc vous devez le modifier en faisant un truc du genre : ```bash PGHOST=host.domain.fr \ PGPORT=5432 \ PGDATABASE=postgres \ PGUSER=postgres \ PGPASSWORD=xxxxxxxx \ psql -c "alter user {DBUSER} with encrypted password 'VRAI_MOT_DE_PASSE'" ``` ## Création des objets et insertion des données de fonctionnement *Les scripts suivants doivent être lancés en étant connecté à la base `{DBNAME}` avec le user `{DBUSER}` créés à l'étape précédente (et non plus avec l'utilisateur `postgres`).* Pour cela, exportez les variables d'environnement PostgreSQL comme suit : ```bash export \ ON_ERROR_STOP=1 \ PGHOST=host.domain.fr \ PGPORT=5432 \ PGDATABASE={DBNAME} \ PGUSER={DBUSER} \ PGPASSWORD=xxxxxx ``` Lancez ensuite *dans l'ordre* chacun des scripts suivants : ```bash psql -f sql/02_create_schema.sql && \ psql -f sql/03_insert_bootstrap_data.sql && \ psql -f sql/04_insert_data.sql && \ psql -f sql/05_create_constraints.sql && \ psql -f sql/06_create_comue.sql && \ psql -f sql/07_init.sql && \ psql -f sql/08_create_fixture.sql ``` Par précaution, effacez éventuellement les variables d'environnement PostgreSQL : ```bash unset ON_ERROR_STOP PGHOST PGPORT PGDATABASE PGUSER PGPASSWORD # précaution ```
bin/database/src/build_db_files.template.conf.dist +21 Changes for bin/database/src/build_db_files.template.conf.dist: 21 added lines, 0 removed lines. Original line number Diff line number Diff line #============================================# # Config pour la préparation des scripts SQL # de création d'une BDD pour SyGAL #============================================# #=============== Établissement =============# ETAB_CODE='UCN' # Code unique identifiant l'établissement ETAB_SIGLE='Unicaen' # Sigle ou surnom de l'établissement ETAB_LIBELLE='Université de Caen Normandie' # Libellé complet de l'établissement ETAB_DOMAINE='unicaen.fr' # Domaine de l'établissement #============= COMUE éventuelle ============# ETAB_COMUE=0 # Une COMUE doit-elle être créée ? 0=Non 1=Oui #ETAB_COMUE_SIGLE='NU' # Sigle ou surnom de la COMUE #ETAB_COMUE_LIBELLE='Normandie Université' # Libellé complet de la COMUE #ETAB_COMUE_DOMAINE='normandie-univ.fr' # Domaine de la COMUE #============= Sources d'import ============# SOURCE_APOGEE=1 # Apogée est-elle une source de données à importer ? 0=Non 1=Oui SOURCE_PHYSALIS=0 # Physalis est-elle une source de données à importer ? 0=Non 1=Oui
bin/database/src/build_db_files.template.sh +x+70 Changes for bin/database/src/build_db_files.template.sh: 70 added lines, 0 removed lines. Original line number Diff line number Diff line #!/usr/bin/env bash # # Script bash de préparation des scripts SQL permettant de créer une base de données pour SyGAL. # usage() { echo "Usage :" echo " $(basename $0) ARGUMENTS" echo "Arguments :" echo " -c CONFIG_FILE Chemin du fichier de config. Obligatoire." echo " -i INPUT_DIR Chemin du répertoire où se trouvent les scripts SQL à customiser. Obligatoire." exit 0 } if [[ ${#} -eq 0 ]]; then usage fi while getopts ":c:i:" arg; do case "${arg}" in c) CONFIG_FILE="${OPTARG}" ;; i) INPUT_DIR="${OPTARG}" ;; ?) echo "Option invalide : -${OPTARG}." echo usage ;; esac done [[ -z "$CONFIG_FILE" ]] && echo ":-( Un fichier de config doit être spécifié." && usage && exit 1 [[ -z "$INPUT_DIR" ]] && echo ":-( Le répertoire où se trouvent les scripts SQL doit être spécifié." && usage && exit 1 [[ ! -f "$CONFIG_FILE" ]] && echo "Le fichier de config $CONFIG_FILE est introuvable" && exit 1 # Chargement des variables de config source ${CONFIG_FILE} echo "Fichier de config chargé : $(realpath ${CONFIG_FILE})" THIS_DIR=$(cd $(dirname $0) && pwd) INPUT_DIR=$(realpath "$INPUT_DIR") function injectEtabParamsInScript() { FILE=$1 sed -i -e "s|{ETAB_CODE}|${ETAB_CODE}|g" $FILE sed -i -e "s|{ETAB_SIGLE}|${ETAB_SIGLE}|g" $FILE sed -i -e "s|{ETAB_LIBELLE}|${ETAB_LIBELLE}|g" $FILE sed -i -e "s|{ETAB_DOMAINE}|${ETAB_DOMAINE}|g" $FILE sed -i -e "s|{ETAB_COMUE}|${ETAB_COMUE}|g" $FILE sed -i -e "s|{ETAB_COMUE_SIGLE}|${ETAB_COMUE_SIGLE}|g" $FILE sed -i -e "s|{ETAB_COMUE_LIBELLE}|${ETAB_COMUE_LIBELLE}|g" $FILE sed -i -e "s|{ETAB_COMUE_DOMAINE}|${ETAB_COMUE_DOMAINE}|g" $FILE sed -i -e "s|{SOURCE_APOGEE}|${SOURCE_APOGEE}|g" $FILE sed -i -e "s|{SOURCE_PHYSALIS}|${SOURCE_PHYSALIS}|g" $FILE } echo "Préparation des scripts SQL situés dans $INPUT_DIR..." for file in $INPUT_DIR/*.sql.dist; do [ ! -f "$file" ] && echo ":-( Aucun fichier .sql.dist trouvé." && break newfile="${file%.sql.dist}.sql" cp -- "$file" "$newfile" injectEtabParamsInScript $newfile echo "> $file ==> $(basename $newfile)" done No newline at end of file