Merge g1.3

Author: lucduron

.github/workflows/pythonpackage.yml

@@ -5,11 +5,11 @@ on: [push]
 jobs:
   build:
 
-    runs-on: ubuntu-latest
+    runs-on: ubuntu-20.04
     strategy:
       max-parallel: 7
       matrix:
-        python-version: [3.6, 3.7, 3.8, 3.9, "3.10", "3.11"]
+        python-version: [2.7, 3.6, 3.7, 3.8, 3.9, "3.10", "3.11"]
 
     steps:
     - uses: actions/checkout@v2
@@ -31,3 +31,6 @@ jobs:
         flake8 . --count --select=E9,F63,F7,F82 --show-source --statistics --exclude geogama
         # exit-zero treats all errors as warnings. The GitHub editor is 127 chars wide
         flake8 . --count --exit-zero --max-complexity=10 --max-line-length=127 --statistics --exclude geogama
+    - name: Unit tests
+      run: |
+        python -m unittest

.gitignore

@@ -3,10 +3,17 @@ __pycache__/
 *.pyc
 \#*\#
 .\#*
-.cache
-.idea
-crue10_examples/
-docs/html
+.cache/
+.hypothesis/
+.idea/
+.pytest_cache/
 venv/
-tmp
-*_all.csv
+
+crue10/tests/data/out/*
+docs/html
+tmp/
+*.xml.lock
+*_all.csv
+
+ISSUE*/
+PR*/

CHANGELOG.md

@@ -1,6 +1,68 @@
 Journal des modifications
 =========================
 
+## [4.0] - yyyy-mm-dd
+
+### Nouveautés
+- Support en lecture/écriture des grammaires v1.2 et v1.3 :
+    * ajout de 2 variables utilisateurs : `VERSION_GRAMMAIRE_PRECEDENTE` et `VERSION_GRAMMAIRE_COURANTE`
+    * possibilité de changer de grammaire avec `changer_version_grammaire`
+- Vérification de la dimension/taille des array 2D pour les méthodes de type "set"
+- Ajout de tests unitaires (dans `crue10/tests`)
+
+Détails :
+* Les grammaires doivent être identiques en lecture pour chaque Etude/Scenario/Modele/SousModele (plantage sinon)
+
+### Changements
+- Refactoring :
+    * `crue10.base` : la classe `FichierXML` devient `EnsembleFichiersXML`, son attribut `access` devient `mode`
+        (par héritage, l'attribut change aussi pour `Etude`, `Scenario`, `Modele`, `SousModele`, `FichierOtfa`)
+    * `crue10.emh.branche` :
+        * les propriétés du type `name_loi_*` deviennent `nom_loi_*`
+        * `BarrageFilEau` :
+            * l'attribut `comment_denoye` devient `comment_manoeuvrant`
+            * la méthode `set_liste_elements_seuil_avec_coeff_par_defaut` devient `set_liste_elements_seuil_avec_coef_par_defaut`
+            * [MAJEUR] l'attribut `loi_QZam` devient `loi_QpilZam`
+            * [MAJEUR] l'attribut `liste_elements_seuil` devient `liste_elements_barrage`
+            * [MAJEUR] la méthode `set_loi_QZam` devient `set_loi_QpilZam`
+    * `crue10.modele.Modele` :
+        * [MAJEUR] la méthode `get_branches_liste_entre_noeuds` devient `get_liste_branches_entre_deux_noeuds`
+    * `crue10.run` :
+        * [MAJEUR] la méthode `get_results` devient `get_resultats_calcul` (en prévision de l'ajout des résultats du pré-traitement géométrique)
+    * `crue10.run.results` devient `crue10.run.resultats_calcul` :
+        * la classe `RunResults` devient `ResultatsCalcul`
+        * [MAJEUR] la méthode `get_res_steady` devient `get_data_pseudoperm`
+        * [MAJEUR] la méthode `get_res_unsteady` devient `get_data_trans`
+        * Pour les métadonnées des calculs :
+            * [MAJEUR] l'attribut `calc_steady_dict` devient `res_calc_pseudoperm`
+            * [MAJEUR] l'attribut `calc_unsteady_dict` devient `res_calc_trans`
+            * la méthode `get_calc_steady` devient `get_res_calc_pseudoperm`
+            * la méthode `get_calc_unsteady` devient `get_res_calc_trans`
+            * la méthode `CalcPseudoPerm` devient `ResCalcPseudoPerm` (pour éviter le conflit avec `crue10.scenario.calcul`)
+            * la méthode `CalcTrans` devient `ResCalcTrans` (pour éviter le conflit avec `crue10.scenario.calcul`)
+        * Pour les post-traitements : 
+            * [MAJEUR] la méthode `get_res_all_steady_var_at_emhs` devient `get_all_pseudoperm_var_at_emhs_as_array`
+            * [MAJEUR] la méthode `get_res_unsteady_var_at_emhs` devient `get_trans_var_at_emhs_as_array`
+            * [MAJEUR] la méthode `export_calc_steady_as_csv` devient `write_all_calc_pseudoperm_in_csv`
+            * [MAJEUR] la méthode `export_calc_steady_as_csv` devient `write_all_calc_trans_in_csv`
+            * [MAJEUR] la méthode `get_res_steady_at_sections_along_branches_as_dataframe` devient `extract_profil_long_pseudoperm_as_dataframe`
+            * [MAJEUR] la méthode `get_res_unsteady_at_sections_along_branches_as_dataframe` devient `extract_profil_long_trans_at_time_as_dataframe`
+            * [MAJEUR] la méthode `get_res_unsteady_max_at_sections_along_branches_as_dataframe` devient `extract_profil_long_trans_max_as_dataframe`
+            * [MAJEUR] la méthode `export_calc_unsteady_as_df` devient `extract_res_trans_as_dataframe`
+            * [MAJEUR] la méthode `export_calc_unsteady_as_csv_table` est supprimée
+    * `crue10.scenario.Scenario` :
+        * [MAJEUR] la méthode `get_last_run` devient `get_dernier_run`
+        * la méthode `add_run` devient `ajouter_run`
+        * l'attribut `current_run_id` devient `nom_run_courant`
+        * la méthode `set_current_run_id` devient `set_run_courant`
+        * la méthode `get_liste_run_ids` devient `get_liste_noms_runs`
+
+### Corrections
+- `crue10.etude.Etude._read_etu` : génère une exception `ExceptionCrue10` au lieu d'une `PermissionError`
+    s'il s'agit d'un dossier
+- `crue10.emh.casier.ProfilCasier` : ajout propriété `xz_filtered` et utilisation pour `compute_surface`
+    (pour considérer seulement le lit utile)
+
 ## [3.1] - 2022-07-21
 Version avant préparation pour ajout nouvelle grammaire v1.3
 

README.md

@@ -27,3 +27,30 @@ Versions Python testées : 2.7, 3.6, 3.7, 3.8, 3.9, 3.10 et 3.11.
 ## Scripts en ligne de commande
 
 Voir [les pages wiki](https://github.com/CNR-Engineering/Crue10_tools/wiki) pour savoir comment utiliser ces outils.
+
+## Tests unitaires
+
+Le lancement des tests unitaires (présents dans `crue10/tests`) se fait avec la commande :
+
+```
+python -m unittest
+````
+
+Liste des tests unitaires par classes principales :
+* Etude => `test_end_to_end.py`, `test_file_xsd_validation.py`
+* Scenario => `test_scenario.py`
+* Modele => `test_modele.py`
+* SousModele => `test_sous_modele.py`
+* EMH
+    * branches => `test_emh_branche.py`
+    * casiers => `test_emh_casier.py`  
+    * noeuds => `test_emh_noeud.py`
+    * sections => `test_emh_section.py`
+* Run => `test_run.py`
+* ResultatsCalcul => `test_resultats_calcul.py`
+
+Les tests unitaires sont vérifiés à chaque push grâce à un workflow Github et peuvent être déclenchés manuellement si
+besoin. La coche verte ou la croix rouge à côté du commit permet de savoir rapidement s'ils se sont bien passés.
+
+Remarque : les tests unitaires sont débranchés pour la version Python 2.7. Pour les lancer, il faut utiliser la
+commande `python -m unittest discover`.

cli/crue10_extract_table_at_casiers.py

@@ -28,14 +28,14 @@ def crue10_extract_table_at_casiers(args):
 
     # Get results at Casiers
     if args.run_id is None:
-        run = scenario.get_last_run()
+        run = scenario.get_dernier_run()
     else:
         run = scenario.get_run(args.run_id)
-    results = run.get_results()
-    res_trans = results.get_res_unsteady(args.calc_unsteady)
+    resultats = run.get_resultats_calcul()
+    res_trans = resultats.get_data_trans(args.calc_trans)
 
-    emh_names = results.emh['Casier']
-    variables = results.variables['Casier']
+    emh_names = resultats.emh['Casier']
+    variables = resultats.variables['Casier']
     res = res_trans['Casier']
 
     # Check if variables exist at Casiers
@@ -48,7 +48,7 @@ def crue10_extract_table_at_casiers(args):
         sys.exit(2)
 
     # Select time range
-    time = results.get_calc_unsteady(args.calc_unsteady).time_serie()
+    time = resultats.get_res_calc_trans(args.calc_trans).time_serie()
     res = res[np.logical_and(args.start_time <= time, time <= args.end_time), :, :]
 
     # Compute Vol/Splan (except when Splan=0 to avoid division by zero) and extract the max over the time
@@ -73,7 +73,7 @@ def crue10_extract_table_at_casiers(args):
 parser.add_argument('--run_id', help="identifiant du Run à exploiter (si absent alors le dernier Run est pris)")
 parser.add_argument('--start_time', help="premier temps (en secondes) à considérer", type=float, default=-float('inf'))
 parser.add_argument('--end_time', help="dernier temps (en secondes) à considérer", type=float, default=float('inf'))
-parser.add_argument('calc_unsteady', help="nom du calcul transitoire")
+parser.add_argument('calc_trans', help="nom du calcul transitoire")
 parser.add_argument('csv_path', help="chemin vers le fichier CSV de sortie")
 
 

cli/crue10_merge_models.py

@@ -29,7 +29,9 @@
 def crue10_merge_models(args):
     if len(args.etu_path_list) != len(args.mo_name_list) != len(args.suffix_list):
         raise ExceptionCrue10("Les arguments `--etu_path_list`, `--suffix_list` et `--mo_name_list`"
-                        " n'ont pas la même longueur !")
+                              " n'ont pas la même longueur !")
+    if len(args.etu_path_list) < 2:
+        raise ExceptionCrue10('Il faut mentionner au moins les deux modèles à fusionner')
 
     # Parse argument `--nodes_to_share`
     nb_models = len(args.mo_name_list)
@@ -50,12 +52,13 @@ def crue10_merge_models(args):
             if not reference_found:
                 raise ExceptionCrue10("Le noeud de référence n'a pas pu être trouvé pour : `%s`" % nodes_str)
 
-    study_out = Etude(args.etu_path_out, access='w')
+    study_first = Etude(args.etu_path_list[0], mode='r')
+    study_out = Etude(args.etu_path_out, mode='w', version_grammaire=study_first.version_grammaire)
     study_out.create_empty_scenario('Sc_%s' % args.out_name, 'Mo_%s' % args.out_name, nom_sous_modele=None)
     model_out = study_out.get_modele('Mo_%s' % args.out_name)
 
     for i, (etu_path, mo_name, suffix) in enumerate(zip(args.etu_path_list, args.mo_name_list, args.suffix_list)):
-        study_in = Etude(etu_path, access='r')
+        study_in = Etude(etu_path, mode='r')
         model_in = study_in.get_modele(mo_name)
         model_in.read_all()
 

cli/crue10_merge_submodels.py

@@ -14,28 +14,34 @@
 
 def crue10_merge_sous_modeles(args):
     if len(args.etu_path_list) != len(args.sm_name_list) != len(args.suffix_list):
-        raise ExceptionCrue10("Les arguments `etu_path_list`, `suffix_list` et `sm_name_list` n'ont pas la même longueur !")
+        raise ExceptionCrue10("Les arguments `etu_path_list`, `suffix_list` "
+                              "et `sm_name_list` n'ont pas la même longueur !")
+    if len(args.etu_path_list) < 2:
+        raise ExceptionCrue10("Il faut au moins 2 sous-modèles pour faire la fusion !")
 
     merged_sous_modele = None
     for etu_path, sm_name, suffix in zip(args.etu_path_list, args.sm_name_list, args.suffix_list):
         etude = Etude(etu_path)
         sous_modele = etude.get_sous_modele(sm_name)
         sous_modele.read_all()
-        print(sous_modele)
+        logger.info(sous_modele)
 
         if merged_sous_modele is None:
-            merged_sous_modele = SousModele(sous_modele.id, files=sous_modele.files)
+            merged_sous_modele = SousModele(sous_modele.id, files=sous_modele.files,
+                                            version_grammaire=sous_modele.version_grammaire)
         merged_sous_modele.ajouter_emh_depuis_sous_modele(sous_modele, suffix)
 
-    print("~> Sous-modèle fusionné:")
-    print(merged_sous_modele)
+    logger.info("~> Sous-modèle fusionné:")
+    logger.info(merged_sous_modele)
     merged_sous_modele.write_all(args.output_folder, folder_config='Config')
 
 
 parser = MyArgParse(description=__doc__)
-parser.add_argument('--etu_path_list', help="liste des chemins vers des fichiers etu.xml", nargs='+')
-parser.add_argument('--sm_name_list', help="liste des noms des sous-modèles", nargs='+')
-parser.add_argument('--suffix_list', help="liste des sufixes", nargs='+')
+parser_submodels = parser.add_argument_group("Choix des sous-modèles à fusionner")
+parser_submodels.add_argument('--etu_path_list', help="liste des chemins vers des fichiers etu.xml", nargs='+',
+                              required=True)
+parser_submodels.add_argument('--sm_name_list', help="liste des noms des sous-modèles", nargs='+', required=True)
+parser_submodels.add_argument('--suffix_list', help="liste des suffixes", nargs='+', required=True)
 parser.add_argument('output_folder', help="nom du dossier de sortie")
 
 

cli/crue10_run_and_post_from_modifications.py

@@ -45,20 +45,20 @@ def crue10_run_and_post_from_modifications(args):
 
         if run.nb_erreurs() == 0:
             try:
-                results = run.get_results()
+                resultats = run.get_resultats_calcul()
             except Exception as e:
                 logger.error(e)
-                logger.warn("Les fichiers de résultats du Run `%s` ne sont pas exploitables" % run.id)
-            res = results.get_res_steady(args.calc_name)
-            pos_Z = results.variables['Section'].index('Z')
+                logger.warning("Les fichiers de résultats du Run `%s` ne sont pas exploitables" % run.id)
+            res = resultats.get_data_pseudoperm(args.calc_name)
+            pos_Z = resultats.variables['Section'].index('Z')
             values = res['Section'][:, pos_Z]
             t1 = perf_counter()
             writer.writerow({'variable': 'time_crue', 'value': run.get_time()})
             writer.writerow({'variable': 'time_total', 'value': t1 - t0})
-            for emh_name, value in zip(results.emh['Section'], values):
+            for emh_name, value in zip(resultats.emh['Section'], values):
                 writer.writerow({'variable': emh_name, 'value': value})
         else:
-            logger.warn("Le Run `%s` contient des erreurs et sera ignoré" % run.id)
+            logger.warning("Le Run `%s` contient des erreurs et sera ignoré" % run.id)
 
 
 parser = MyArgParse(description=__doc__)

cli/crue10_xsd_validator.py

@@ -1,8 +1,8 @@
 #!/usr/bin/env python
 # coding: utf-8
 """
-Check against XSD validation every crue10 xml files
-included in the target study (etu.xml file)
+Lancement de la validation XSD sur chaque fichier XML composant l'étude
+Les éventuelles erreurs sont affichées à l'écran
 """
 import sys
 
@@ -13,8 +13,8 @@
 
 def crue10_xsd_validator(args):
     has_error = False
-    study = Etude(args.etu_path)
-    errors = study.check_xml_files()
+    etude = Etude(args.etu_path)
+    errors = etude.check_xml_files()
 
     for file, errors in errors.items():
         if errors:

crue10/__init__.py

@@ -1 +1,4 @@
-VERSION = '0.31'
+# coding: utf-8
+
+#: Version du dépôt Crue10_tools
+VERSION = '4.0'