stat_diff_calculs_{Cas-tests,Conc} se lisent un Run otfa

lucduron · lucduron · commit 021fa535a988 · 2024-04-08T13:52:30.000+02:00
diff --git a/crue10/campagne_otfa.py b/crue10/campagne_otfa.py
@@ -6,8 +6,6 @@
 from crue10.etude import Etude
 from crue10.utils import check_isinstance, get_optional_commentaire, PREFIX
 
-from snippets._params import ETATREF_SCENARIO_PAR_AMENAGEMENT
-
 
 DOSSIER_REF = os.path.join('..', '..', 'SHY_C10_Crue10_Cas-tests_gprec', 'Conc')
 DOSSIER_CIBLE = os.path.join('..', '..', 'SHY_C10_Crue10_Cas-tests', 'Conc')
@@ -94,32 +92,35 @@ def write_otfa(self, folder):
         )
 
 
-# Cas-tests.otfa.xml
-otfa = FichierOtfa('Cas-tests', mode='w', files={'otfa': '../../../SHY_C10_Crue10_Cas-tests/OTFA/Cas-tests_avec_gprec.otfa.xml'},
-                   metadata={'Commentaire': "Campagne complète : lancement de toutes les lignes OTFA pour les cas-tests fonctionnels"})
-otfa.read_otfa()
-for campagne in otfa.campagnes:
-    campagne.nom_scenario_cible = campagne.nom_scenario_ref
-    campagne.chemin_etude_cible = campagne.chemin_etude_ref
-    campagne.chemin_etude_ref = campagne.chemin_etude_cible.replace('..\Cas-tests',
-                                                                    '..\..\SHY_C10_Crue10_Cas-tests_gprec\Cas-tests')
-otfa.write_otfa('../../../SHY_C10_Crue10_Cas-tests/OTFA')
-
-
-# Conc.otfa.xml
-otfa = FichierOtfa('Conc', mode='w', files={'otfa': '../../../SHY_C10_Crue10_Cas-tests/Conc_avec_gprec.otfa.xml'},
-                   metadata={'Commentaire': "OTFA pour les derniers modèles de concession"})
-for etude_dossier, nom_scenario in ETATREF_SCENARIO_PAR_AMENAGEMENT.items():
-    for etu_path in glob(os.path.join('..', DOSSIER_REF, etude_dossier, '*.etu.xml')):  # FIXME: only one etu.xml should be found by folder!
-        etude = Etude(etu_path)
-        if nom_scenario is None:
-            nom_scenario = etude.get_scenario_courant().id
-        campagne = Campagne(os.path.relpath(os.path.join(DOSSIER_REF, etude_dossier, os.path.basename(etu_path)),
-                                                         start=os.path.join(DOSSIER_CIBLE, '..', 'OTFA')),
-                            nom_scenario,
-                            os.path.relpath(os.path.join(DOSSIER_CIBLE, etude_dossier, os.path.basename(etu_path)),
-                                            start=os.path.join(DOSSIER_CIBLE, '..', 'OTFA')),
-                            nom_scenario)
-        otfa.ajouter_campagne(campagne)
-
-otfa.write_otfa('../../../SHY_C10_Crue10_Cas-tests/OTFA')
+if __name__ == "__main__":
+    from snippets._params import ETATREF_SCENARIO_PAR_AMENAGEMENT
+
+    # Cas-tests.otfa.xml
+    otfa = FichierOtfa('Cas-tests', mode='w', files={'otfa': '../../../SHY_C10_Crue10_Cas-tests/OTFA/Cas-tests_avec_gprec.otfa.xml'},
+                       metadata={'Commentaire': "Campagne complète : lancement de toutes les lignes OTFA pour les cas-tests fonctionnels"})
+    otfa.read_otfa()
+    for campagne in otfa.campagnes:
+        campagne.nom_scenario_cible = campagne.nom_scenario_ref
+        campagne.chemin_etude_cible = campagne.chemin_etude_ref
+        campagne.chemin_etude_ref = campagne.chemin_etude_cible.replace('..\Cas-tests',
+                                                                        '..\..\SHY_C10_Crue10_Cas-tests_gprec\Cas-tests')
+    otfa.write_otfa('../../../SHY_C10_Crue10_Cas-tests/OTFA')
+
+
+    # Conc.otfa.xml
+    otfa = FichierOtfa('Conc', mode='w', files={'otfa': '../../../SHY_C10_Crue10_Cas-tests/Conc_avec_gprec.otfa.xml'},
+                       metadata={'Commentaire': "OTFA pour les derniers modèles de concession"})
+    for etude_dossier, nom_scenario in ETATREF_SCENARIO_PAR_AMENAGEMENT.items():
+        for etu_path in glob(os.path.join('..', DOSSIER_REF, etude_dossier, '*.etu.xml')):  # FIXME: only one etu.xml should be found by folder!
+            etude = Etude(etu_path)
+            if nom_scenario is None:
+                nom_scenario = etude.get_scenario_courant().id
+            campagne = Campagne(os.path.relpath(os.path.join(DOSSIER_REF, etude_dossier, os.path.basename(etu_path)),
+                                                             start=os.path.join(DOSSIER_CIBLE, '..', 'OTFA')),
+                                nom_scenario,
+                                os.path.relpath(os.path.join(DOSSIER_CIBLE, etude_dossier, os.path.basename(etu_path)),
+                                                start=os.path.join(DOSSIER_CIBLE, '..', 'OTFA')),
+                                nom_scenario)
+            otfa.ajouter_campagne(campagne)
+
+    otfa.write_otfa('../../../SHY_C10_Crue10_Cas-tests/OTFA')
diff --git a/crue10/utils/multiple_runs.py b/crue10/utils/multiple_runs.py
@@ -10,6 +10,7 @@
 from crue10.etude import Etude
 from crue10.utils import ExceptionCrue10, logger
 from crue10.utils.settings import CRUE10_EXE_PATH, NCSIZE
+from snippets._params import COEUR_REFERENCE, COEUR_CIBLE
 
 
 def launch_scenario_modifications(function, modifications_liste, ncsize=NCSIZE):
@@ -18,6 +19,80 @@ def launch_scenario_modifications(function, modifications_liste, ncsize=NCSIZE):
         return pool.map(function, modifications_liste)
 
 
+def parse_otfa_runs(fichier_otfa):
+    """
+    :param fichier_otfa: fichier OTFA en lecture (et qui est déjà parsé)
+    :vartype fichier_otfa: FichierOtfa
+    :rtype: pd.DataFrame
+    """
+    df_runs = pd.DataFrame({'etude_dossier': [], 'etude_basename': [], 'scenario': [], 'exe_id': [],
+                            'run_idx': [], 'run_id': [],
+                            'variable': [], 'value': []})
+    for campagne in fichier_otfa.campagnes:  # (1) reference = old_c10m10, (2) cible = c10m10
+        dossier_otfa = os.path.dirname(fichier_otfa.files['otfa'])
+
+        assert campagne.chemin_etude_ref == campagne.chemin_etude_cible
+        assert campagne.nom_scenario_ref == campagne.nom_scenario_cible
+
+        etude_dossier = os.path.basename(os.path.dirname(campagne.chemin_etude_ref))
+        logger.info(">>>>>>>>>> Dossier étude: %s <<<<<<<<<<" % etude_dossier)
+
+        for run_idx, exe_id in enumerate((COEUR_REFERENCE, COEUR_CIBLE)):
+            try:
+                if run_idx == 0:
+                    etude = Etude(os.path.normpath(os.path.join(dossier_otfa, campagne.chemin_etude_ref)))
+                    scenario = etude.get_scenario(campagne.nom_scenario_ref)
+                    scenario.read_all(ignore_shp=True)
+                    run = scenario.get_run(list(scenario.runs.keys())[0])  # old_c10m10
+                elif run_idx == 1:
+                    etude = Etude(os.path.normpath(os.path.join(dossier_otfa, campagne.chemin_etude_cible)))
+                    scenario = etude.get_scenario(campagne.nom_scenario_cible)
+                    scenario.read_all(ignore_shp=True)
+                    run = scenario.get_run(list(scenario.runs.keys())[-1])  # c10m10
+                else:
+                    raise NotImplementedError
+
+                logger.info(run)
+                values = OrderedDict()
+
+                # Get nb_calc_perm
+                try:
+                    resultats = run.get_resultats_calcul()
+                    values['nb_calc_perm'] = len(resultats.res_calc_pseudoperm)
+                except IOError as e:
+                    logger.warning("Aucun résultat trouvé (fichier rcal manquant) pour le Run #%s" % run.id)
+                    values['nb_calc_perm'] = 0
+
+                # Compute nb_services_ok
+                nb_services_ok = 0
+                for service, traces in run.traces.items():
+                    if traces and run.nb_erreurs_bloquantes([service]) == 0:
+                        if service == 'r':
+                            # Display a message to check Crue10 version
+                            logger.debug("%s: %s" % (exe_id, traces[0].get_message()))
+                        nb_services_ok += 1
+
+                # Save criteria in values and append them in df_runs
+                values.update(OrderedDict([
+                    ('nb_services_ok', nb_services_ok),
+                    ('nb_erreurs_calcul', run.nb_erreurs_calcul()),
+                    ('nb_avertissements_calcul', run.nb_avertissements_calcul()),
+                ]))
+                for var, value in values.items():
+                    serie = pd.Series({
+                        'etude_dossier': etude_dossier, 'etude_basename': os.path.basename(etude.etu_path),
+                        'scenario': scenario.id, 'exe_id': exe_id,
+                        'run_idx': run_idx, 'run_id': run.id,
+                        'variable': var, 'value': value
+                    })
+                    df_runs.loc[len(df_runs)] = serie
+
+            except ExceptionCrue10 as e:
+                logger.critical("ERREUR CRITIQUE :\n%s" % e)
+
+    return df_runs
+
+
 def launch_runs(dossier, scenarios_dict=None, crue_exe_dict={'prod': CRUE10_EXE_PATH}, overwrite=True):
     """
     :param dossier: dossier contenant des sous-dossiers avec un ou plusieurs .etu.xml
@@ -189,7 +264,7 @@ def get_run_steady_results(dossier, df_runs_unique, reference, out_csv_diff_by_c
         diff = res_perm_curr - res_perm_ref
         diff_abs = np.abs(diff)
 
-        if out_csv_diff_by_calc is not None and row['exe_id'] == 'qualif':
+        if out_csv_diff_by_calc is not None and row['exe_id'] == COEUR_CIBLE:
             df_diff = pd.DataFrame({
                 'id_calcul': np.repeat(np.arange(nb_common_calc, dtype=int) + 1, diff.shape[1]),
                 'emh': resultats.emh[emh_type] * diff.shape[0],
diff --git a/snippets/_params.py b/snippets/_params.py
@@ -1,39 +1,21 @@
 # coding: utf-8
-"""
-Les versions des différents exécutables Crue10 :
-* 'qualif_c10m9': '10.1.12'
-* 'prod': '10.2.0'
-* 'local_v10.2': '10.2.0'  # Branche v10.2 créée le 04/07/2017 (source non précisé)
-* 'qualif_old_c10m10': '10.2.0'
-* 'qualif_c10m10v111': '10.3.0'
-* 'qualif': '10.3.2'  # Branche v10.3 (VS2017) créée le 20/03/2018 (à partir de v10.3)
-* 'local_v10.3': '10.3.2'  # Branche v10.3 créée le 25/01/2018 (à partir de DEV)
-"""
 from collections import OrderedDict
-from os import sep
+import os
 
 from crue10.utils import logger
 
 
 CSV_DELIMITER = ';'
 
+COEUR_REFERENCE = 'v10.5.0.0-VS2017'
+COEUR_CIBLE = 'v10.5.0.0-VS2022'
 
-CRUE10_EXE_REFERENCE = 'prod'
-
+DOSSIER_FUDAACRUE = 'C:/softs/FudaaCrue-1.4.3-20231201_Coeur-%s-%s' % (COEUR_CIBLE, COEUR_REFERENCE)
 
 CRUE10_EXE = OrderedDict([
-    # Liste des exécutables Crue10 à comparer
-    ('prod', 'P:/FudaaCrue/etc/coeurs/c10m10/exe/crue10.exe'.replace('/', sep)),
-    ('qualif', 'Q:/Qualif_Exec/FudaaCrue/etc/coeurs/c10m10/exe/crue10.exe'.replace('/', sep)),
-
-    # Référence utilisée pour les calculs de différences
-    # ('prod', 'P:/FudaaCrue/etc/coeurs/c10m10/exe/crue10.exe'.replace('/', sep)),
-
-    # Calculs à comparer à la référence
-    # failed .STO/.STR missing: ('qualif_c10m9', 'Q:/Qualif_Exec/FudaaCrue/etc/coeurs/c10m9/exe/crue10.exe'.replace('/', sep)),
-    # same as prod: ('qualif_old_c10m10', 'Q:/Qualif_Exec/FudaaCrue/etc/coeurs/old_c10m10/exe/crue10.exe'.replace('/', sep)),
-    # ('qualif_c10m10v111', 'Q:/Qualif_Exec/FudaaCrue/etc/coeurs/c10m10v111/exe/crue10.exe'.replace('/', os.sep)),
-    # ('qualif', 'Q:/Qualif_Exec/FudaaCrue/etc/coeurs/c10m10/exe/crue10.exe'.replace('/', sep)),
+    # Les 2 exécutables Crue10 à comparer (ordre : old_c10m10 puis c10m10)
+    (COEUR_REFERENCE, os.path.join(DOSSIER_FUDAACRUE, 'etc/coeurs/old_c10m10/exe/crue10.exe'.replace('/', os.sep))),
+    (COEUR_CIBLE, os.path.join(DOSSIER_FUDAACRUE, 'etc/coeurs/c10m10/exe/crue10.exe'.replace('/', os.sep))),
 ])
 
 
diff --git a/snippets/stat_diff_calculs_Cas-tests.py b/snippets/stat_diff_calculs_Cas-tests.py
@@ -1,6 +1,6 @@
 # coding: utf-8
 """
-Statistiques sur les résulats des cas de validation du code Crue10 (tous les scénarios)
+Statistiques sur les résultats des cas de validation du code Crue10 (tous les scénarios)
 
 Beware: compatibility with Python 2 is not tested for figures (at least you have to replace `height` argument by `size`)
 """
@@ -13,15 +13,16 @@
 import seaborn as sns
 from time import time
 
+from crue10.campagne_otfa import FichierOtfa
 from crue10.utils import logger
-from crue10.utils.multiple_runs import get_run_steady_results, launch_runs
-from _params import CRUE10_EXE, CRUE10_EXE_REFERENCE, CSV_DELIMITER, write_csv
+from crue10.utils.multiple_runs import get_run_steady_results, parse_otfa_runs
+from _params import CRUE10_EXE, COEUR_CIBLE, COEUR_REFERENCE, CSV_DELIMITER, write_csv
 
 
-DOSSIER_IN = os.path.join('..', '..', '..', 'SHY_C10_Crue10_Cas-tests_gprec', 'Cas-tests')
-RUN_CALCULATIONS, WRITE_DIFF_DATAFRAME, PLOT_RUN_BARPLOT, PLOT_DIFF_BARPLOT, PLOT_DIFF_HEATMAP = \
+DOSSIER = "C:/PROJETS/Cas-tests_v10.5.0.0-VS2022/"
+PARSE_OTFA, WRITE_DIFF_DATAFRAME, PLOT_RUN_BARPLOT, PLOT_DIFF_BARPLOT, PLOT_DIFF_HEATMAP = \
     True, True, True, True, True
-CRUE10_EXE_HEATMAP = 'qualif'
+CRUE10_EXE_HEATMAP = COEUR_CIBLE
 
 # Nommage des fichiers de sortie du script
 DOSSIER_OUT = os.path.join('..', 'tmp', 'stat_calculs_Cas-tests')
@@ -34,16 +35,19 @@
 t1 = time()
 
 
-if RUN_CALCULATIONS:
-    df_runs = launch_runs(DOSSIER_IN, None, CRUE10_EXE, overwrite=True)
+if PARSE_OTFA:
+    fichier_otfa = FichierOtfa('Cas-tests', mode='r',
+                               files={'otfa': os.path.join(DOSSIER, 'OTFA', 'Cas-tests.otfa.xml')})
+    fichier_otfa.read_otfa()
+    df_runs = parse_otfa_runs(fichier_otfa)
     write_csv(df_runs, OUT_CSV_RUNS_FILE)
 
 
 if WRITE_DIFF_DATAFRAME:
     df_runs = pd.read_csv(OUT_CSV_RUNS_FILE, delimiter=CSV_DELIMITER)
     cols = ['etude_dossier', 'etude_basename', 'scenario', 'run_idx', 'run_id', 'exe_id']
     df_runs_unique = df_runs[cols].drop_duplicates()
-    df_diff_stat = get_run_steady_results(DOSSIER_IN, df_runs_unique, CRUE10_EXE_REFERENCE)
+    df_diff_stat = get_run_steady_results(os.path.join(DOSSIER, 'Cas-tests'), df_runs_unique, COEUR_REFERENCE)
     write_csv(df_diff_stat, OUT_CSV_DIFF_FILE)
 
 
@@ -87,7 +91,7 @@
 if PLOT_DIFF_BARPLOT:
     # Read data to plot
     df_diff_stat = pd.read_csv(OUT_CSV_DIFF_FILE, delimiter=CSV_DELIMITER)
-    df_diff_stat = df_diff_stat[df_diff_stat['exe_id'] != CRUE10_EXE_REFERENCE]
+    df_diff_stat = df_diff_stat[df_diff_stat['exe_id'] != COEUR_REFERENCE]
     # df_diff_stat = df_diff_stat[df_diff_stat['scenario'] != 'Sc_AV2011_c10']
     # df_diff_stat = df_diff_stat[df_diff_stat['scenario'] != 'Sc_M31-4_c10']
     df_diff_stat = df_diff_stat.sort_values(by='scenario')
diff --git a/snippets/stat_diff_calculs_Conc.py b/snippets/stat_diff_calculs_Conc.py
@@ -11,20 +11,21 @@
 import seaborn as sns
 from time import time
 
+from crue10.campagne_otfa import FichierOtfa
 from crue10.utils import logger
-from crue10.utils.multiple_runs import get_run_steady_results, launch_runs
-from _params import CRUE10_EXE, CRUE10_EXE_REFERENCE, CSV_DELIMITER, \
+from crue10.utils.multiple_runs import get_run_steady_results, parse_otfa_runs
+from _params import CRUE10_EXE, COEUR_REFERENCE, CSV_DELIMITER, \
     ETATREF_SCENARIO_PAR_AMENAGEMENT, write_csv
 
 
-DOSSIER_IN = os.path.join('..', '..', '..', 'SHY_C10_Crue10_Cas-tests_gprec', 'Conc')
-RUN_CALCULATIONS, WRITE_DIFF_DATAFRAME, PLOT_RUN_BARPLOT, PLOT_DIFF_BARPLOT, PLOT_BOXPLOT = \
+DOSSIER = "C:/PROJETS/Cas-tests_v10.5.0.0-VS2022/"
+PARSE_OTFA, WRITE_DIFF_DATAFRAME, PLOT_RUN_BARPLOT, PLOT_DIFF_BARPLOT, PLOT_BOXPLOT = \
     True, True, True, True, True
 REFERENCE = list(CRUE10_EXE.keys())[0]
 
 # Nommage des fichiers de sortie du script
 DOSSIER_OUT = os.path.join('..', 'tmp', 'stat_calculs_Conc')
-os.makedirs(DOSSIER_OUT)
+os.makedirs(DOSSIER_OUT, exist_ok=True)
 OUT_CSV_RUNS_FILE = os.path.join(DOSSIER_OUT, 'bilan_runs.csv')
 OUT_CSV_DIFF_FILE = os.path.join(DOSSIER_OUT, 'bilan_stat_diff.csv')
 OUT_CSV_DIFF_BY_CALC = os.path.join(DOSSIER_OUT, '%s_diff_qualif-prod.csv')  # %s = etude_dossier
@@ -34,17 +35,19 @@
 t1 = time()
 
 
-if RUN_CALCULATIONS:
-    df_runs = launch_runs(DOSSIER_IN, ETATREF_SCENARIO_PAR_AMENAGEMENT,
-                          CRUE10_EXE, overwrite=True)
+if PARSE_OTFA:
+    fichier_otfa = FichierOtfa('Conc', mode='r',
+                               files={'otfa': os.path.join(DOSSIER, 'OTFA', 'Conc.otfa.xml')})
+    fichier_otfa.read_otfa()
+    df_runs = parse_otfa_runs(fichier_otfa, ETATREF_SCENARIO_PAR_AMENAGEMENT)
     write_csv(df_runs, OUT_CSV_RUNS_FILE)
 
 
 if WRITE_DIFF_DATAFRAME:
     df_runs = pd.read_csv(OUT_CSV_RUNS_FILE, delimiter=CSV_DELIMITER)
     cols = ['etude_dossier', 'etude_basename', 'scenario', 'run_idx', 'run_id', 'exe_id']
     df_runs_unique = df_runs[cols].drop_duplicates()
-    df_diff_stat = get_run_steady_results(DOSSIER_IN, df_runs_unique, CRUE10_EXE_REFERENCE,
+    df_diff_stat = get_run_steady_results(os.path.join(DOSSIER, 'Conc'), df_runs_unique, COEUR_REFERENCE,
                                           out_csv_diff_by_calc=OUT_CSV_DIFF_BY_CALC)
     write_csv(df_diff_stat, OUT_CSV_DIFF_FILE)
 
@@ -57,8 +60,10 @@
     # Build a FacetGrid object with barplots
     sns.set_context('notebook', font_scale=1.5, rc={'lines.linewidth': 2.5})
     g = sns.FacetGrid(df_runs, row='variable', sharey='row', height=4, aspect=3)
-    g = g.map(sns.barplot, 'etude_dossier', 'value', 'exe_id', order=ETATREF_SCENARIO_PAR_AMENAGEMENT.keys(),
-              hue_order=CRUE10_EXE.keys(), palette="husl", errorbar=None)
+    g = g.map(sns.barplot, 'etude_dossier', 'value', 'exe_id',
+              # order=ETATREF_SCENARIO_PAR_AMENAGEMENT.keys(),
+              # hue_order=CRUE10_EXE.keys(),
+              palette="husl", errorbar=None)
 
     # Sets xlabels and ylabels from titles
     for i, axes in enumerate(g.axes[:, :]):
@@ -83,7 +88,7 @@
 if PLOT_DIFF_BARPLOT:
     # Read data to plot
     df_diff_stat = pd.read_csv(OUT_CSV_DIFF_FILE, delimiter=CSV_DELIMITER)
-    df_diff_stat = df_diff_stat[df_diff_stat['exe_id'] != CRUE10_EXE_REFERENCE]
+    df_diff_stat = df_diff_stat[df_diff_stat['exe_id'] != COEUR_REFERENCE]
 
     # Build a FacetGrid object with barplots
     g = sns.FacetGrid(df_diff_stat, row='variable', sharey='row', height=4, aspect=3)
@@ -128,6 +133,5 @@
         fig.savefig(csv_path.replace('.csv', '.png'))
         plt.close()
 
-
 t2 = time()
 logger.info("=> Temps d'exécution = {}s".format(t2 - t1))
