110 improving fine tuned models (#122)

Author: kajahovinbole

app/db/chroma_db/7d3a257a-87cb-4624-9997-2e96cc2b4f3a/data_level0.bin

@@ -70,7 +70,7 @@ def __init__(
     def get_db(self):
         return self.db
 
-    def search(self, query: str, limit: int = 10) -> Optional[dict]:
+    def search(self, query: str, limit: int) -> Optional[dict]:
         """
         Search the ChromaDB for documents similar to the query text.
 

app/db/chroma_db/7d3a257a-87cb-4624-9997-2e96cc2b4f3a/length.bin

@@ -89,23 +89,22 @@ def __init__(
         self.top_p = top_p
         self.named_endpoint = named_endpoint
 
-        if self.use_azure:
-            self.azure_endpoint = azure_endpoint
-            self.azure_api_key = os.getenv('AZURE_API_KEY')
-
-            retry_policy = RetryPolicy()
-            retry_policy.total_retries = 3
-            retry_policy.connect_retries = 2
-            retry_policy.read_retries = 2
-            retry_policy.status_retries = 2
-            retry_policy.backoff_factor = 0.5
-
-            self.client = ChatCompletionsClient(
-                endpoint=self.azure_endpoint,
-                credential=AzureKeyCredential(self.azure_api_key),
-                api_version='2024-05-01-preview',
-                retry_policy=retry_policy,
-            )
+        self.azure_endpoint = azure_endpoint
+        self.azure_api_key = os.getenv('AZURE_API_KEY')
+
+        retry_policy = RetryPolicy()
+        retry_policy.total_retries = 3
+        retry_policy.connect_retries = 2
+        retry_policy.read_retries = 2
+        retry_policy.status_retries = 2
+        retry_policy.backoff_factor = 0.5
+
+        self.client = ChatCompletionsClient(
+            endpoint=self.azure_endpoint,
+            credential=AzureKeyCredential(self.azure_api_key),
+            api_version='2024-05-01-preview',
+            retry_policy=retry_policy,
+        )
 
     def generate_response(
         self,

app/db/chroma_db/da4a80ab-d64c-469d-b4ac-6f9e4530b9a4/data_level0.bin

@@ -1,7 +1,7 @@
 import logging
 from typing import Any, Optional
 
-from app.config import SIMILARITY_THRESHOLD
+from app.config import USE_AZURE, SIMILARITY_THRESHOLD
 from app.models.endpoint_enum import NamedEndpoint
 from app.services.llm_service import LLMService
 from app.services.chroma_service import ChromaService
@@ -71,7 +71,7 @@ def run_query(
         previous: Optional[list[str]] = None,
         external_context: Optional[dict[str, Any]] = None,
         logs: Optional[str] = None,
-        limit: int = 7,
+        limit: Optional[int] = None,
     ) -> str:
         """
         Runs a query against the ChromaDB, retrieves relevant document chunks and runs this query to an LLM.
@@ -88,6 +88,9 @@ def run_query(
 
         # TODO: Add optional log-search-functionality
 
+        if limit is None:
+            limit = 10 if USE_AZURE else 3
+
         faq_str = ''
         try:
             retrieved_context = self._search_docs(
@@ -156,7 +159,7 @@ def _search_faq(
     def _search_docs(
         self,
         user_query: str,
-        limit: int = 10,
+        limit: int,
         endpoint: NamedEndpoint = NamedEndpoint.DEFAULT,
     ):
         user_query = self.llm_service.clean_query(user_query)

app/db/chroma_db/da4a80ab-d64c-469d-b4ac-6f9e4530b9a4/length.bin

@@ -45,7 +45,7 @@ def get_prompt(
         ):
             if USE_AZURE:
                 return f"""
-                     Du er en hjelpsom DigDir-assistent. Du svarer på spørsmål basert på denne dokumentasjonen, men dersom Digdir sin dokumentasjon er tom må du være hyggelig og si at du ikke vet.
+                    Du er en hjelpsom DigDir-assistent. Du svarer på spørsmål basert på denne dokumentasjonen, men dersom Digdir sin dokumentasjon er tom må du være hyggelig og si at du ikke vet.
                     Svar på norsk om spørsmålet er på norsk, svar på engelsk om spørsmålet er på engelsk.
                     Svar kort og tydelig, men med relevante detaljer fra kildene. Ikke gjett.
                     Husk å ta høyde for den tidligere samtalen, og bruk det dersom det er relevant. Vær obs på at brukeren kan stille helt nye spørsmål som ikke er relatert til tidligere samtale.
@@ -69,16 +69,37 @@ def get_prompt(
 
             else:
                 return f"""
-                    You are a helpful Digdir assistant.
-                    Always reply in the same language as the user (Norwegian or English).
-                    If the answer is in the documentation → respond briefly and factually.
-                    If only partial info → respond and add:
-                    "For more details, contact brukerstotte@digdir.no."
-                    If no info exists → reply:
-                    "I can't help based on the available documentation. Please contact brukerstotte@digdir.no."
-                    If the question is vague → ask for clarification.
-                    If the user wants to talk to a human → say they can contact brukerstotte@digdir.no.
-                    Be polite, professional, and do not guess.
+
+                    Du skal svare basert på dokumentasjonen og tidligere samtale og ikke noe annet. Etterlign det i Digdir-dokumentasjonen.
+                    Ikke gjett, spekuler eller finn på informasjon.
+
+                    Svar på samme språk som dokumentasjonen. Bruk gjerne mange av de samme ordene
+
+                    ---
+
+                    Retningslinjer:
+
+                    1. Hvis dokumentasjonen tydelig svarer på spørsmålet:  
+                    → Svar kort, presist og faktabasert.
+
+                    2. Hvis dokumentasjonen bare delvis dekker spørsmålet:  
+                    → Del det du vet, og legg til:  
+                    "For mer informasjon, kontakt brukerstotte@digdir.no."
+
+                    3. Hvis du ikke vet svaret:  
+                    → Svar:  
+                    "Jeg kan ikke hjelpe basert på den dokumentasjonen jeg har. Kontakt servicedesk@digdir.no."
+
+                    4. Hvis spørsmålet er uklart eller for generelt:  
+                    → Be brukeren utdype.
+
+                    5. Hvis det er småprat (hei, takk o.l.):  
+                    → Svar kort og høflig.
+
+                    ---
+
+                    Tone: profesjonell, hjelpsom og løsningsorientert.  
+                    Svar alltid på grunnlag av dokumentasjonen. Aldri spekuler.
 
                     Digdir-dokumentasjon:
                     {retrieved_context}
@@ -173,12 +194,9 @@ def get_prompt(
 
                     ---
 
-                Tone: profesjonell, hjelpsom og løysingsorientert. Aldri spekuler. Bruk dokumentasjonen så langt den rekk.
-                
-                Dersom spørsmålet er veldig kort og det er tydelig at det er avhengig av konteksten, bruk det som er gitt i `tidligere samtale` for å gi eit relevant svar.
-                
-                Logger:
-                {logs}
+                    Tone: profesjonell, hjelpsom og løysingsorientert. Aldri spekuler. Bruk dokumentasjonen så langt den rekk.
+                    
+                    Dersom spørsmålet er veldig kort og det er tydelig at det er avhengig av konteksten, bruk det som er gitt i `tidligere samtale` for å gi eit relevant svar.
 
                     Tidligere samtale:
                     {previous}
@@ -194,27 +212,45 @@ def get_prompt(
 
             else:
                 return f"""
-                    You are a helpful Digdir assistant.
-                    Always reply in the same language as the user (Norwegian or English).
-                    If the answer is in the documentation → respond briefly and factually.
-                    If only partial info → respond and add:
-                    "For more details, contact servicedesk@digdir.no."
-                    If no info exists → reply:
-                    "I can't help based on the available documentation. Please contact servicedesk@digdir.no."
-                    If the question is vague → ask for clarification.
-                    If the user wants to talk to a human → say they can contact servicedesk@digdir.no.
-                    Be polite, professional, and do not guess.
+                    Du er en hjelpsom assistent for Digdir (Digitaliseringsdirektoratet).  
+                    Du skal kun svare basert på dokumentasjonen og tidligere samtale – ikke gjett, spekuler eller finn på informasjon.
 
-                    Digdir-dokumentasjon:
-                    {retrieved_context}
-                    
-                    Lignende tidligere spørsmål og svar:
-                    {faq_str}
+                    Svar på samme språk som dokumentasjonen. Bruk gjerne mange av de samme ordene
+
+                    ---
+
+                    Retningslinjer:
+
+                    1. Hvis dokumentasjonen tydelig svarer på spørsmålet:  
+                    → Svar kort, presist og faktabasert.
+
+                    2. Hvis dokumentasjonen bare delvis dekker spørsmålet:  
+                    → Del det du vet, og legg til:  
+                    "For mer informasjon, kontakt servicedesk@digdir.no."
+
+                    3. Hvis du ikke vet svaret:  
+                    → Svar:  
+                    "Jeg kan ikke hjelpe basert på den dokumentasjonen jeg har. Kontakt servicedesk@digdir.no."
+
+                    4. Hvis spørsmålet er uklart eller for generelt:  
+                    → Be brukeren utdype.
+
+                    5. Hvis det er småprat (hei, takk o.l.):  
+                    → Svar kort og høflig.
+
+                    ---
+
+                    Tone: profesjonell, hjelpsom og løsningsorientert.  
+                    Svar alltid på grunnlag av dokumentasjonen. Aldri spekuler.
 
-                    Tidligere samtale:
-                    {previous}
                     
-                    Spørsmål:
+                    Tidlegare samtale:
+                    {previous}
+
+                    Relevant dokumentasjon:
+                    {retrieved_context}
+
+                    Spørsmål frå brukaren:
                     {user_query}
 
                     Svar: