feat: switch to llama 3.1 8b as default

Author: fboulnois

README.md

@@ -13,7 +13,7 @@ used instead.
 
 ```bash
 make build
-make llama-2-13b
+make llama-3-8b
 make up
 ```
 

docker-compose.yml

@@ -5,7 +5,7 @@ services:
     environment:
       - GGML_CUDA_NO_PINNED=1
       - LLAMA_CTX_SIZE=2048
-      - LLAMA_MODEL=/models/llama-2-13b-chat.Q5_K_M.gguf
+      - LLAMA_MODEL=/models/Meta-Llama-3.1-8B-Instruct-Q5_K_M.gguf
       - LLAMA_N_GPU_LAYERS=99
     volumes:
       - ./models:/models

docker-entrypoint.sh

@@ -62,7 +62,7 @@ set_default_env_vars() {
     export LLAMA_HOST="0.0.0.0"
   fi
   if [ -z ${LLAMA_MODEL+x} ]; then
-    export LLAMA_MODEL="/models/llama-2-13b-chat.Q5_K_M.gguf"
+    export LLAMA_MODEL="/models/Meta-Llama-3.1-8B-Instruct-Q5_K_M.gguf"
   fi
 }