feat: switch to built-in environment variables

Author: fboulnois

docker-compose.yml

@@ -4,9 +4,9 @@ services:
     image: llama-cpp-docker
     environment:
       - GGML_CUDA_NO_PINNED=1
-      - LLAMA_CTX_SIZE=2048
-      - LLAMA_MODEL=/models/Meta-Llama-3.1-8B-Instruct-Q5_K_M.gguf
-      - LLAMA_N_GPU_LAYERS=99
+      - LLAMA_ARG_CTX_SIZE=2048
+      - LLAMA_ARG_MODEL=/models/Meta-Llama-3.1-8B-Instruct-Q5_K_M.gguf
+      - LLAMA_ARG_N_GPU_LAYERS=99
     volumes:
       - ./models:/models
     ports:

docker-entrypoint.sh

@@ -58,35 +58,13 @@ parse_args_download_model() {
 }
 
 set_default_env_vars() {
-  if [ -z ${LLAMA_HOST+x} ]; then
-    export LLAMA_HOST="0.0.0.0"
+  if [ -z ${LLAMA_ARG_HOST+x} ]; then
+    export LLAMA_ARG_HOST="0.0.0.0"
   fi
-  if [ -z ${LLAMA_MODEL+x} ]; then
-    export LLAMA_MODEL="/models/Meta-Llama-3.1-8B-Instruct-Q5_K_M.gguf"
-  fi
-}
-
-convert_llama_env_vars() {
-  LLAMA_ARGS=$(env | grep LLAMA_ | awk '{
-    # for each environment variable
-    for (n = 1; n <= NF; n++) {
-      # replace LLAMA_ prefix with --
-      sub("^LLAMA_", "--", $n)
-      # find first = and split into argument name and value
-      eq = index($n, "=")
-      s1 = tolower(substr($n, 1, eq - 1))
-      s2 = substr($n, eq + 1)
-      # replace _ with - in argument name
-      gsub("_", "-", s1)
-      # print argument name and value
-      print s1 " " s2
-    }
-  }')
 }
 
 parse_args_download_model "$@"
 set_default_env_vars
-convert_llama_env_vars
 
 set -x
-llama-server $LLAMA_ARGS
+llama-server