Change max new tokens & truncate

nsarrazin · nsarrazin · commit a08ec0a51d52 · 2023-12-11T17:25:36.000+01:00
diff --git a/.env.template b/.env.template
@@ -162,8 +162,8 @@ MODELS=`[
       "top_p" : 0.95,
       "repetition_penalty" : 1.2,
       "top_k" : 50,
-      "truncate" : 3072,
-      "max_new_tokens" : 1024,
+      "truncate" : 24576,
+      "max_new_tokens" : 8192,
       "stop" : ["</s>"]
     },
     "promptExamples" : [
