jack 3 veckor sedan
förälder
incheckning
9ef3159cf1
1 ändrade filer med 1 tillägg och 1 borttagningar
  1. 1 1
      app/core/runner/llm_backend.py

+ 1 - 1
app/core/runner/llm_backend.py

@@ -40,7 +40,7 @@ class LLMBackend:
             "messages": messages,
             "model": model,
             "stream": stream,
-            "max_tokens": 100000,
+            "max_tokens": 20000,
             #"presence_penalty": 0,
             #"frequency_penalty": 0
             # "parallel_tool_calls": parallel_tool_calls,