关于模型加载和启动的一些问题

[Cyran-L]

• 如何指定 llm 模型使用 openai-api，embedding 模型使用 bge-m3？
• process_model、llm_model、action_model 、postprocess_model 的作用分别是什么？

[dosubot[bot]]

@KillingAlisa 你好！我是Dosu，我是一个可以帮助你解决问题、回答疑问并成为贡献者的机器人。有任何问题都可以问我！

要指定 LLM 模型使用 openai-api，embedding 模型使用 bge-m3，可以通过设置 DEFAULT_LLM_MODEL 和 DEFAULT_EMBEDDING_MODEL 来实现。使用以下代码进行设置：

config_model_workspace.set_default_llm_model("openai-api")
config_model_workspace.set_default_embedding_model("bge-m3")

关于 process_model、llm_model、action_model、postprocess_model 的作用：

• process_model: 用于意图识别，不需要输出，模型后台知道就行。配置参数如 temperature、max_tokens 等用于控制模型的行为。
• llm_model: 主要的语言模型，用于生成对话或文本。配置参数如 temperature、max_tokens、history_len 等用于控制生成文本的特性。
• action_model: 用于执行特定的动作或任务，可能与特定的 prompt 相关联。配置参数如 temperature、max_tokens、prompt_name 等用于控制模型的行为。
• postprocess_model: 用于后处理生成的文本，可能用于格式化或进一步调整输出。配置参数如 temperature、max_tokens 等用于控制后处理的特性^[1][2]。

To continue talking to Dosu, mention @dosu.

---

^{Help Dosu learn! Give it feedback: Great Response | Irrelevant Answer | Incorrect Sources | Too Verbose | Hallucination | Other}