关于在对话框上传图片的功能

[kamen007]

感谢您分享这么棒的工作！
我现在在对话框中，可以进行联网和知识库的文字对答；想问下您，如果我要在对话框上传本地图片进行解析或分析，请问大致该如何去做？谢谢

[xerrors]

@kamen007 感谢关注，目前的对话接口是通过 chat 这个接口实现的：

Yuxi-Know/server/routers/chat_router.py

Lines 23 to 28 in 427f9bb

	@chat.post("/")
	def chat_post(
	query: str = Body(...),
	meta: dict = Body(None),
	history: list[dict] | None = Body(None),
	thread_id: str | None = Body(None)):

所以，你需要在这个参数里面传入用户上传的图片的路径，然后在历史消息管理里面新增消息的时候，除了增加这个 content 之外，也要新增 image（base64编码）。参考各个模型供应商对图片消息的支持，一般都是支持 base64格式的图片的。

Yuxi-Know/src/core/history.py

Lines 4 to 40 in 427f9bb

	class HistoryManager():
	def __init__(self, history=None, system_prompt=None):
	self.messages = history or []
	system_prompt = system_prompt or get_system_prompt()
	self.add_system(system_prompt)
	def add(self, role, content):
	self.messages.append({"role": role, "content": content})
	return self.messages
	def add_user(self, content):
	return self.add("user", content)
	def add_system(self, content):
	return self.add("system", content)
	def add_ai(self, content):
	return self.add("assistant", content)
	def update_ai(self, content):
	if self.messages[-1]["role"] == "assistant":
	self.messages[-1]["content"] = content
	return self.messages
	else:
	self.add_ai(content)
	return self.messages
	def get_history_with_msg(self, msg, role="user", max_rounds=None):
	"""Get history with new message, but not append it to history."""
	if max_rounds is None:
	history = self.messages[:]
	else:
	history = self.messages[-(2*max_rounds):]
	history.append({"role": role, "content": msg})
	return history

尤其需要注意的就是这个 add_user 和 get_history_with_msg。

这个其实比输入文档要复杂一些

如果实现了的话，欢迎PR 😘

[kamen007]

哈哈，好的。我按您的思路试试~