端到端评估locomo数据集使用的LLM是GPT-4o-mini，非开源模型，这个评估就没有使用kv-cache吗？ #78
-
|
|
Beta Was this translation helpful? Give feedback.
Answered by
MarrytheToilet
Jul 15, 2025
Replies: 2 comments
-
|
可以帮忙解答下～ |
Beta Was this translation helpful? Give feedback.
0 replies
-
|
我们第一个版本仅采用明文记忆进行测试，使用GPT-4o-mini主要目的是为了与当前的记忆框架测试结果保持一致。KV-cache 记忆可以视为对明文记忆的预填充操作的加速，其使用仅限于本地开源模型，并且理论上不会影响模型的输出结果。我们在表 5 的测试中也验证了这一点。我们计划在后续版本中加入对 KV-cache 的评估流程及相应的测试结果。 |
Beta Was this translation helpful? Give feedback.
0 replies
Answer selected by
Ki-Seki
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
我们第一个版本仅采用明文记忆进行测试，使用GPT-4o-mini主要目的是为了与当前的记忆框架测试结果保持一致。KV-cache 记忆可以视为对明文记忆的预填充操作的加速，其使用仅限于本地开源模型，并且理论上不会影响模型的输出结果。我们在表 5 的测试中也验证了这一点。我们计划在后续版本中加入对 KV-cache 的评估流程及相应的测试结果。