关于gui_agent中history的具体来源

[Longinus02]

在具体的prompt格式中，# Historical Actions and Current Memory的格式与输出格式相同，那history的来源是上一个推理的结果出来之后再提取整合进下一个的prompt，还是说直接从原数据集中进行提取组合？如果是前一种的话就必须进行串行推理而且影响效率，所以想确认一下history的具体来源。

[zRzRzRzRzRzRzR]

1. 在训练的时候，数据是事先组织好的，组织好的数据里已经有历史记录

2. 在agent 和 GUI 交互的时候，agent 是「计算前一步->在 GUI 上模拟计算的结果->截图->计算下一步」，因此必然是需要串行推理的。

[Longinus02]

例如GUI_Odyssery和Android Control这样的agent数据集，评估时没有在GUI上模拟计算结果这样的步骤，这样的数据集评估也是串行推理吗？如果串行推理，那么中间只要和gt对比有一步不正确，应该会导致连锁反应，所以你们进行模型评估任务的时候，会针对开源数据集，预先生成resaon等内容吗？

[zRzRzRzRzRzRzR]

如果串行推理，那么中间只要和gt对比有一步不正确，应该会导致连锁反应，所以你们进行模型评估任务的时候，会针对开源数据集，预先生成resaon等内容吗？」---> 我们目前只测试了在线的榜单（也就是需要由模型驱动一个 agent 在真实 GUI 环境中交互的），没有测试离线榜单（也就是预先给定截图的）。如果要评估离线榜单的话，可以尝试根据历史步骤预先生成 history 的内容（类似于 teacher forcing？）。不过也要注意到，可能有多种路径完成一个 GUI 任务，和 gt 不匹配不一定是错误的。

[Longinus02]

那想问一下目前在线榜单你们主要针对哪些进行了测试呢？然后离线榜单评估的话得将数据集先处理，例如形成think内容填入Reason等，将符合提供的prompt模板中history格式的部分先尝试自己生成组合成新的数据集形式再进行推理，是推荐进行这样的尝试吗？