Asana宣布，在一项优化StackAI浏览器操作AI的验证中，采用GPT‑6.1 Sol的方案，预计模型成本平均每次为0.47美元，执行时间约为4分钟。与最初的生产环境方案相比，成本降至约1/76，处理速度提高约5倍。
降至1/76并非仅靠更换模型
打开网页、查找所需信息并填写表单。与只生成一次回答的AI不同，代劳这类操作的浏览器智能体会在执行过程中多次调用模型。Asana收购的StackAI允许客户无需编写代码，就能构建跨多个业务应用的自动化流程。
解读这次公布的数据时，需要注意约1/76的降幅同时包含流程优化和模型更换的效果。即使使用最初采用的模型B，经过优化后，预计模型成本也从每次36.21美元以上降至1.24美元。之后改用GPT‑6.1 Sol，成本进一步降至0.47美元。大部分降幅在更换模型之前就已实现。
此外，这里所说的成本是模型使用费的估算值，并不意味着包括服务器费用以及开发、运维人力成本在内的总费用也按相同比例下降。
过度删减历史记录会让AI重读同一页面
负责此次调查的StackAI首席技术官Frank Hidalgo委托Codex的GPT‑6 Astra分析代码并验证改进方案。发现的问题之一是，每次向模型发起请求时，都会重新发送网页正文和截图的历史记录。固定指令等内容可以重复利用，但不断增长的浏览历史却没有采用同样的机制。
此外，系统几乎每一步都会删除旧图像并截短文本。频繁改写历史记录会降低缓存的效果，而缓存能够重复利用已处理过的输入，从而减少费用。如果删除的信息过多，AI还可能重新访问已经读过的页面。缩短输入的做法反而可能增加工作量。
不必每次都删除图像，积累20张后再整理
验证中，研究人员将历史记录保留上限设为12万和48万字符，并调整缓存和图像管理策略，使用4种模型共执行144次。所有模型面对的任务相同：从公开演示目录中收集32本书各自的6项信息。
优化后的GPT‑6.1 Sol方案会先保留最多20张截图，之后只留下最新的一张。与每次都删除不同，集中整理可以延长历史记录不变、得以重复利用的时间。
即使只比较GPT‑6.1 Sol，在扩大历史记录保留上限的条件下调整缓存和图像管理后，预计模型成本也从1.97美元降至0.47美元。优化后，89%的输入通过缓存处理，这部分的费用为常规输入费用的5%。起作用的并非单纯减少信息，而是让保留的信息更便于重复利用。
变化的不只是成本，还有任务完成率
历史记录管理也会影响任务能否完成。在GPT‑6.1 Sol的测试中，保留上限较小的条件下，18次运行中只有3次生成了回答；保留上限较大的条件下，18次运行全部生成了回答，而且结果均正确。
不过，对约1/76和约5倍这两个比较结果仍需谨慎看待。最初的方案中包含了一些尚未完成任务、就已达到步骤数上限的运行，因此成本36.21美元以上、耗时22.5分钟以上这两个数值代表的是下限。主要比较数据也只是各方案运行3次后的平均值，且仅适用于此次信息收集任务。无法据此断定其他网站或业务也能实现同样的降幅。
不同模型各有所长。优化后的模型C成本为0.66美元、耗时3.5分钟；相比之下，GPT‑6.1 Sol成本为0.47美元、耗时约4分钟。前者成本更高，但执行时间更短。部署时需要分别比较成本和速度。
AI负责运行实验，人类检查改动
此次，GPT‑6 Astra不仅提出了改进方案，还负责修改代码以统一实验条件，并运行验证。另一个模型会话负责审查工作，请求和结果则记录在Asana的开发平台Command中。Hidalgo称，如果由人工操作，这项调查预计需要1至2个月，而实际约一周就完成了。这一时间差是负责人估算的结果，并非与人工实验进行比较后的结论。
这个案例表明，在考虑AI运营成本时，除了模型单价，调用方式和历史记录管理也有同等重要的优化空间。Asana已将此次改动应用于StackAI的浏览器操作功能。未来，公司计划在评估功能中加入测试，让客户和内部团队能够比较不同设置下的成本、执行时间和回答质量。
コメント