Asanaは、StackAIのブラウザ操作を自動化するAIの検証で、従来の本番構成に比べて推定モデルコストを76分の1に削減し、処理速度を5倍にしたと発表しました。GPT‑6.1 Solと閲覧履歴の管理を最適化した構成では、1回の処理が平均0.47ドル、約4分になりました。
76分の1はモデルを替えただけの成果ではない
今回の数字で押さえたいのは、比較しているのがモデル単体の性能ではなく、モデルと処理の仕組みを組み合わせた結果だという点です。ブラウザエージェントとは、ウェブページを読み取り、情報収集やフォーム入力などを進めるAIです。Asanaは、買収したStackAIを通じて、こうした業務の自動化を提供しています。
検証では、公開デモカタログから32冊の書籍について、それぞれ6項目の情報を集めました。4つのモデルと複数の設定を計144回試しています。当初使っていたモデルBでは、1回の推定モデルコストが36.21ドル以上でしたが、処理の仕組みを見直すだけで1.24ドルに下がりました。さらにGPT‑6.1 Solを使った最適化済み構成では、0.47ドルになっています。
つまり、モデルBのままでも約29分の1まで費用を減らせたわけです。76分の1という見出しの裏では、モデル選びに先立つ処理設計の改善が、大きな役割を果たしています。
節約の鍵はAIに渡す閲覧履歴だった
従来の構成では、固定の指示などはキャッシュされていましたが、蓄積するページ本文やスクリーンショットの履歴は対象外でした。キャッシュは、一度処理した入力を再利用する仕組みです。履歴を再利用できなければ、AIを呼び出すたびに過去の情報を送り直し、その分の料金がかかります。
しかも、ほぼ毎ステップで古い画像を削除し、文章も短くしていました。履歴が頻繁に書き換わるため、キャッシュを導入するだけでは効果が出にくい状態です。情報を消しすぎると、すでに読んだページを再訪する原因にもなり得ます。
そこで、履歴を保持する上限を12万文字から48万文字に増やし、閲覧履歴もキャッシュの対象にしました。スクリーンショットは20枚までためてから、最新の1枚だけを残す方式を採用しています。毎回整理するのではなく、まとめて整理することで、過去の履歴を変更せずに使える期間を長くしました。
情報を多く残しても費用は下がる
AIに渡す情報を減らせば安くなる。今回の結果は、その考え方だけではエージェントの費用を説明できないことを示しています。情報を残して再利用し、無駄な再確認を減らすほうが、処理全体では安く済む場合があります。
GPT‑6.1 Solでは、履歴保持上限を拡大した条件でキャッシュと画像管理を見直すと、1回の推定モデルコストが1.97ドルから0.47ドルへ下がりました。最適化後は入力の89％がキャッシュから供給され、その部分の料金はキャッシュを使わない場合の5％でした。
履歴の量は、タスクの完了にも影響しています。GPT‑6.1 Solで回答を生成できた実行は、保持上限が小さい条件では18回中3回でしたが、大きい条件では18回すべてでした。検証では、その18回すべてで正しい回答が得られています。
改善案を試す作業にもAIを使った
実際にブラウザを操作するGPT‑6.1 Solとは別に、調査と改善のために使われたのが、CodexのGPT‑6 Astraです。コードの構造を調べ、履歴管理の問題を洗い出し、実験用にコードを組み直して複数の設定を並列に検証しました。
人間が関与しなかったわけではありません。StackAIのCTOを務めるFrank Hidalgo氏が提案を確認し、検証する修正案を選びました。実験の記録や出力は別のモデルセッションでもレビューされ、Asanaの開発基盤Commandに残されています。変更はチケットとプルリクエストを経て、本番環境に反映されました。
Hidalgo氏は、手作業なら1〜2か月かかったと見積もる調査が、約1週間で済んだと説明しています。この期間の差は同氏の見積もりとの比較であり、同じ作業を人間だけで行った対照実験の結果ではありません。
導入判断では費用と完了率を一緒に見る
今回の0.47ドルは推定モデルコストであり、人件費やシステム運用費を含む総費用ではありません。また、比較元の一部は処理回数の上限に達して未完了だったため、36.21ドル以上、22.5分以上という値は下限です。主要な比較値は各構成3回の平均で、あらゆるウェブ業務に同じ削減率を適用できるわけではありません。
最適化済み構成同士では、モデルCが0.66ドル、3.5分、GPT‑6.1 Solが0.47ドル、約4分でした。このタスクではSolの費用が低い一方、実行時間はモデルCのほうが短く、安さと速さで順位が異なっています。
Asanaは今回の変更をStackAIのブラウザ操作機能に反映しました。今後は検証をプラットフォームの評価機能に組み込み、顧客や社内チームが設定ごとのコスト、実行時間、回答品質を比較できるようにする予定です。
コメント