Asanaは、StackAIのブラウザ操作AIを最適化する検証で、GPT‑6.1 Solを使った構成の推定モデルコストが1回平均0.47ドル、実行時間が約4分になったと発表しました。当初の本番構成と比べ、コストは約76分の1、処理速度は約5倍になりました。
76分の1はモデルを替えただけの成果ではない
ウェブページを開き、必要な情報を探し、フォームに入力する。こうした操作を代行するブラウザエージェントは、回答を一度生成するAIとは違い、作業中に何度もモデルを呼び出します。Asanaが買収したStackAIでは、顧客がコードを書かずに、複数の業務アプリをまたぐ自動化の手順を組み立てられます。
今回の数字で押さえたいのは、約76分の1という削減幅に、処理手順の改善とモデル変更の両方が含まれている点です。当初使っていたモデルBでも、最適化によって推定モデルコストは1回36.21ドル以上から1.24ドルへ下がりました。そのうえでGPT‑6.1 Solを使うと、0.47ドルになっています。削減の大きな部分は、モデルを替える前に実現していました。
また、ここでいうコストはモデル利用料の推定値です。サーバー費用や開発・運用の人件費を含む総費用が、同じ割合で下がったという意味ではありません。
履歴を削りすぎるとAIは同じページを読み直す
調査を担当したStackAIのCTO、Frank Hidalgo氏は、CodexのGPT‑6 Astraにコードの分析と改善案の検証を依頼しました。見つかった問題の一つは、ページ本文やスクリーンショットの履歴を、モデルへの問い合わせのたびに送り直していたことです。固定の指示などは再利用できていましたが、増え続ける閲覧履歴には同じ仕組みが使われていませんでした。
さらに、ほぼ毎ステップで古い画像を削除し、テキストを切り詰めていました。履歴を頻繁に書き換えると、過去に処理した入力を再利用して料金を抑えるキャッシュが効きにくくなります。情報を消しすぎれば、AIがすでに読んだページを再訪する可能性もあります。入力を短くする工夫が、かえって作業を増やしかねない構造でした。
画像は毎回消さず20枚たまってから整理する
検証では、履歴の保持上限を12万文字と48万文字に設定し、キャッシュと画像管理の方針を変えて、4つのモデルで計144回実行しました。課題は共通で、公開デモカタログから32冊の書籍について、それぞれ6項目の情報を集めるものでした。
最適化したGPT‑6.1 Solの構成では、スクリーンショットを20枚までため、その後に最新の1枚だけを残す方法を採用しました。毎回削除するのではなく、まとめて整理することで、履歴を変更せずに使い回せる期間を延ばしています。
GPT‑6.1 Solだけを比較しても、履歴の保持上限を拡大した条件でキャッシュと画像管理を見直すと、推定モデルコストは1.97ドルから0.47ドルへ下がりました。最適化後は入力の89％がキャッシュ経由となり、その部分の料金は通常入力の5％でした。単に情報を減らすのではなく、残す情報を再利用しやすくする設計が効いています。
安さだけでなく完了率も変わった
履歴管理は、タスクを終えられるかどうかにも影響しました。GPT‑6.1 Solでは、保持上限が小さい条件で回答を生成できたのは18回中3回でした。上限を大きくした条件では18回すべてで回答を生成し、いずれも正しい結果だったとされています。
ただし、約76分の1、約5倍という比較には注意が必要です。当初の構成では、完了前にステップ数の上限に達した実行が含まれ、コスト36.21ドル以上、時間22.5分以上という値は下限を示しています。主要な比較値も各構成3回の平均であり、今回の情報収集課題で得られた結果です。別のサイトや業務でも同じ削減率になるとまでは判断できません。
モデルごとに得意な点も異なります。最適化後のモデルCは0.66ドル、3.5分で、GPT‑6.1 Solの0.47ドル、約4分より費用は高い一方、実行時間は短くなっています。導入時には、安さと速さを分けて比較する必要があります。
AIが実験を回し人間が変更を確認する
今回、GPT‑6 Astraは改善案の提示だけでなく、実験条件をそろえるためのコード修正や検証の実行も担いました。別のモデルセッションが作業をレビューし、リクエストや結果はAsanaの開発基盤Commandに記録されました。Hidalgo氏は、手作業なら1～2カ月と見積もる調査が、約1週間で済んだとしています。この期間差は担当者の見積もりであり、人手による比較実験の結果ではありません。
この事例から読み取れるのは、AIの運用費を考える際、モデルの単価と同じくらい、呼び出し方や履歴の持たせ方を調べる余地があるということです。Asanaは今回の変更をStackAIのブラウザ操作機能に反映しました。今後は評価機能にテストを組み込み、顧客や社内チームが設定ごとのコスト、実行時間、回答品質を比較できるようにする予定です。
コメント