Asana宣布，在一項最佳化StackAI瀏覽器操作AI的驗證中，採用GPT‑6.1 Sol的配置，估計模型成本平均每次為0.47美元，執行時間約4分鐘。與最初的正式環境配置相比，成本降至約1/76，處理速度約提升至5倍。
降至1/76，並非只靠更換模型
開啟網頁、尋找所需資訊，再填寫表單。代辦這類操作的瀏覽器代理與只生成一次回答的AI不同，會在作業過程中多次呼叫模型。Asana收購的StackAI，讓客戶無須撰寫程式碼，就能組建跨多個業務應用程式的自動化流程。
這次公布的數字值得注意之處，在於約1/76的降幅同時包含流程改善與模型更換的成果。即使仍使用最初採用的模型B，經過最佳化後，估計模型成本也從每次36.21美元以上降至1.24美元。再改用GPT‑6.1 Sol後，成本降至0.47美元。大部分降幅在更換模型之前就已實現。
此外，這裡所說的成本是模型使用費的估計值。這並不代表包含伺服器費用，以及開發與營運人力成本在內的總費用也以相同比例下降。
過度刪減歷史記錄，AI就會重新讀取相同網頁
負責調查的StackAI技術長Frank Hidalgo表示，他請Codex的GPT‑6 Astra分析程式碼並驗證改善方案。發現的問題之一是，每次向模型發出請求時，都會重新傳送網頁內文和螢幕截圖的歷史記錄。固定指示等內容可以重複使用，但同樣的機制並未套用到不斷累積的瀏覽歷史記錄上。
此外，系統幾乎每個步驟都會刪除舊圖片並截短文字。頻繁改寫歷史記錄，會讓可重複利用先前處理過的輸入、以降低費用的快取較難發揮作用。如果刪除太多資訊，AI也可能再次造訪已經讀過的網頁。原本縮短輸入內容的做法，反而可能增加作業量。
圖片不必每次刪除，累積20張後再整理
驗證測試將歷史記錄保留上限設為12萬字元和48萬字元，並調整快取與圖片管理策略，以4個模型共執行144次。所有測試採用相同任務：從公開展示目錄中，蒐集32本書各自6個項目的資訊。
在最佳化後的GPT‑6.1 Sol配置中，系統先累積最多20張螢幕截圖，之後只保留最新的一張。透過集中整理而非每次都刪除，延長了歷史記錄在不變動的情況下可重複使用的時間。
即使只比較GPT‑6.1 Sol，在提高歷史記錄保留上限的條件下，重新調整快取與圖片管理後，估計模型成本也從1.97美元降至0.47美元。最佳化後，89％的輸入透過快取處理，這部分的費用是一般輸入的5％。奏效的設計並非單純減少資訊，而是讓保留下來的資訊更容易重複利用。
改變的不只有成本，還有完成率
歷史記錄管理也會影響任務能否完成。GPT‑6.1 Sol在保留上限較低的條件下，18次執行中只有3次能生成回答。在上限較高的條件下，18次都生成了回答，據稱結果也全部正確。
不過，對於約1/76、約5倍這兩項比較，仍須留意其限制。最初的配置中，有些執行在完成前就達到步驟數上限，因此36.21美元以上的成本和22.5分鐘以上的時間代表的是下限。主要比較數值也只是各配置執行3次的平均值，且結果來自這次資訊蒐集任務。不能據此斷定在其他網站或業務中也會有相同的降幅。
不同模型各有所長。最佳化後的模型C成本為0.66美元、耗時3.5分鐘；相較之下，GPT‑6.1 Sol的成本為0.47美元、耗時約4分鐘。模型C費用較高，但執行時間較短。導入時，應分開比較成本與速度。
AI執行實驗，人類確認變更
這次GPT‑6 Astra不僅提出改善方案，也負責修改程式碼以統一實驗條件，並執行驗證。另一個模型工作階段負責審查作業，請求與結果則記錄在Asana的開發平台Command中。Hidalgo表示，若由人工作業，原估計需1至2個月的調查，最後約1週就完成。這項時間差是負責人的估計，並非人力進行比較實驗所得的結果。
這個案例顯示，考量AI營運成本時，除了模型單價，也值得檢視呼叫方式和歷史記錄的管理方式。Asana已將這次的變更導入StackAI的瀏覽器操作功能。未來計畫在評估功能中加入測試，讓客戶和內部團隊能比較不同設定下的成本、執行時間與回答品質。
コメント