Asana ha annunciato che, in una verifica volta a ottimizzare l’IA per la navigazione web di StackAI, la configurazione basata su GPT‑6.1 Sol ha registrato un costo stimato del modello medio di 0,47 dollari per esecuzione e un tempo di circa 4 minuti. Rispetto alla configurazione iniziale in produzione, i costi sono scesi a circa un settantaseiesimo e l’elaborazione è diventata circa cinque volte più veloce.
La riduzione di 76 volte non è dovuta soltanto al cambio di modello
Aprire una pagina web, cercare le informazioni necessarie e compilare un modulo. A differenza di un’IA che genera una risposta una sola volta, gli agenti per la navigazione web incaricati di svolgere operazioni di questo tipo richiamano il modello più volte durante il lavoro. Con StackAI, acquisita da Asana, i clienti possono creare flussi di automazione che coinvolgono più applicazioni aziendali senza scrivere codice.
Un aspetto importante di questi dati è che la riduzione di circa 76 volte comprende sia il miglioramento della procedura di elaborazione sia il cambiamento di modello. Anche con il modello B usato inizialmente, l’ottimizzazione ha ridotto il costo stimato del modello da oltre 36,21 dollari a 1,24 dollari per esecuzione. Con il passaggio a GPT‑6.1 Sol, il costo è poi sceso a 0,47 dollari. Gran parte del risparmio è stata ottenuta prima di cambiare modello.
Inoltre, il costo citato è una stima della spesa per l’utilizzo del modello. Non significa che il costo complessivo, comprensivo delle spese per i server e del lavoro di sviluppo e gestione, sia diminuito nella stessa proporzione.
Se si riduce troppo la cronologia, l’IA rilegge le stesse pagine
Frank Hidalgo, CTO di StackAI e responsabile dell’indagine, ha chiesto a GPT‑6 Astra di Codex di analizzare il codice e verificare le proposte di miglioramento. Uno dei problemi individuati era che il contenuto delle pagine e la cronologia degli screenshot venivano inviati di nuovo a ogni richiesta al modello. Le istruzioni fisse, per esempio, potevano essere riutilizzate, ma lo stesso meccanismo non veniva applicato alla cronologia di navigazione, che continuava ad accumularsi.
Inoltre, quasi a ogni passaggio venivano eliminate le immagini meno recenti e tagliato il testo. Modificare frequentemente la cronologia rende meno efficace la cache, che consente di riutilizzare gli input già elaborati e ridurre i costi. Se si cancellano troppe informazioni, l’IA potrebbe anche tornare a visitare pagine che ha già letto. La struttura era tale che gli accorgimenti per accorciare gli input rischiavano, al contrario, di aumentare il lavoro.
Le immagini non vengono eliminate ogni volta: si riordinano quando se ne accumulano 20
Durante la verifica, il limite di conservazione della cronologia è stato impostato a 120.000 e 480.000 caratteri; sono state modificate le strategie per la cache e la gestione delle immagini e sono state eseguite 144 prove con quattro modelli. Il compito era identico per tutti: raccogliere sei informazioni ciascuna su 32 libri da un catalogo pubblico di demo.
La configurazione ottimizzata di GPT‑6.1 Sol conservava fino a 20 screenshot, per poi mantenerne soltanto il più recente. Invece di eliminarli ogni volta, li riordinava in blocco, prolungando il periodo in cui la cronologia poteva essere riutilizzata senza modifiche.
Anche considerando soltanto GPT‑6.1 Sol, la revisione della cache e della gestione delle immagini, insieme a un limite di conservazione della cronologia più ampio, ha ridotto il costo stimato del modello da 1,97 a 0,47 dollari. Dopo l’ottimizzazione, l’89% degli input è passato dalla cache e la tariffa applicata a quella parte è stata pari al 5% di quella degli input normali. Ha funzionato un approccio che rende più facile riutilizzare le informazioni conservate, anziché limitarsi a ridurle.
Sono cambiati non solo i costi, ma anche il tasso di completamento
La gestione della cronologia ha influito anche sulla possibilità di portare a termine i compiti. Con GPT‑6.1 Sol, quando il limite di conservazione era basso, è stata generata una risposta in sole 3 prove su 18. Con un limite più alto, è stata generata una risposta in tutte e 18 le prove, sempre con risultati corretti, secondo quanto riferito.
Il confronto che indica una riduzione di circa 76 volte e una velocità circa cinque volte maggiore richiede tuttavia cautela. Nella configurazione iniziale erano incluse esecuzioni che avevano raggiunto il limite massimo di passaggi prima di completare il compito; i valori di oltre 36,21 dollari e oltre 22,5 minuti rappresentano quindi dei limiti inferiori. Anche i principali valori comparativi sono medie di tre esecuzioni per configurazione e si riferiscono al compito di raccolta di informazioni svolto in questa verifica. Non si può concludere che la stessa riduzione si otterrà anche su altri siti o in altre attività lavorative.
I modelli hanno anche punti di forza diversi. Dopo l’ottimizzazione, il modello C ha impiegato 3,5 minuti e ha avuto un costo di 0,66 dollari: è risultato più costoso ma più rapido di GPT‑6.1 Sol, che è costato 0,47 dollari e ha impiegato circa 4 minuti. In fase di adozione, è necessario confrontare separatamente costi e velocità.
L’IA conduce gli esperimenti, mentre gli esseri umani verificano le modifiche
In questo caso, GPT‑6 Astra non si è limitato a proporre miglioramenti: ha anche modificato il codice e svolto verifiche per uniformare le condizioni degli esperimenti. Un’altra sessione del modello ha esaminato il lavoro, mentre le richieste e i risultati sono stati registrati in Command, la piattaforma di sviluppo di Asana. Hidalgo ha dichiarato che un’indagine che, se svolta manualmente, avrebbe richiesto da uno a due mesi, è stata completata in circa una settimana. Questa differenza nei tempi è una stima del responsabile e non deriva da un esperimento comparativo svolto da persone.
Da questo caso si può dedurre che, nel valutare i costi operativi dell’IA, vale la pena esaminare le modalità di chiamata del modello e di gestione della cronologia tanto quanto il prezzo unitario del modello. Asana ha applicato le modifiche alla funzione di navigazione web di StackAI. In futuro, intende integrare test nelle funzionalità di valutazione, così che clienti e team interni possano confrontare, per ciascuna configurazione, costi, tempi di esecuzione e qualità delle risposte.
コメント