Andrej Karpathy, ex cofondatore di OpenAI e oggi in Anthropic, ha suddiviso gli utenti dei modelli linguistici di grandi dimensioni (LLM) in quattro fasce, osservando che si sta ampliando il divario nella percezione delle capacità dell’IA. Nello stesso periodo, Tariq Shihipar di Anthropic ha parlato in un podcast di come usare Claude Code, lo strumento di sviluppo, delle funzionalità future e delle misure di sicurezza per gli agenti.
Anche guardando la stessa IA, si vedono realtà diverse
L’IA è un’evoluzione della ricerca online o un interlocutore a cui affidare il lavoro dall’inizio alla fine? La classificazione in quattro fasce presentata da Karpathy su X quantifica in termini di persone questa divergenza.
La fascia più numerosa comprende circa sei miliardi di persone che hanno avuto pochissimi contatti con gli LLM: circa il 75% della popolazione mondiale. Seguono da uno a due miliardi di persone che usano servizi di chat gratuiti al posto dei motori di ricerca o come supporto alla scrittura.
La terza fascia è composta da circa 20 milioni di persone che usano modelli all’avanguardia per attività di matematica o programmazione, pari a circa lo 0,2% della popolazione mondiale. Al vertice ci sono circa 5.000 persone con accesso ai sistemi interni più avanzati, una quota di circa lo 0,00006%. Si tratta in entrambi i casi di stime dello stesso Karpathy, non di statistiche basate su indagini.
L’aspetto interessante è che le differenze tra le fasce non dipendono soltanto dal livello di conoscenza. Karpathy scrive che chi svolge professioni in cui il dialogo con le persone è centrale, come i dirigenti, può comprendere intellettualmente i progressi dell’IA, ma tende a conoscerli solo per sentito dire. Per chi la usa concretamente e per chi ne sente parlare, la parola «IA» finisce per indicare cose diverse.
Un lavoro che richiedeva settimane si avvia con una sola istruzione
Tra i cambiamenti sperimentati dagli esperti della terza fascia, Karpathy cita lo sviluppo di nuove applicazioni, la loro replica e migrazione e la decompilazione a partire dai binari. Spiega che attività di ampie dimensioni, che prima richiedevano da alcune settimane a diversi mesi, ora vengono portate a termine dagli agenti con una sola istruzione. Un agente è un’IA che non si limita a rispondere alle domande, ma usa strumenti e svolge autonomamente una serie di passaggi.
Anche il cambiamento personale di Karpathy è stato rapido: nell’ottobre 2024 definiva gli agenti IA «quasi solo uno slogan, che a malapena funzionano». Pochi mesi dopo, ha dichiarato di aver smesso di scrivere codice a mano.
La realtà osservata dalle circa 5.000 persone al vertice è ancora più avanzata. Si prospettano scenari in cui migliaia di agenti lavorano per settimane a progetti software di grandi dimensioni. Secondo Karpathy, ciò che si vede dall’esterno è soltanto il trailer di quello che verrà.
I progressi partono dai settori in cui è più facile verificare i risultati
Secondo Karpathy, gli LLM sono particolarmente capaci nei settori «digitali, in cui i risultati sono verificabili e il valore economico è elevato». Nei compiti in cui le risposte corrette possono essere valutate in modo automatico, è più facile migliorare le prestazioni con l’apprendimento per rinforzo; inoltre, le aziende destinano risorse di addestramento agli ambiti più redditizi. Oggi gli esempi più concreti sono la programmazione e la matematica.
Anche Sam Altman, CEO di OpenAI, ha dichiarato all’inizio di settembre, durante la riunione dei ministri dell’Innovazione del G20, che ciò che una startup ha costruito in tre mesi oggi può essere realizzato in 17 minuti con gli attuali strumenti di programmazione.
La comprensione umana non riesce più a tenere il passo
Karpathy ha inoltre osservato che la verifica e la comprensione da parte degli esseri umani stanno cominciando a restare indietro. Tra gli esempi cita chi sta ancora approfondendo vicende legate a OpenAI avvenute alcuni mesi fa e i matematici, che potrebbero impiegare un po’ di tempo per leggere le 722 bozze sulla matematica di frontiera.
Per il pubblico generale è un «chatbot impacciato», per molti professionisti un «moderato potenziamento» e per alcuni esperti una «vertigine di fronte a una curva che si impenna verticalmente». Karpathy definisce «la stranezza del momento» il fatto che queste tre realtà si stiano manifestando contemporaneamente. Per maggiori dettagli,The Decoderriferisce.
La differenza nell’uso si vede da come si impartiscono le istruzioni
Più si amplia il ventaglio di attività delegabili, più contano le capacità di chi le affida. Nel podcast «Latent Space», Tariq Shihipar di Anthropic ha affermato che saper scrivere prompt resta una competenza molto efficace per usare Claude Code. Gli utenti esperti, spiega, hanno un modello intuitivo di Claude e sanno valutare fin dove può arrivare con una sola istruzione.
Nella conversazione si è detto che, man mano che gli agenti diventano più intelligenti, diventa sempre più importante rendersi conto di ciò che non si sa. Si è parlato anche di come il risultato possa cambiare radicalmente a seconda del tempo dedicato alla spiegazione iniziale.
A cambiare prospettiva, il lavoro di impartire istruzioni all’IA si avvicina sempre più alla progettazione del lavoro, anziché all’apprendimento di come usare uno strumento. Cosa creare, cosa mettere al primo posto e fino a che punto verificare: ciò che le persone non decidono spetta all’IA colmarlo, prendendo qualche tipo di decisione.
Claude Code, da strumento a spazio di lavoro
Nel dialogo sono state presentate diverse funzionalità che delineano il futuro di Claude Code. Al centro c’è Claude Mods, che consente agli utenti di modificare direttamente l’harness, ossia l’infrastruttura di base che fa funzionare gli agenti. Il 14 settembre Boris Cherny dell’azienda ha annunciato su X il lancio di Mods; ha fatto parlare di sé anche una Mod creata dalla community con Tetris al suo interno.
Si è parlato anche di Ask User Question, che durante il lavoro pone domande agli utenti, di una funzione per annotare le scelte fatte in fase di implementazione e di Artifacts, descritto come uno spazio di lavoro che permette di continuare a lavorare conservando piani e progressi. Quando più agenti operano in parallelo, limitarsi a scorrere la chat dall’inizio non basta per avere una visione d’insieme. Una schermata che mostra i progressi in un elenco diventa un punto di contatto che aiuta le persone a tenere sotto controllo il lavoro.
Per la collaborazione è stato presentato Claude Tag, che consente a più persone di usare gli agenti. Projects è una funzione che, all’interno di una singola conversazione, suddivide il lavoro di Claude in thread, li esegue in parallelo sul cloud e porta avanti le attività trasferendo il contesto da un thread all’altro. Il 17 settembre è iniziata la beta per alcuni utenti, nelle versioni desktop e web.
Si è parlato inoltre di un’architettura che distingue il «cervello» sul cloud, responsabile delle decisioni, dalle «mani» che lavorano nell’ambiente locale o remoto e da un’interfaccia che cambia a seconda della situazione. Sihipar ha anche accennato alla possibilità che in futuro Claude.md non sia più necessario e che il modello più intelligente diventi anche il più economico per molte attività. Se ne parla più diffusamente nella conversazione suLatent Space.
Per un’IA che opera a lungo servono più livelli di protezione
La seconda parte del dialogo è dedicata soprattutto alla sicurezza degli agenti. Sono stati presentati casi recenti in cui gli agenti hanno comunicato con modalità impreviste, sfruttato punti deboli delle infrastrutture, analizzato i sistemi di valutazione dei benchmark o concatenato più vulnerabilità.
Una minaccia concreta per l’IA utilizzata in azienda è la prompt injection. Consiste nell’inserire istruzioni malevole nei testi ricevuti dall’esterno; se l’IA le interpreta come comandi, può provocare, per esempio, la fuga di dati interni.
Tra le contromisure citate figurano le sonde, che esaminano gli stati interni del modello; i classificatori, che individuano i comportamenti pericolosi; i meccanismi di fallback, che all’occorrenza passano a un altro modello; e Auto Mode, che verifica se le operazioni che il sistema intende eseguire sono conformi alle autorizzazioni dell’utente. Anche l’isolamento dell’ambiente di lavoro tramite sandbox è stato indicato tra le misure.
È importante ricordare che stabilire se un’operazione è pericolosa e stabilire se è stata autorizzata dall’utente sono due questioni distinte. Scrivere in un database può essere necessario o costituire una modifica non autorizzata, a seconda della richiesta. La progettazione deve fare in modo che ogni singola operazione rientri nell’ambito di quanto richiesto: è un aspetto importante quanto le capacità del sistema stesso.
Alla base di queste discussioni c’è il principio «Pacing the Frontier» promosso da Anthropic. L’idea è tenere il passo dello sviluppo allineato a quello delle misure di sicurezza; nel dialogo è stato citato come approccio a una diffusione responsabile dell’IA.
コメント