前 OpenAI 共同創辦人、現任職於 Anthropic 的安德烈・卡帕西（Andrej Karpathy）將大型語言模型（LLM）的使用者分為四個層級，並指出人們對 AI 實力的認知落差正在擴大。同一時期，Anthropic 的塔里克・希希帕爾（Tariq Shihipar）也在 Podcast 節目中談到開發工具 Claude Code 的使用方式、未來功能，以及代理程式的安全措施。
即使看到的是同一種 AI，眼前的景象也截然不同
AI 是搜尋工具的延伸，還是能把整份工作交給它處理的對象？卡帕西在 X 上提出的四層分類，正是以人數呈現這種落差。
人數最多的一層，約有 60 億人幾乎沒接觸過 LLM，約占全球人口的 75％。其次是 10 億至 20 億人，他們使用免費聊天服務取代搜尋，或協助撰寫文章。
第三層約有 2,000 萬人，會在數學或程式設計工作中使用最先進的模型，約占全球人口的 0.2％。最頂層則是約 5,000 人，他們能接觸公司內部最先進的系統，比例約為 0.00006％。以上都是卡帕西的估計，並非根據調查得出的統計數字。
有趣的是，層級差異不單由知識多寡決定。卡帕西寫道，對企業經營者等以人際溝通為主要工作內容的人來說，即使理智上理解 AI 的進展，也往往只能透過轉述得知。他們實際動手使用 AI，與只是聽聞 AI 的人，對「AI」一詞的理解可能完全不同。
耗時數週的工作，如今只要一個指令就能啟動
談到第三層專家所體驗到的變化，卡帕西列舉了開發新應用程式、複製應用程式、移植程式，以及從二進位檔反編譯等工作。他表示，過去需要數週至數個月才能完成的大型工作，如今代理程式只要收到一個指令就能完成。代理程式不只會回答問題，也會使用工具、自行執行多個步驟。
卡帕西本人的看法也在短時間內改變。2024 年 10 月，他曾形容 AI 代理程式「幾乎只是宣傳噱頭，根本派不上用場」。但幾個月後，他表示自己已經不再手動撰寫程式碼。
最頂層約 5,000 人所看到的景象，則更進一步。他們想像的是數千個代理程式花上數週，投入大型軟體開發等工作。卡帕西形容，外界目前所見不過是預告片。
能力提升從容易驗證的領域開始
卡帕西表示，LLM 在「數位化、結果可驗證且經濟價值高」的領域中特別出色。在正確答案能以機械方式判定的任務中，透過強化學習較容易提升效能；各家公司也會將訓練資源投入獲利能力高的領域。目前符合這些條件的具體領域就是程式設計與數學。
OpenAI 執行長山姆・奧特曼（Sam Altman）也在 9 月上旬的 G20 創新部長會議上表示，新創公司花 3 個月打造的成果，使用現行的程式設計工具只要 17 分鐘就能完成。
人類已逐漸跟不上理解速度
卡帕西也指出，人類的查核與理解開始落後。他舉例說，有些人至今仍在深入探討幾個月前與 OpenAI 有關的事件；數學家要讀完 722 篇關於前沿數學的論文，恐怕也需要一段時間。
一般人眼中的 AI 是「不太靈光的聊天機器人」，許多專業人士覺得它只是「適度提升工作表現」，而部分專家則感受到「曲線垂直攀升所帶來的暈眩」。卡帕西稱這三種狀況同時發生的現象為「當下的怪異之處」。詳情請見The Decoder的報導。
使用能力的差異，反映在下指令的方式上
能交給 AI 處理的範圍越廣，越考驗使用者的本事。Anthropic 的塔里克・希希帕爾在 Podcast 節目「Latent Space」中表示，撰寫提示詞至今仍是有效運用 Claude Code 的重要技能。他說，熟練使用者對 Claude 有一套直覺上的理解，能判斷一次下達指令可以完成到什麼程度。
對談中也提到，隨著代理程式越來越聰明，察覺自己有哪些不知道的事也變得更加重要。節目中還談到，是否花時間做好最初的說明，會大幅影響最終結果。
換個角度來看，指揮 AI 的工作正從學習如何操作，逐漸轉向設計工作內容。要打造什麼、優先處理什麼、要查核到什麼程度——凡是人沒有決定的部分，AI 就會以某種方式自行判斷並填補。
Claude Code 從工具轉變為工作場域
訪談中也談到了 Claude Code 未來的樣貌，其中一項核心功能是 Claude Mods，讓使用者能自行改寫 Harness（驅動代理程式的基礎機制）。9 月 14 日，該公司成員鮑里斯·切爾尼在 X 上宣布 Mods 開始提供，社群製作、內含俄羅斯方塊的 Mod 也引起話題。
其他討論的功能還包括工作期間向使用者提問的 Ask User Question、留下實作備忘錄的功能，以及被描述為能保留計畫與進度、讓使用者持續工作的介面 Artifacts。當多個代理程式並行運作時，只從上往下閱讀聊天內容，便難以掌握全貌。能一覽進度的介面，將成為人們掌握工作狀況的重要接點。
在協作方面，訪談也提到讓多人共同使用代理程式的 Claude Tag。Projects 則是一項功能，讓 Claude 在同一段對話中將工作拆分為多個執行緒，在雲端並行運作，並透過交接脈絡推進工作。9 月 17 日，該功能開始以測試版形式提供給部分桌面版與網頁版使用者。
此外，訪談也談到一種構想：將負責判斷的雲端「大腦」、在本機或遠端環境工作的「雙手」，以及會依情況變化的介面分開思考。希希帕爾還提到，Claude.md 未來可能不再需要，而最聰明的模型也可能在許多工作中成為成本最低的選擇。詳情請見Latent Space的對談。
長時間運作的 AI，需要多層防護
訪談後半段聚焦於代理程式的安全措施，並介紹了近年來的一些案例：代理程式以預期之外的方式進行通訊、利用基礎設施的弱點、分析基準測試的評分機制，或串連多個漏洞。
被視為企業 AI 實際威脅之一的是提示注入。這種手法會在外部傳入的文字中混入惡意指令；若 AI 將其當成命令，可能導致公司內部資料外洩等問題。
訪談提及的因應措施包括：探查模型內部狀態的探針、辨識危險行為的分類器、視需要切換至其他模型的備援機制，以及確認預定執行的操作是否符合使用者授權的 Auto Mode。隔離工作環境的沙箱也被列為其中一種措施。
需要特別注意的是，操作是否危險，與操作是否獲得使用者授權，是兩個不同的問題。是否需要寫入資料庫，取決於使用者的要求；這既可能是必要工作，也可能是未經授權的變更。如何設計機制，確保每項操作都不超出委託範圍，與 AI 本身的能力同樣受到重視。
這些討論背後的理念，是 Anthropic 提倡的「Pacing the Frontier」。這種理念主張讓開發速度與安全措施同步推進，訪談中也將其視為負責任地部署 AI 的方式。
コメント