OpenAI、谷歌、Anthropic新模型遇瓶頸：缺資料、成本高、效能不及預期

編譯 | 汪越

編輯 | Panken

智東西11月14日訊息，據彭博社報道，據知情人士透露，OpenAI的最新模型Orion在開發過程中未能達到預期的效能，特別是在編碼任務上未能超越前代產品GPT-4；谷歌的Gemini模型同樣未能實現重大突破；Anthropic的Claude 3.5 Opus模型因技術難題推遲了釋出計劃，並多次調整發布時間。

▲主要AI模型釋出日期（圖源：彭博社）

過去，行業普遍奉行Scaling Law，認為隨著資料量和算力的增加，模型效能也應隨之提升。基於這一理論，這些公司紛紛投入巨資，建設AI基礎設施，擴充套件資料中心，併購買大量GPU進行訓練。然而，隨著訓練速度的放緩，繼續依賴這一策略的可行性開始遭遇質疑。

近年來，OpenAI、谷歌和美國AI大模型獨角獸Anthropic在極短的時間內推出了大量複雜的AI模型。然而，隨著高質量資料的短缺，這些公司在模型開發的速度和效能上出現了明顯放緩，甚至未能達到預期的效果。

OpenAI CEO薩姆·阿爾特曼（Sam Altman）兩週前談道，未來的突破可能不會是模型規模的單純擴充套件，而是開發新的應用和用例，例如AI Agent。

一、大模型遭遇平臺期，資料和算力是瓶頸

OpenAI、谷歌和Anthropic這三家公司在構建新一代AI系統時，都面臨了相似的問題：高質量資料，特別是編碼資料，愈發難以獲得。在這種情況下，即使是微小的改進，也很難證明新模型所需的巨大研發投入是合理的。

近期的困難表明，單純依賴規模擴充套件已難以帶來預期的技術飛躍。對於實現AGI（通用人工智慧）的可行性，業內的信心也開始動搖。

AI初創公司Hugging Face首席倫理科學家瑪格麗特·米切爾（Margaret Mitchell）談道，AGI的“泡沫”正在破裂，現有的訓練方法可能無法滿足AI在多工處理上的需求，急需全新的訓練方法來應對這一挑戰。

▲AI初創公司Hugging Face 首席倫理科學家瑪格麗特·米切爾 （Margaret Mitchell） （圖源：彭博社）

目前，OpenAI仍在對Orion進行“後訓練”，並嘗試透過加入人類反饋來改進其表現。但Orion的正式釋出尚無明確時間表，預計不太可能在明年初推出。

谷歌DeepMind回應稱，雖然Gemini模型的進展符合預期，但公司表示會在準備好時分享更多細節。OpenAI則拒絕置評。Anthropic方面，CEO達里奧·阿莫迪（Dario Amodei）在播客中說，Scaling Law並非宇宙法則，而是經驗規律，雖然“很多因素”可能影響AI的發展，但他對克服這些障礙依然保持樂觀。

▲Anthropic CEO達里奧·阿莫迪（Dario Amodei）（圖源：彭博社）

隨著社交媒體帖子、線上評論、書籍及其他公共資料來源的消耗，AI公司面臨著前所未有的高質量資料短缺問題。為了構建超越人類的AI系統，這些公司所需的資料不僅僅是維基百科和YouTube字幕等基礎資料，更多的是廣泛且高質量的資料集。

以OpenAI為例，儘管公司已與出版商簽署協議，確保其資料來源的高質量，但隨著AI技術的不斷進步，出版商和藝術家對內容的智慧財產權保護愈加嚴格，這也加大了AI公司面臨的法律壓力。為了彌補資料不足，許多公司開始招聘具有研究生學歷的人，特別是在數學和編碼領域，以便更精確地標註和訓練與特定學科相關的資料，使得AI系統能夠更好地響應專業領域的查詢。

但是，這一過程的進展緩慢且成本高昂。與透過網路抓取大量公開資料相比，獲取並標註專業領域的高質量資料的成本顯著增加。同時，為了填補資料缺口，許多公司也開始嘗試使用合成資料，如計算機生成的影象和文字。不過，這種方法依然面臨諸多挑戰，特別是在確保資料質量和多樣性方面。

美國風險投資公司New Enterprise Associates的AI戰略主管莉拉·特列蒂科夫（Lila Tretikov）談道，資料問題不僅僅關乎數量，更關乎質量和多樣性。缺乏人工指導，尤其是在語言處理領域，將難以獲得獨特且高質量的資料集。

二、“越多越好”不再奏效，AI公司抉擇兩難

許多AI公司堅持“越多越好”的策略，投入大量資源，以期打造接近人類智慧的AI系統。但隨著計算資源和資料的成本不斷上升，新模型開發的風險和期望也在持續增加。Anthropic CEO阿莫迪在播客中透露，預計今年公司將花費1億美元來訓練尖端模型，未來幾年這一數額可能達到1000億美元。

隨著成本的不斷攀升，許多人開始對AI模型進展的速度產生疑慮。馬薩諸塞州沃爾瑟姆本特利大學數學副教授諾亞·吉安西拉庫薩（Noah Giansiracusa）談道，雖然AI模型會持續改進，但增長速度和技術突破的持續性值得懷疑。短期內快速的技術進展令人振奮，但這種增長模式是不可持續的。

矽谷的AI技術進步困境已經成為焦點問題。今年3月，Anthropic釋出了Claude Opus模型，曾宣稱其在推理和編碼等領域超越了OpenAI的GPT-4和谷歌的Gemini模型。然而，到10月，Opus的釋出訊息突然從公司網站消失了。

據知情人士透露，Anthropic在Opus的開發過程中遇到了不少挑戰。雖然Opus在某些基準測試中表現優異，但考慮到其龐大的模型規模及其構建和執行的高成本，最終未能達到預期的效能。即便如此，Anthropic CEO阿莫迪表示並未放棄繼續推進Opus模型，只是未給出具體的釋出時間。

與此同時，谷歌和OpenAI也面臨類似的難題。雖然谷歌更新了Gemini模型，提供了更實用的功能，但並未帶來重大的技術突破。OpenAI專注於增量更新，比如提升語音助手功能，使得與ChatGPT的對話更加流暢。OpenAI還推出了名為o1的模型預覽版，旨在提升推理過程的質量，但技術突破依然有限。

隨著開發新一代AI模型的成本不斷增加，AI公司開始面臨一個重要的權衡：是繼續改進現有的模型，還是投入更多資源開發更大、更復雜但未必能帶來顯著突破的下一代模型。

OpenAI CEO薩姆·阿爾特曼（Sam Altman）最近在Reddit的問答中談道，雖然公司擁有豐富的潛力和資源，但也面臨著“艱難的決定”和“計算能力的限制”。他還談道，未來的突破可能不會是模型規模的單純擴充套件，而是開發新的應用和用例，例如AI Agent，這類工具能夠代表使用者完成常規任務。

在此背景下，OpenAI的重心逐漸從提升模型的單一能力轉向更具實用價值的應用場景，尤其是在代理AI工具方面的探索。阿爾特曼談道，這些AI工具將幫助使用者完成日常生活中的複雜任務，如預訂航班、傳送電子郵件等。雖然AI模型將繼續變得更強大，但未來的真正突破或許不再是單純的模型更新，而是更為創新的功能和應用。

結語：創新AI應用成未來方向

這些公司在模型研發上投入了鉅額資金和計算資源，但新一代AI模型的效能提升遠未達到預期。在日益增加的成本壓力下，如何平衡創新與投入成為了共同挑戰。

隨著資料和計算資源逐漸稀缺，AI發展的“規模革命”正接近瓶頸。未來的突破或許不再集中在模型規模的擴張，而是聚焦於創新的應用和工具開發，比如AI Agent等功能型應用，如何將現有技術在實際生活中發揮更大價值，將成為行業創新的關鍵。