數十萬個英偉達GPU，Meta攢瘋了！

本週早些時候，馬克·扎克伯格在 Meta 業績釋出會上表示，該公司正在“一個比十萬個 H100 AI GPU 更大的叢集上訓練 Llama 4 模型，或者比我見過的其他人正在做的任何報道都要大”。雖然這位 Facebook 創始人沒有透露 Llama 4 可以做什麼，但《連線》雜誌援引扎克伯格的話稱，Llama 4 具有“新模式”、“更強的推理能力”和“更快的速度”。這是一個至關重要的發展，因為 Meta 正在與微軟、谷歌和馬斯克的 xAI等其他科技巨頭競爭，以開發下一代人工智慧 LLM。

Meta 並不是第一家擁有配備 10 萬塊 Nvidia H100 GPU 的 AI 訓練叢集的公司。埃隆·馬斯克 (Elon Musk)於 7 月下旬啟動了一個類似規模的叢集，稱其為“計算超級工廠”，並計劃將其規模翻倍至 20 萬塊 AI GPU。與此同時，Meta表示，預計到 2024 年底該公司將擁有超過 50 萬塊 H100 等效 AI GPU，因此它可能已經擁有大量用於訓練 Llama 4 的 AI GPU。

Meta 的 Llama 4 採用了一種獨特的方法來開發 AI，因為它完全免費釋出其 Llama 模型，允許其他研究人員、公司和組織在此基礎上進行構建。這不同於 OpenAI 的 GPT-4o 和谷歌的 Gemini 等其他模型，這些模型只能透過 API 訪問。然而，該公司仍然對 Llama 的許可證施加了限制，例如限制其商業用途，並且不提供任何有關其訓練方式的資訊。儘管如此，它的“開源”性質可能有助於它主宰 AI 的未來——我們已經看到了這一點，中國基於開原始碼構建的 AI 模型可以在基準測試中與 GPT-4o 和 Llama-3 相媲美。

電力消耗問題

所有這些計算能力都帶來了巨大的電力需求，尤其是單個現代 AI GPU每年最多會消耗 3.7MWh 的電力。這意味著十萬個 AI GPU 叢集每年將至少消耗 370GWh 的電力——足以為超過 3400 萬個普通美國家庭供電。這引發了人們對這些公司如何找到如此龐大的供應的擔憂，尤其是引入新的電源需要時間。畢竟，就連扎克伯格本人也表示，電力限制將限制人工智慧的發展。

例如，埃隆・馬斯克為了解決位於孟菲斯的 10 萬臺計算機的供電問題，不得不採用了幾臺大型移動發電機。那幾臺大型移動發電機猶如幾個龐然大物矗立在那裡，源源不斷地為眾多計算機輸送著電力。然而，這種方式雖然在一定程度上緩解了當下的供電困境，卻並非長久之計。

再看谷歌，谷歌的碳排放目標一直處於落後狀態。自 2019 年以來，其溫室氣體排放量竟然增加了 48%。這表明谷歌在發展的過程中，對於碳排放的控制未能達到預期目標。甚至連前谷歌執行長也建議，我們應該暫時放棄氣候目標，讓人工智慧公司全力以赴地發展，然後再利用我們後續開發出來的人工智慧技術回過頭來解決氣候危機。但是，這樣的建議無疑充滿了爭議。

然而，當一位分析師問 Meta 公司如何為如此龐大的計算叢集供電時，Meta 高管迴避了這個問題。另一方面，Meta 的人工智慧競爭對手，如微軟、谷歌、甲骨文和亞馬遜，正在加入核能潮流。他們要麼投資小型模組化反應堆，要麼重啟舊核電站，以確保他們有足夠的電力來支援未來的發展。

雖然這些需要時間來開發和部署，但為人工智慧資料中心提供小型核電站將有助於減輕這些耗電叢集對國家電網的負擔。

扎克伯格表示，新款 Llama 4 的較小版本將於明年初發布，該公司正在努力將當前版本的 Llama 交到政府機構手中。他表示 ：“我們正在與企業合作，使其更易於使用，現在我們還在與公共部門合作，讓 Llama 在整個美國政府範圍內採用。”

與此同時，隨著Meta繼續擴大對 AI 的投資，其資本支出將增加，預計將支出 380 億美元至 400 億美元，高於上一季度預估 的 370 億美元至 400 億美元。這一金額大約相當於該公司本季度的整體收入，該公司本季度總收入增長了 19%，達到 406 億美元。

儘管有報道稱 Meta 因員工濫用 25 美元餐券而遭到解僱，但其員工人數仍比去年同期增加了 9%，達到 72,404 人。

Reality Labs 是負責超厚增強現實眼鏡（代號為 Orion）及其 Meta Quest VR 耳機的部門。根據財報，Meta 繼續預計該部門 2024 年的運營虧損“歸因於我們持續的產品開發工作和進一步擴大生態系統的投資” 。該部門本季度虧損 44 億美元。

“我對我們目前正在做的所有工作都感到十分興奮。這可能是我所見過的我們這個行業最具活力的時刻，我專注於確保我們能創造出一些很棒的東西，並充分利用未來的機遇，”扎克伯格說。