微軟AI主管談AI趨勢：大小模型將“齊頭並進”，“規模法則”遠沒有到極限

在近日的一次訪談中，微軟AI主管Mustafa Suleyman深入探討了人工智慧領域的最新趨勢。他認為，未來幾年AI模型將呈現大小模型“齊頭並進”的趨勢。

一方面，大型模型的規模化競賽仍將持續，並融入更多模態的資料，例如影片、影象等。另一方面，利用大型模型訓練小型模型的技術（如蒸餾）興起，高效的小型模型將在特定場景中發揮巨大作用。Suleyman補充稱，未來，知識將被濃縮到更小、更便宜的模型中，嵌入各種裝置，實現真正的環境感知革命。

對於創業者而言，Suleyman認為，理解並利用提示工程至關重要。透過提供高質量的指令集，創業者可以引導預訓練模型，使其符合自身品牌價值觀，打造獨特產品。此外，小型模型蘊藏著巨大機會，創業者可以利用其低成本和高效性，開發針對特定用例的應用。

採訪中，Suleyman還強調了資料整合的重要性。合成資料將成為訓練模型的關鍵，但如何獲取、整合這些資料仍需深入探討。

此外，這位微軟AI主管還談到了新模式的加入，例如影片和影象的整合，以及跨複雜數字介面的動作軌跡的理解和資料收集。他認為，這將帶來許多令人印象深刻的結果。對於企業家來說，如何利用這些新趨勢和技術進行創新，將是未來成功的關鍵。

以下為全文內容，大家enjoy~ ✌️（為增加可讀性，我們對原文進行了簡要編輯）

Q：未來幾年，在不斷發展的模型 (models) 格局中，有哪些事情值得關注？

A：模型的規模既在變大，也在變小，這種趨勢幾乎肯定會繼續下去。

去年開始流行一種新方法，稱為蒸餾。這類方法利用大型、高成本模型來訓練小型模型。這種監督效果相當不錯，目前已有充分的證據支援這一點。

因此，規模仍然是這場競爭中的關鍵因素，未來還有很大的發展空間，資料量也將持續增長。

至少在接下來的兩三年內，“規模法則”在提供超預期表現方面的進度不會有任何放緩。

Q: 還有哪些新的模式可以加入？

A:人們也在考慮將影片、影象以及跨複雜數字介面的動作軌跡等新的模態融入模型中。

但我們真正感興趣的是跨複雜數字介面的動作軌跡，比如從瀏覽器跳到桌面，再轉移到手機，從不同的生態系統中切換，無論是在封閉的花園還是開放的網路中。

我們試圖理解這些軌跡，收集大量資料，使用監督學習和微調等方法。我認為這將帶來許多令人印象深刻的結果。

Q: 在資料方面，人們在哪些方面思考得不夠多？

A:資料的討論角度很多，經典的問題是哪些資料可以使用及其質量。我認為網上已經有大量討論。

但人們沒有花足夠時間思考新資料的來源，以及如何整合這些資料。

例如，合成資料是一個有趣的領域，如果我們有這樣的資料，可以訓練出更好的小模型和大模型。如何獲取這些資料並確保其整合是一個關鍵問題。但是如何獲取這些資料並確保它們被整合起來，這一點還沒有得到足夠的討論。

Q：在處理模型時，提示 (prompt) 和問題 (question) 之間有什麼區別？

A：提示不僅僅是你問聊天機器人的問題。當你問聊天機器人一個問題，那是一個問題；當你寫一個三頁的風格指南並附上模仿的例子，那是一個提示。

提示是你的高質量指令集，指導預訓練模型以特定方式行為。令人驚訝的是，模型只需幾頁指令就能表現得非常不同。

為了讓模型表現出細微、精準和符合品牌價值的行為，你需要展示成千上萬個良好行為的例子，並將這些例子微調到模型中。這是預訓練過程的延續，使用高質量且準確的資料。

好訊息是，成千上萬個例子對許多細分領域或特定垂直領域來說是非常容易獲得的。這是一個優勢，初創公司在高質量微調預訓練模型方面有很大的空間。

Q：小模型會帶來哪些機會？創業者如何利用它們做一些有趣且獨特的事情？

A：小模型無疑代表著未來。

大型模型在處理查詢時會啟用數十億個不相關的神經表示，儘管它們非常高效地進行搜尋和引用數億個節點，但並不總是必要的。

我們將把知識濃縮到更小、更便宜的模型中，這些模型可以駐留在各種裝置上，如耳塞、可穿戴裝置、耳環、植物或感測器。

這場環境感知革命長期以來一直被人們所期待，它將帶來功能性裝置，例如一個冰箱磁鐵，冰箱磁鐵是我能想到的最小的數字裝置。它可以在早上迎接你，告訴你天氣情況，告訴你冰箱裡可能有什麼或沒有什麼，並提醒你檢視日曆。

它可以在早上歡迎你，告訴你天氣，告訴你冰箱裡可能有什麼或沒有什麼，並提醒你檢視日曆。

這種模型可能只有幾千萬個引數。雖然目前還沒有人真正推動這一點，但任何兩人團隊都可以探索這一領域。

Q：人們在接下來的兩天裡應該思考什麼問題？

A：問題是，技術人員需要為設計一個更加人性化的未來做些什麼。

這包括思考技術如何進化人類，以及我們的情感、激情和同情心如何透過我們與技術不斷變化的關係來表達。

Q：為什麼說這是一個轉型時刻？

A：我們有足夠的證據表明，過去五十年的大技術轉型重塑了事物的結構。

我認為這是一個創辦公司、擴充套件公司、甚至轉變職業的時刻。即使你不是企業家，無論你是活動家、組織者還是學者，現在是關注的時刻。

到2050年，列車將離站，情況會大不相同。我們現在有機會共同塑造和影響未來，沒有什麼是預定的。我們非常幸運能在這個時刻活著，這既是巨大的責任，也是令人振奮的機會。