AI玩毀滅人類遊戲,全程自主操控驚呆教授!Claude 3.5硬核實測來襲

2024-10-29 01:33:30 3

【新智元導讀】Claude遊戲測試,能打幾分?在持續一個多小時毀滅人類遊戲中,Claude能制定出長期策略,令人驚喜的同時,也暴露出了AI短板。

若把電腦的操控權交給AI,會發生什麼?

Anthropic在上週,已初步展示了Claude 3.5自動編寫網站、填資料表、點外賣的強大能力。

那麼,Claude打遊戲,是否可以通關?

最近,來自賓夕法尼亞大學沃頓商學院的教授Ethan Mollick發現:

Claude不僅能理解遊戲、制定出長期策略,還能連續幾個小時遵循策略。

接下來,一起看看進化版Claude 3.5如何玩遊戲的?

策略很明智,錯誤也低階

這個網頁遊戲叫「Paperclip Clicker」(回形針點選器),規則是AI在製造回形針的過程中毀滅人類。

地址:https://www.decisionproblem.com/paperclips/index2.html

Mollick提供給Claude 3.5這個遊戲的URL,並告訴它,「一定要贏」。

顯然,對於AI來說非常簡單。

它立即弄清楚了遊戲規則,並開始建立回形針。

這一過程需要它反覆點選「make paperclip」按鈕,同時不斷截圖更新理解並尋找下一個新選項的出現。

每點選15次,Claude 3.5會總結出截止目前的進展。

如下,是Mollick在測試中一個螢幕介面,左邊是模型輸出結果、截圖,右邊可以看到控制的遊戲頁面。

有趣的是,在遊戲中,Claude 3.5會制定一個策略,並根據自己學到的內容及時做出調整。

雖不知它是如何制定的,但可以看出其前瞻性思維和洞察力,能夠進行十步之後的長遠規劃。

甚至,當AI意識到,這個假設是錯誤的,它會隨即提出一個新策略,並對其進行測試。

下圖第3點策略重估中,Claude 3.5意識到點選到50個回形針時,並不會解鎖新的特徵,就不得不重新思考選項。

在下面,它提出了3點改進的措施。

不過,Claude 3.5在這過程中,也犯了一個根本性的錯誤。

它雖然想到了A/B測試定價的聰明辦法,但卻計算錯了利潤。

儘管Mollick嘗試糾正,但在接下來遊戲中,它依舊堅持了自己的策略。

研究人員又試了幾次,它最終糾正了錯誤。

Claude編碼自動化失敗

Mollick也沒有料到會出現系統崩潰,這是因為他用遠端桌面進行的操控。

隨後,他重新載入Claude 3.5後,讓它從停止地方繼續遊戲。