2024-10-29 01:33:30 3
【新智元導讀】Claude遊戲測試,能打幾分?在持續一個多小時毀滅人類遊戲中,Claude能制定出長期策略,令人驚喜的同時,也暴露出了AI短板。
若把電腦的操控權交給AI,會發生什麼?
Anthropic在上週,已初步展示了Claude 3.5自動編寫網站、填資料表、點外賣的強大能力。
那麼,Claude打遊戲,是否可以通關?
最近,來自賓夕法尼亞大學沃頓商學院的教授Ethan Mollick發現:
Claude不僅能理解遊戲、制定出長期策略,還能連續幾個小時遵循策略。
接下來,一起看看進化版Claude 3.5如何玩遊戲的?
策略很明智,錯誤也低階
這個網頁遊戲叫「Paperclip Clicker」(回形針點選器),規則是AI在製造回形針的過程中毀滅人類。
地址:https://www.decisionproblem.com/paperclips/index2.html
Mollick提供給Claude 3.5這個遊戲的URL,並告訴它,「一定要贏」。
顯然,對於AI來說非常簡單。
它立即弄清楚了遊戲規則,並開始建立回形針。
這一過程需要它反覆點選「make paperclip」按鈕,同時不斷截圖更新理解並尋找下一個新選項的出現。
每點選15次,Claude 3.5會總結出截止目前的進展。
如下,是Mollick在測試中一個螢幕介面,左邊是模型輸出結果、截圖,右邊可以看到控制的遊戲頁面。
有趣的是,在遊戲中,Claude 3.5會制定一個策略,並根據自己學到的內容及時做出調整。
雖不知它是如何制定的,但可以看出其前瞻性思維和洞察力,能夠進行十步之後的長遠規劃。
甚至,當AI意識到,這個假設是錯誤的,它會隨即提出一個新策略,並對其進行測試。
下圖第3點策略重估中,Claude 3.5意識到點選到50個回形針時,並不會解鎖新的特徵,就不得不重新思考選項。
在下面,它提出了3點改進的措施。
不過,Claude 3.5在這過程中,也犯了一個根本性的錯誤。
它雖然想到了A/B測試定價的聰明辦法,但卻計算錯了利潤。
儘管Mollick嘗試糾正,但在接下來遊戲中,它依舊堅持了自己的策略。
研究人員又試了幾次,它最終糾正了錯誤。
Claude編碼自動化失敗
Mollick也沒有料到會出現系統崩潰,這是因為他用遠端桌面進行的操控。
隨後,他重新載入Claude 3.5後,讓它從停止地方繼續遊戲。
2024-10-31 2 人在看
2024-10-30 1 人在看
2024-10-29 1 人在看
2024-10-27 0 人在看
2024-10-26 2 人在看
2024-10-26 1 人在看
2024-10-25 1 人在看
2024-10-24 3 人在看