Moonlake AI 發布 3D 世界構建代理，能夠根據單張圖像輸入重建複雜場景

月湖人工智慧專注於數據驅動模擬系統的研究實驗室宣布推出一款新的 3D 代理，旨在透過最少的視覺輸入來產生和重建複雜的虛擬環境。 

據該公司稱，該系統的功能類似於技術美術師，能夠從單張圖像構建可活動的資產和包含數百個物件的大型可編輯場景，並隨著時間的推移不斷改進其輸出。

該實驗室將這項進展描述為人工智慧向自動化世界建構這一更廣泛轉變的一部分，而這一領域超越了傳統的基於文字或程式碼的推理。雖然現代人工智慧系統越來越多地被用於透過生成、執行和驗證的迭代循環來自動化結構化知識工作，但該公司指出，由於需要空間、幾何和因果關係方面的理解，而這些理解並未在任務指令中明確提供，因此模擬和3D環境創建引入了額外的複雜性。

據估計，這類工作在模擬、遊戲、動畫、電影製作和視覺特效等行業中佔據數十億美元的市場規模。 Moonlake AI 表示，其初期重點是與廣泛使用的創意軟體環境（包括 Blender）集成，使開發人員和藝術家能夠將基於代理的工作流程融入現有的製作流程中。

該系統旨在透過長期迭代過程運行，而非產生單步輸出。在此框架下，智能體透過反覆的評估和改進循環來優化 3D 場景、重建資產並管理關節模型。最佳化過程由分層目標指導，這些目標從多個層面評估場景質量，包括整體視覺保真度和真實感、與參考資料或概念圖的一致性，以及物件放置、對齊和連接的結構正確性。

結構驗證透過基於程式碼的驗證機制來實現，旨在檢測僅靠視覺語言模型可能無法捕捉到的空間不一致之處。這種方法解決了現有系統的局限性，即即使視覺輸出合理，幾何或佈局中的細微錯誤也可能無法被檢測到。

該代理程式旨在整合到現有的製作工作流程中，包括數位資產管理系統和互動式編輯環境（例如 Blender）。它支援場景內的增量修改和局部調整，從而在開發過程中實現持續改進。此外，它還能從專家演示中學習，並將程式知識推廣到各個任務中，有效地將重複性的製作工作（例如命名規則、物件狀態管理、攝影機設定、材質一致性、燈光配置和匯出準備）轉化為自動化工作流程。

Moonlake AI 提出基於場景的基準測試方法，以改善世界建構人工智慧系統的評估。

更廣泛的研究工作也指出，需要改進用於評估世界建構模型的基準測試系統。研究認為，虛擬環境受制於隱含的結構規則，包括空間連貫性、時間一致性、事件的因果順序以及物件隨時間的持續行為，而所有這些都難以用現有的評估框架進行衡量。

目前的基準測試，例如 GameDevBench，主要依賴基於教程的任務和預測試。defined 實作指令往往著重於評估指令的複製，而非目標推論或自適應問題解決能力。類似地，OpenGame-Bench 透過端到端的遊戲建置引入了更具互動性的測試，但仍過於專注於編譯、載入和渲染等基本功能，而常常無法偵測到遊戲系統中一些細微但至關重要的邏輯錯誤。

Moonlake AI 提出透過將真實世界的開發問題轉化為可執行的、基於場景的測試來解決這些局限性，這些測試源自於生產環境和開發日誌。這些測試旨在模擬虛擬世界中的受控交互，從而能夠根據預期結果評估特定狀態和操作。這種方法旨在將原本難以察覺的故障（例如狀態轉換錯誤、物品行為不一致或交互邏輯錯誤）明確地、可衡量地呈現出來。

此評估框架借鑒了人類玩家測試的方法，系統地探究不同條件下的遊戲內行為，同時保持自動化評估的可重複性。為了應對不同系統實現方式的差異，該框架採用了一種自適應評分機制，使測試執行與每個候選環境相匹配，同時保留了基本的遊戲行為標準。