歷經一年半的研發，自動化 AI 研究迎來了歷史性時刻。
Sakana AI 聯手不列顛哥倫比亞大學、向量研究所（Vector Institute）及牛津大學，共同打造出的「AI 科學家」系統，正式登上《自然》（Nature）雜誌。該篇論文詳細剖析了系統架構，公布了全新的縮放定律（Scaling Laws）結果，並深入探討了 AI 生成科學研究的未來與挑戰。目前，該系統的初代與第二代程式碼及其生成的論文，均已在 GitHub 上開放原始碼。
《自然》論文連結：https://www.nature.com/articles/s41586-026-10265-5
GitHub 專案連結：
https://github.com/SakanaAI/AI-Scientist
https://github.com/SakanaAI/AI-Scientist-v2
回顧這一年半的歷程，AI 科學家系統的發展經歷了兩個關鍵階段。
第一階段在於證明可行性。研發團隊最初僅提供一段基礎程式碼模板（類似簡單的 nanoGPT 訓練），該系統便成功實現自主發想新點子、設計並執行實驗測試，最後獨立撰寫出一篇完整的論文。為了評估這些論文的品質，團隊還專門開發了一套「自動審查員」系統。這在歷史上首次證明，端到端自動化完成整個機器學習研究流程是完全可行的。
第二階段則是挑戰科學領域的「圖靈測試」。在系統的第二次更新中，其獲得了極大的自由度，可探索 AI 研究中任何寬泛定義的主題。團隊將完全由 AI 生成、未經任何人類編輯的論文，直接提交至 ICLR 2025 的一場研討會，接受嚴苛的人類雙盲同儕審查。
結果令人震撼。其中一份手稿獲得了 6、7、6 的單項分數，平均分高達 6.33 分，直接越過了人類設定的接收門檻，其得分甚至超越了 55% 的人類作者論文。整個提交流程均提前徵得研討會主辦方同意，並在論文確認被接收後，按原定計劃進行了撤稿。
這篇全新的《自然》論文不僅匯整了上述突破，更揭示了使其成為可能的底層大型語言模型優化機制。在實際運作中，只要給定一個大致研究方向，系統便能自主生成創新的研究思路，檢索並閱讀相關文獻，透過並行的智慧體樹狀搜尋（Agent Tree Search）來設計、編寫程式並執行實驗。最後，它會使用 LaTeX 語言撰寫整篇論文，期間還會調用具備視覺能力的基礎大模型，為論文配圖提供反饋。
新發現：自動審查員與科學界的縮放定律
為了能夠大規模評估 AI 生成的科研成果，同時避免讓人類審查員過勞，團隊打造了自動審查員系統。
該系統被設定為扮演領域主席的角色，綜合五份獨立評審意見，並嚴格按照 NeurIPS 的官方指南做出最終裁決。研發團隊使用 OpenReview 數據集中成千上萬筆真實人類審查決定對其進行基準測試。結果顯示，自動審查員的表現與人類相當，平衡準確率達到 69%，其 F1 分數甚至超越了著名 NeurIPS 2021 一致性實驗中測出的人類審查員之間的一致性。
更重要的是，透過用這套審查系統評估不同底層大模型生成的論文，團隊發現了一條清晰的縮放定律：底層大模型的能力越強，系統生成的論文具品質就越高。這強烈預示著，隨著運算成本下降與模型能力呈指數級攀升，未來版本的 AI 科學家將爆發出更加驚人的實力。
局限與未來：機器換人的前夜
儘管通過人類同儕審查是一項巨大突破，但 AI 科學家系統目前仍處於早期階段，《自然》論文中也坦承了它的幾項局限性。
例如，它偶爾會提出一些幼稚或不夠成熟的想法；在處理極具深度的嚴密方法論和複雜的程式碼實作時會感到吃力；系統也容易產生幻覺或犯明顯的低級錯誤，例如生成不存在的參考文獻，或在論文附錄中重複放置同一張圖表。
然而，機器學習領域有著明顯的趨勢：一項新能力一旦開始奏效，即便存在明顯缺陷，在規模擴張和核心模型升級的推動下，它也會在極短的時間內超越人類水平。目前 AI 科學家還僅限於計算類實驗，但團隊預計這套模式將被適配到其他領域，透過開放式的探索發現來催化整個科學界的進步。
科學發現範式的徹底轉變
自動生成論文的能力不可避免地引發了深刻的倫理與社會探討。這包括同儕審查系統可能面臨崩潰，以及學術背景被虛假抬高等風險。
研發團隊強調必須負責任地開發這項技術，這包含了讓公眾知情：AI 生成論文不僅已成為現實，而且在某些情況下完全可以媲美人類水平。團隊主動撤回了被接收的 AI 論文，所有實驗均獲得了倫理審查委員會的批准。同時，團隊在所有 AI 生成的論文上都打上了浮水印以明示身份，並呼籲整個學術界都採納這種做法，盡快建立起對待 AI 生成研究的清晰規範。
原始來源：https://sakana.ai/ai-scientist-nature/
--end--