機(jī)器之心報(bào)道

機(jī)器之心編輯部

一直以來(lái)，關(guān)于人工生命（Artificial Life, ALife）的研究致力于回答這樣一個(gè)問(wèn)題：生命的復(fù)雜性能否在計(jì)算系統(tǒng)中自然涌現(xiàn)？

這一探索的核心目標(biāo)，被稱(chēng)為開(kāi)放式復(fù)雜化（open-ended complexification）—— 讓人工系統(tǒng)能夠像生物世界一樣，在持續(xù)的適應(yīng)與演化中自發(fā)產(chǎn)生新的結(jié)構(gòu)與功能。

近年來(lái)，NCA（Neural Cellular Automata，神經(jīng)細(xì)胞自動(dòng)機(jī)）為這種探索提供了新的思路。它們能夠在局部規(guī)則下展現(xiàn)分布式生長(zhǎng)與自組織能力。然而，大多數(shù) NCA 模型仍基于單一、固定的結(jié)構(gòu)，難以突破演化的封閉邊界。

在這樣的背景下，來(lái)自Sakana AI的研究者提出了一種新的 ALife 模擬系統(tǒng) ——PD-NCA（ Petri Dish Neural Cellular Automata）。在該系統(tǒng)中，多個(gè) NCA 智能體在同一環(huán)境中競(jìng)爭(zhēng)，它們的唯一目標(biāo)是實(shí)現(xiàn)自我復(fù)制（self-replication）。

PD-NCA 與傳統(tǒng)的 NCA 框架有著顯著不同：

• 傳統(tǒng)的 NCA 通常由單一、固定的模型在網(wǎng)格上運(yùn)行，其參數(shù)在訓(xùn)練完成后保持不變；
• 而在 PD-NCA 中，Sakana AI 引入了一個(gè)由多個(gè)獨(dú)立且持續(xù)學(xué)習(xí)的 NCA 構(gòu)成的種群。

每個(gè) NCA 都擁有自己獨(dú)立的神經(jīng)網(wǎng)絡(luò)參數(shù)，并在模擬過(guò)程中通過(guò)基于梯度的持續(xù)優(yōu)化不斷更新與適應(yīng)。

這些智能體共享一個(gè)共同的空間基質(zhì) —— 即所謂的培養(yǎng)皿（Petri Dish）。

在這個(gè)培養(yǎng)皿中，不同 NCA 之間通過(guò)可微分的攻擊與防御通道進(jìn)行交互，表現(xiàn)出既競(jìng)爭(zhēng)又合作的動(dòng)態(tài)關(guān)系。

與傳統(tǒng) NCA 不同，后者的形態(tài)發(fā)生過(guò)程通常是根據(jù)預(yù)訓(xùn)練規(guī)則以確定性方式展開(kāi)的；PD-NCA 則通過(guò) learning-in-the-loop 的機(jī)制，讓學(xué)習(xí)過(guò)程本身參與到模擬之中，從而實(shí)現(xiàn)開(kāi)放式的適應(yīng)與復(fù)雜性涌現(xiàn)。

換言之，在一個(gè)可微的、動(dòng)態(tài)學(xué)習(xí)的環(huán)境中，生命體樣的結(jié)構(gòu)不再被預(yù)先設(shè)定，而是能在交互、進(jìn)化與競(jìng)爭(zhēng)中自行演化出豐富的行為與形態(tài)。

• 論文標(biāo)題：Petri Dish Neural Cellular Automata
• 論文地址：https://pub.sakana.ai/pdnca/
• 項(xiàng)目地址：https://github.com/SakanaAI/petri-dish-nca

在 PD-NCA 中，每一個(gè)個(gè)體都在努力擴(kuò)張自身，同時(shí)學(xué)習(xí)如何適應(yīng)環(huán)境并超越鄰近的競(jìng)爭(zhēng)者。

結(jié)果顯示，PD-NCA 能夠產(chǎn)生多種復(fù)雜的涌現(xiàn)行為，例如周期性動(dòng)態(tài)（cyclic dynamics）、領(lǐng)地防御（territorial defense）以及自發(fā)協(xié)作（spontaneous cooperation）。

下方的視頻展示了多次模擬過(guò)程中不斷演化出的豐富變化與復(fù)雜性 —— 每一種顏色代表不同的 NCA 個(gè)體。

方法介紹

模擬在一個(gè)離散的空間網(wǎng)格上運(yùn)行。你可以把它想象成一個(gè)棋盤(pán)，它有特定的寬度（W）和高度（H）。

在棋盤(pán)的每一個(gè)格子上，都存儲(chǔ)著一組信息，稱(chēng)為通道（C）。

在任何一個(gè)時(shí)間點(diǎn)（t）和網(wǎng)格位置（x,y），該格子的狀態(tài)（s）都由一個(gè)特征向量來(lái)定義。這個(gè)向量包含了三個(gè)關(guān)鍵部分：攻擊通道（a）、防御通道（d）、隱藏狀態(tài)（h）。

在模擬的每一個(gè)時(shí)間步，都會(huì)依次經(jīng)歷以下四個(gè)階段：處理（Processing）、競(jìng)爭(zhēng)（Competition）、歸一化（Normalization）、狀態(tài)更新（State Update）。

處理階段

每個(gè) NCA 智能體（可以理解為模擬中的「玩家」）本身都是通過(guò)一個(gè)卷積函數(shù)來(lái)定義的。

這個(gè)函數(shù)會(huì)「觀(guān)察」某個(gè)位置（x,y）及其鄰近區(qū)域（N）的狀態(tài)，然后生成一個(gè)「狀態(tài)更新提議（Δs）」，也就是它「希望」這個(gè)格子在下一刻變成什么樣。

智能體能否提出這個(gè)「提議」，受到一個(gè)「存活掩碼（A）」的控制。簡(jiǎn)單來(lái)說(shuō)，智能體只能在它自己存活的格子或緊鄰的格子里提出更新建議。

• 背景環(huán)境（一個(gè)恒定的對(duì)手）

為了確保模擬始終充滿(mǎn)活力，尤其是在某個(gè)區(qū)域只有一個(gè)智能體「活著」的情況下研究人員引入了一個(gè)靜態(tài)的「背景環(huán)境（E）」

它就像一個(gè)恒定的背景競(jìng)爭(zhēng)者，在模擬開(kāi)始時(shí)隨機(jī)初始化一次，然后就固定不變。

這個(gè)「背景環(huán)境」也會(huì)像智能體一樣，在每個(gè)格子上提出它自己的「更新提議」。這確保了所有智能體必須時(shí)刻保持積極的攻擊和防御，以對(duì)抗這種持續(xù)的背景壓力，從而防止「躺平」或停滯

競(jìng)爭(zhēng)階段

計(jì)算式中的「溫度參數(shù)（τ）」用來(lái)控制競(jìng)爭(zhēng)的「尖銳程度」。溫度越低，競(jìng)爭(zhēng)越激烈，第一名的優(yōu)勢(shì)就越大。

狀態(tài)更新階段

這帶來(lái)一個(gè)有趣的結(jié)果：它允許最多 2 個(gè)智能體在同一個(gè)格子里共存（因?yàn)?0.4 + 0.4 < 1.0）。研究者發(fā)現(xiàn)，如果閾值高于 0.5（導(dǎo)致贏(yíng)家通吃，只留 1 個(gè)），模擬會(huì)變得很無(wú)聊。

研究者這樣設(shè)置的靈感來(lái)源于混合專(zhuān)家（MoE）模型（它們通常會(huì)選擇 Top-2 專(zhuān)家），這能確保模擬保持一定的探索性。

因此，雖然模擬的真實(shí)狀態(tài)是連續(xù)的（一個(gè)格子可能是多個(gè)智能體更新提議的混合體），但在可視化視頻中，為了清晰起見(jiàn)，只顯示了每個(gè)格子上「貢獻(xiàn)權(quán)重」最高的那個(gè)智能體，并用不同顏色來(lái)區(qū)分。

• 優(yōu)化目標(biāo)（智能體的「動(dòng)機(jī)」）

那么，智能體是如何「學(xué)習(xí)」的呢？

每個(gè)智能體 i 的優(yōu)化目標(biāo)（L）都是為了最大化其領(lǐng)土，即最大化它在整個(gè)網(wǎng)格上的「總存活度」。

在實(shí)際計(jì)算中，作者通過(guò)最小化「負(fù)對(duì)數(shù)存活度」來(lái)實(shí)現(xiàn)這個(gè)目標(biāo)。

這個(gè)目標(biāo)設(shè)定非常巧妙，它會(huì)自然地「涌現(xiàn)」出復(fù)雜的行為：智能體必須學(xué)會(huì)在「進(jìn)攻擴(kuò)張」（優(yōu)化其攻擊通道）和「防守領(lǐng)地」（優(yōu)化其防御通道）之間找到精妙的平衡，以便在與其他智能體和持續(xù)的背景環(huán)境壓力對(duì)抗時(shí)，盡可能多地「活下去」。

實(shí)驗(yàn)

該研究開(kāi)展了多項(xiàng)實(shí)驗(yàn)來(lái)探索 PD-NCA。

動(dòng)態(tài)特性

在探索 PD-NCA 的過(guò)程中，他們發(fā)現(xiàn)當(dāng)網(wǎng)格規(guī)模（grid size）與 NCA 個(gè)體數(shù)量同時(shí)增加時(shí)，系統(tǒng)的群體行為會(huì)變得更加豐富與復(fù)雜。

這表明未來(lái)的研究方向之一是進(jìn)一步在更大尺度的網(wǎng)格上運(yùn)行 PD-NCA，支持更多數(shù)量的 NCA 個(gè)體，并可能同時(shí)在多塊 GPU 上并行計(jì)算。

下面是網(wǎng)格大小的影響。網(wǎng)格大小從 16 x 16 到 196 x 196 的結(jié)果：

下圖展示了從 16×16 網(wǎng)格擴(kuò)展到 196×196 網(wǎng)格時(shí) NCA 行為的變化。

學(xué)習(xí)的影響

下方的視頻展示了學(xué)習(xí)機(jī)制對(duì) PD-NCA 模擬結(jié)果的影響。

在沒(méi)有學(xué)習(xí)的情況下，系統(tǒng)最終會(huì)進(jìn)入一種穩(wěn)定狀態(tài)，僅呈現(xiàn)出微小的波動(dòng)；而引入學(xué)習(xí)之后，可以觀(guān)察到有趣的周期性行為，以及系統(tǒng)在不同交互狀態(tài)之間的持續(xù)變化與演化。

這些現(xiàn)象表明：NCA 的數(shù)量、網(wǎng)格規(guī)模以及學(xué)習(xí)過(guò)程，是產(chǎn)生 PD-NCA 中復(fù)雜動(dòng)態(tài)與多樣行為的關(guān)鍵因素。

接下來(lái)作者探索了反向傳播的重要性。左側(cè)視頻展示的是未啟用反向傳播的模擬，右側(cè)視頻則展示了正常啟用反向傳播的運(yùn)行結(jié)果。對(duì)比結(jié)果表明：反向傳播顯著提升了系統(tǒng)中復(fù)雜涌現(xiàn)行為的豐富度與持續(xù)性。

超參數(shù)搜索

下面視頻中，左上、中間下方和右下角的模擬都先運(yùn)行了很多步?jīng)]有提前進(jìn)行學(xué)習(xí)，然后運(yùn)行了幾步，又進(jìn)行了學(xué)習(xí)。這反映在它們的行為上：在反向傳播改變平衡之前，它們都呈現(xiàn)出穩(wěn)定的石頭剪刀布動(dòng)態(tài)。中間上方的模擬展示了穩(wěn)定的循環(huán)是如何出現(xiàn)和競(jìng)爭(zhēng)的，暗示了共生起源的存在。

超循環(huán)

在包含 3 到 6 個(gè) NCA 的實(shí)驗(yàn)中，作者測(cè)試了是否可以鼓勵(lì)形成更長(zhǎng)長(zhǎng)度的超循環(huán)結(jié)構(gòu)（hypercycles）。

結(jié)果顯示，盡管修改了損失函數(shù)，但觀(guān)察到完整長(zhǎng)度的超循環(huán)很少能夠穩(wěn)定存在。相反，NCA 循環(huán)坍縮為較短的 2–3 NCA 循環(huán)，或者出現(xiàn)寄生行為與叛逃級(jí)聯(lián)現(xiàn)象。

在圖中最右側(cè)的 N=6N=6N=6 實(shí)驗(yàn)中，黃色智能體因綠色智能體的擴(kuò)張而獲得獎(jiǎng)勵(lì)，但綠色智能體卻反過(guò)來(lái)侵占了黃色智能體的領(lǐng)地。同時(shí)，我們還觀(guān)察到一個(gè)由黃色與藍(lán)色智能體組成的截?cái)嗟亩h(huán)（2-cycle），其中藍(lán)色智能體在對(duì)抗寄生性的綠色智能體時(shí)扮演防御者角色。

了解更多內(nèi)容，請(qǐng)參考原文。