北京
很多時候，我們以為自己是在思考之后才學(xué)會某種行為。但從神經(jīng)科學(xué)的角度看，學(xué)習(xí)往往發(fā)生得更早，也更隱秘。
當(dāng)一個選擇帶來好結(jié)果，它更可能再次出現(xiàn)；當(dāng)一個行為導(dǎo)致不利后果，它逐漸被抑制。
這種從反饋中調(diào)整行為的過程，被稱為強化學(xué)習(xí)（reinforcement learning）。它并不是某種高階推理，而是連接經(jīng)驗、行動與未來選擇的基本機制。
在神經(jīng)科學(xué)中，強化學(xué)習(xí)并不是從計算機科學(xué)“照搬”來的概念。相反，它最早來自對動物行為的觀察：獎勵不僅帶來愉悅感，更重要的是，它會改變行為的概率。正是這一點，讓獎勵成為塑造決策的關(guān)鍵力量。
從“被獎勵”到“做選擇”
早期心理學(xué)家很早就注意到，如果一個行為產(chǎn)生令人滿意的結(jié)果，它會在未來更頻繁地出現(xiàn)。久而久之，人們甚至提出一種激進的觀點：所有行為，都是為了獲得獎勵或避免懲罰。
這一思想在行為主義時代被推到極致。通過精心控制獎勵出現(xiàn)的方式——比如間隔多久、需要付出多少努力——研究者發(fā)現(xiàn)，行為可以被系統(tǒng)性地塑造。動物并不需要理解規(guī)則本身，只要反饋足夠穩(wěn)定，行為模式就會逐漸成形。
真正讓“學(xué)習(xí)”與“決策”交匯的，是當(dāng)環(huán)境中出現(xiàn)了多個可選項。當(dāng)個體不再只是重復(fù)一個動作，而是在不同選項之間分配時間和精力，選擇本身就成為研究對象。
在這些多選項任務(wù)中，一個令人著迷的現(xiàn)象反復(fù)出現(xiàn)：個體往往不會把所有行為都壓到回報最高的選項上。相反，它們會在不同選項之間分配選擇次數(shù)，而且分配比例往往接近各選項獲得獎勵的比例。這種現(xiàn)象被稱為匹配行為。它描述了行為如何隨回報分布而變化，卻并不解釋行為為何如此。
更耐人尋味的是，在大多數(shù)實驗中，個體表現(xiàn)出的并不是“完美匹配”，而是一種偏離——它們對高回報選項的選擇不夠極端，對低回報選項的嘗試反而更多。這種現(xiàn)象被稱為欠匹配。
從結(jié)果上看，這似乎并不完全“理性”。如果目標(biāo)是最大化回報，為什么不更堅決地選擇更好的選項？
大腦在做全局計算嗎？
一個重要的轉(zhuǎn)折在于，人們開始意識到：也許問題不在“結(jié)果是否最優(yōu)”，而在大腦如何在時間中做決定。
在現(xiàn)實世界中，回報是隨機的、嘈雜的，真正的回報率需要很長時間才能估計清楚。如果要判斷“長期來看這樣做是否更好”，大腦必須保留大量歷史信息，并進行復(fù)雜計算。這在生物系統(tǒng)中并不容易實現(xiàn)。
相反，如果大腦采用的是一種局部規(guī)則——在當(dāng)下偏向最近回報更高的選項——那么欠匹配反而是自然結(jié)果。每一次選擇，都是基于近期經(jīng)驗的權(quán)衡，而不是對整體結(jié)構(gòu)的精確把握。
從這種局部選擇規(guī)則出發(fā)，長期統(tǒng)計上的匹配行為會自然涌現(xiàn)，而無需大腦明確追求“最優(yōu)解”。
當(dāng)研究者把目光投向大腦時，這一假設(shè)開始獲得支持。在靈長類動物的實驗中，神經(jīng)元的活動不僅與選擇本身有關(guān)，還會隨選項的回報歷史發(fā)生系統(tǒng)性變化。
某些神經(jīng)區(qū)域中的神經(jīng)元，其放電強度會反映某個選項在近期“有多值得選”。這種信號并不是一次性計算出的，而是通過對獎勵歷史的持續(xù)整合逐步形成。
重要的是，這種整合并不是無限的。較新的結(jié)果影響更大，較久遠(yuǎn)的結(jié)果逐漸衰減。這意味著，大腦對世界的估計始終是動態(tài)的、帶有遺忘的。
學(xué)習(xí)信號來自哪里？
要讓估計發(fā)生改變，大腦需要一個關(guān)鍵信號：當(dāng)結(jié)果與預(yù)期不一致時，系統(tǒng)必須“知道自己錯了”。
這正是預(yù)測誤差的核心思想。預(yù)測誤差并不只是“得到了多少獎勵”，而是“實際結(jié)果與預(yù)期之間的差異”。如果結(jié)果比預(yù)期好，估計上調(diào)；如果更差，估計下調(diào)。
在大腦中，某些神經(jīng)系統(tǒng)的活動模式，與這種誤差信號高度一致。它們在結(jié)果超出預(yù)期時短暫增強，在結(jié)果落空時被抑制。這種信號并不是為了制造快感，而是為了驅(qū)動學(xué)習(xí)，讓連接發(fā)生改變。
隨著時間維度被引入，預(yù)測誤差也不再局限于結(jié)果出現(xiàn)的那一刻，而是逐漸提前，轉(zhuǎn)移到那些預(yù)示未來結(jié)果的線索上。這一現(xiàn)象，為更連續(xù)的學(xué)習(xí)模型提供了基礎(chǔ)。
正是在這樣的背景下，研究者開始借助計算機科學(xué)中的強化學(xué)習(xí)框架，對這些過程進行形式化描述。在這一框架中，個體被視為一個與環(huán)境互動的“代理”，通過行動獲得反饋，并試圖在時間中最大化回報。
這些模型提供了一種清晰的語言，用來描述學(xué)習(xí)、選擇和更新的關(guān)系。但它們并不等同于大腦的真實實現(xiàn)方式。某些算法在數(shù)學(xué)上優(yōu)雅，卻可能難以在嘈雜、有限的神經(jīng)系統(tǒng)中實現(xiàn)。
事實上，動物的行為往往偏離這些“理想模型”。它們會更新未被選擇的選項，會表現(xiàn)出選擇慣性，會在探索與利用之間搖擺。這些特征并非噪聲，而是生物系統(tǒng)在現(xiàn)實約束下的產(chǎn)物。
從神經(jīng)科學(xué)的角度看，強化學(xué)習(xí)更像是一種視角，幫助我們理解：經(jīng)驗如何塑造行為，反饋如何改變選擇，以及學(xué)習(xí)如何嵌入決策本身。
它提醒我們，所謂“理性”，并不意味著完美計算；所謂“學(xué)習(xí)”，也不意味著穩(wěn)定收斂。在真實的大腦中，學(xué)習(xí)總是在有限信息、不確定環(huán)境和生物約束下展開。而正是在這種不完美中，行為才顯得如此真實。
在「神經(jīng)現(xiàn)實 x Noetex Academy」新一期的決策神經(jīng)科學(xué)課程中，你將進一步了解神經(jīng)科學(xué)如何研究強化學(xué)習(xí)。在達(dá)特茅斯學(xué)院神經(jīng)科學(xué)教授Alireza Soltani帶領(lǐng)下，你將進入生物、認(rèn)知和計算三個層級，探尋決策機制的神經(jīng)基礎(chǔ)，以及它如何啟發(fā)經(jīng)濟學(xué)、認(rèn)知科學(xué)和人工智能等領(lǐng)域的發(fā)展。
特別聲明：以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布，本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
我去，什么情況！文班?？怂够ハ嗯踹?/a>
桂系007
