哈嘍，大家好，今天小墨這篇評論，主要來分析加州大學用強化學習讓光學芯片直接從實驗中學習，不再依賴計算機模擬訓練。

光計算的游戲規(guī)則正在被改寫。加州大學洛杉磯分校的研究人員不再試圖在計算機里完美模擬光的行為，讓光學設備像生物一樣從真實世界的經(jīng)驗中學習。

這套發(fā)表在《光：科學與應用》期刊上的新框架，用強化學習直接在硬件上訓練衍射光網(wǎng)絡，繞開了困擾光計算領域多年的模型誤差難題。

光學元件的制造偏差、環(huán)境噪聲、器件老化，這些因素都會讓精心調優(yōu)的設計在實驗室里大打折扣。

加州大學洛杉磯分校電氣與計算機工程系主任教授艾多根·奧茲坎帶領團隊提出的解決方案簡單粗暴，既然模擬不準干脆不模擬。他們采用近端策略優(yōu)化算法，這是強化學習領域以穩(wěn)定性著稱的技術，讓光學處理器直接從實測數(shù)據(jù)中摸索規(guī)律。

近端策略優(yōu)化的精妙之處在于它的保守主義。這個算法不會像傳統(tǒng)策略梯度方法那樣激進地改變參數(shù)，是小步快跑，每次更新都限制在一個安全范圍內。它還有個聰明的設計，同一批實驗數(shù)據(jù)可以反復使用多次，大幅降低了對實驗樣本的需求。

這個特性對光學實驗至關重要。每次測量都意味著調整空間光調制器、采集相機數(shù)據(jù)、處理圖像，整個流程耗時且容易引入噪聲。如果像傳統(tǒng)方法那樣需要成千上萬次測量才能收斂，訓練過程將變得不切實際。近端策略優(yōu)化把樣本需求壓縮到可控范圍，讓現(xiàn)場訓練成為可能。

研究團隊用一系列實驗驗證了這套方法的威力。第一個測試場景是讓光束穿過一個完全隨機的漫射介質后聚焦到特定位置。這個任務的難點在于漫射器的光學特性太復雜，根本無法建立準確模型。

最引人注目的演示是手寫數(shù)字分類任務。研究人員把MNIST數(shù)據(jù)集的圖像輸入到衍射光學處理器，然后用相機捕捉輸出光場的強度分布。在訓練初期，不同數(shù)字對應的輸出模式混亂不堪，難以區(qū)分。

隨著近端策略優(yōu)化算法逐步調整衍射層的相位分布，每個數(shù)字類別的輸出光斑變得越來越清晰，最終形成了可以直接讀取的分類結果。

整個過程沒有用到任何數(shù)字后處理，所有計算都由光的傳播和干涉完成。這證明了復雜的機器學習任務可以完全在物理硬件上訓練，不依賴數(shù)字孿生模型。更重要的是，這種訓練方式天然適應了硬件的實際特性，包括所有制造缺陷和環(huán)境干擾。

奧茲坎對這項技術的前景充滿信心，我們并沒有試圖完美地模擬復雜的光學行為，讓設備從經(jīng)驗或實驗中學習。這種方法可以擴展到光子加速器、納米光子處理器、自適應成像系統(tǒng)和實時光學AI硬件。

這套方法的價值不僅限于光學領域。任何可以提供實時反饋并允許參數(shù)調整的物理系統(tǒng)都可以采用類似的無模型訓練策略。

聲學超材料、電磁超表面、量子處理器，這些系統(tǒng)同樣面臨模型不準確的困擾，強化學習提供了一條繞開這個障礙的新路徑。

這項技術也不是沒有局限。近端策略優(yōu)化需要與物理系統(tǒng)頻繁交互，對于響應緩慢或無法快速重構的硬件來說訓練時間可能過長。

此外，強化學習的收斂性依賴于獎勵函數(shù)的設計，如何為復雜的光學任務定義合適的獎勵信號仍然需要人類專家的經(jīng)驗和直覺。

這個方向的潛力是顯而易見的。當摩爾定律接近物理極限，電子芯片的功耗和速度遇到瓶頸時，光計算被寄予厚望。

衍射光網(wǎng)絡可以用光速進行大規(guī)模并行運算，能效比傳統(tǒng)芯片高出數(shù)個數(shù)量級。如果這些光學處理器能夠像生物神經(jīng)網(wǎng)絡一樣自主學習和適應，那么我們可能正在見證計算技術的又一次革命。

當光子開始思考如何更好地干涉和衍射時，我們距離真正的光學大腦又近了一步。這項技術將傳統(tǒng)的"先建模后制造"流程徹底顛覆，變成了"邊制造邊學習"。

從手寫數(shù)字識別到復雜光場控制，近端策略優(yōu)化算法證明了物理硬件可以像生物一樣從經(jīng)驗中成長。光計算的未來可能不需要完美的數(shù)字孿生，只需要給光子一個學習的機會。