# 點(diǎn)擊藍(lán)字 關(guān)注我們 #

近日，北京科技大學(xué)郝旭副教授團(tuán)隊(duì)與北京航空航天大學(xué)同凡副教授團(tuán)隊(duì)聯(lián)合提出一種基于強(qiáng)化學(xué)習(xí)方法的出行感知電動(dòng)汽車充放電控制策略，優(yōu)化V2B-PV系統(tǒng)能量協(xié)同管理，為交通電動(dòng)化、建筑用能屋頂光伏可再生能源融合提供新方案。

文章亮點(diǎn)

1.針對電動(dòng)汽車出行行為的異質(zhì)性與可再生能源發(fā)電的不確定性等挑戰(zhàn)，提出“面向出行特征的強(qiáng)化學(xué)習(xí)充放電控制框架”。

2.通過深度Q網(wǎng)絡(luò)（DQN）算法實(shí)現(xiàn)電動(dòng)汽車、建筑與光伏系統(tǒng)（V2B-PV）的聯(lián)合用能調(diào)度，實(shí)現(xiàn)接近離線優(yōu)化算法的系統(tǒng)表現(xiàn)。

3.所提出的強(qiáng)化學(xué)習(xí)控制策略在真實(shí)數(shù)據(jù)測試中相對傳統(tǒng)控制算法降低充電成本55%、減少碳排放11.6%、提高光伏利用率至95%。

4.系統(tǒng)量化電動(dòng)汽車出行時(shí)間與建筑負(fù)荷信息對充放電管理策略的信息價(jià)值（Value of Information, VOI）。

5.所提出的強(qiáng)化學(xué)習(xí)控制策略具有較快計(jì)算效率（毫秒級(jí)），可適配近實(shí)時(shí)控制場景，為智能交通-建筑-電網(wǎng)協(xié)同提供新范式。

內(nèi)容簡介

交通部門約占終端能源二氧化碳排放的三分之一，其中公路交通貢獻(xiàn)達(dá)75%。電動(dòng)汽車被視為脫碳轉(zhuǎn)型的關(guān)鍵技術(shù)，但如果充電行為不受控制，可能加劇電網(wǎng)高峰負(fù)荷壓力。電動(dòng)汽車有序充放電可以降低成本、增強(qiáng)電網(wǎng)韌性，并提升可再生能源的利用率。然而，消費(fèi)者出行模式的異質(zhì)性以及可再生能源發(fā)電的波動(dòng)性對現(xiàn)有控制策略提出了重大挑戰(zhàn)，現(xiàn)有控制策略求解面臨“維度災(zāi)難”等問題。本研究提出一種考慮出行特征的深度強(qiáng)化學(xué)習(xí)充電控制策略，基于北京市高層辦公樓一年光伏發(fā)電和用電負(fù)荷的真實(shí)數(shù)據(jù)，采用深度Q網(wǎng)絡(luò)算法，綜合考慮最小化充電成本和最小化光伏發(fā)電棄電率等目標(biāo)。

研究結(jié)果表明，該框架實(shí)現(xiàn)了低充電成本、低棄電率和較低碳排放——其表現(xiàn)接近具備完美信息的離線優(yōu)化算法，并顯著優(yōu)于隨機(jī)充電、盡快充電和貪心充電等傳統(tǒng)算法。具體而言，強(qiáng)化學(xué)習(xí)算法相較于隨機(jī)充電算法，可降低充電成本55%，減少碳排放11.6%，實(shí)現(xiàn)95%的光伏利用率。進(jìn)一步分析表明，關(guān)于電動(dòng)汽車出行時(shí)間與建筑用電需求的信息價(jià)值分別為2.4元/車/天和0.7元/車/天。研究結(jié)果表明，在“車輛—電網(wǎng)—建筑—光伏”集成系統(tǒng)中，強(qiáng)化學(xué)習(xí)在優(yōu)化電動(dòng)汽車充放電行為方面具有可行性與有效性。

研究方法

在“雙碳”目標(biāo)與高比例可再生能源并網(wǎng)背景下，電動(dòng)汽車以其靈活的儲(chǔ)能屬性成為分布式能源系統(tǒng)的重要節(jié)點(diǎn)。然而，出行模式的隨機(jī)性與光伏發(fā)電的不確定性，使傳統(tǒng)充電控制策略易陷入“維度災(zāi)難”與高成本運(yùn)行。針對這一難題，北京科技大學(xué)與北京航空航天大學(xué)團(tuán)隊(duì)提出基于深度強(qiáng)化學(xué)習(xí)的考慮出行異質(zhì)性的車-建筑-光伏系統(tǒng)充放電調(diào)度框架，以實(shí)現(xiàn)充電成本最小化與光伏消納最大化。研究構(gòu)建了含樓宇負(fù)荷、屋頂光伏及多輛電動(dòng)汽車的車-建筑-光伏系統(tǒng)模型，并采用DQN算法學(xué)習(xí)最優(yōu)充放電策略。系統(tǒng)狀態(tài)包括過去24小時(shí)電價(jià)、電動(dòng)汽車電量狀態(tài)、建筑凈負(fù)荷與出行時(shí)段信息；動(dòng)作為空間離散的充、放電決策；獎(jiǎng)勵(lì)函數(shù)綜合了充電成本、光伏利用率、充電不足與過放懲罰等因素。相比傳統(tǒng)控制策略，強(qiáng)化學(xué)習(xí)控制策略能夠在電價(jià)波動(dòng)、光照變化及多用戶行為異質(zhì)性條件下實(shí)現(xiàn)自適應(yīng)決策。研究基于北京高層辦公樓的實(shí)測數(shù)據(jù)（含8760小時(shí)光伏出力和用電負(fù)荷）開展仿真。結(jié)果表明，強(qiáng)化學(xué)習(xí)算法在無未來信息的情況下，其運(yùn)行性能接近理論最優(yōu)的離線優(yōu)化算法。

圖1. 本文建?？蚣?/strong>

圖文導(dǎo)讀

隨著全球電動(dòng)化與分布式可再生能源的快速發(fā)展，電動(dòng)汽車正逐漸演變?yōu)榉植际絻?chǔ)能與能量調(diào)節(jié)的關(guān)鍵節(jié)點(diǎn)。然而，電動(dòng)汽車的出行行為具有明顯的隨機(jī)性，而光伏發(fā)電又受天氣與時(shí)段強(qiáng)烈影響，兩者的疊加不確定性使傳統(tǒng)充放電控制策略在多目標(biāo)優(yōu)化中面臨“維度災(zāi)難”。這類系統(tǒng)若缺乏有效協(xié)調(diào)，不僅難以充分利用可再生能源，而且在用電高峰可能形成新的負(fù)荷沖擊，削弱電網(wǎng)的靈活性與穩(wěn)定性。

為此，北京科技大學(xué)與北京航空航天大學(xué)合作團(tuán)隊(duì)提出了一種“面向出行特征的強(qiáng)化學(xué)習(xí)”充放電調(diào)控框架，聚焦于建筑—車輛—光伏系統(tǒng)（V2B-PV）的動(dòng)態(tài)能量優(yōu)化。研究創(chuàng)新性地將電動(dòng)汽車的出行規(guī)律與建筑用能特征引入RL決策過程，以最小化充電成本、最大化光伏利用率、并降低碳排放為核心目標(biāo)，構(gòu)建了一個(gè)能夠在不確定環(huán)境中自適應(yīng)學(xué)習(xí)、自適應(yīng)優(yōu)化的能量調(diào)度系統(tǒng)。

01

數(shù)據(jù)特征

研究采用北京某高層辦公樓的實(shí)測數(shù)據(jù)作為實(shí)驗(yàn)基礎(chǔ)。圖2中展示了六類關(guān)鍵輸入特征：光伏發(fā)電的日變化與季節(jié)性波動(dòng)、電動(dòng)汽車出行距離、到達(dá)與離開時(shí)間分布、建筑負(fù)荷曲線以及實(shí)時(shí)電價(jià)信號(hào)。全年8760小時(shí)的數(shù)據(jù)揭示了典型的“白天光伏高、傍晚用電高”的反向特征，也反映了電動(dòng)汽車早進(jìn)晚出的辦公出行規(guī)律。這些多源數(shù)據(jù)共同定義了強(qiáng)化學(xué)習(xí)環(huán)境的狀態(tài)空間，使算法能同時(shí)感知能源供給、需求與價(jià)格變化的動(dòng)態(tài)關(guān)系。

圖2. 光伏發(fā)電、出行模式與負(fù)荷電價(jià)數(shù)據(jù)特征

02

強(qiáng)化學(xué)習(xí)控制策略訓(xùn)練過程

在訓(xùn)練階段，研究團(tuán)隊(duì)使用DQN算法，智能體與環(huán)境交互不斷更新決策。模型采用經(jīng)驗(yàn)回放與ε貪婪策略平衡探索與利用，約2萬次迭代后即可收斂。圖3中左側(cè)展示了獎(jiǎng)勵(lì)函數(shù)隨訓(xùn)練輪次逐步提升的過程；右側(cè)為三天典型運(yùn)行結(jié)果，電動(dòng)汽車在光伏出力高或電價(jià)低時(shí)主動(dòng)充電，在高負(fù)荷或高電價(jià)時(shí)段放電。強(qiáng)化學(xué)習(xí)控制算法在無未來信息的前提下實(shí)現(xiàn)了實(shí)時(shí)自適應(yīng)決策，表現(xiàn)出優(yōu)異的經(jīng)濟(jì)性與穩(wěn)定性。

圖3. 強(qiáng)化學(xué)習(xí)模型訓(xùn)練與運(yùn)行表現(xiàn)

03

強(qiáng)化學(xué)習(xí)控制策略能較好保障電動(dòng)車主的出行需求

為了評估可靠性，研究比較了五種充電控制策略下電動(dòng)汽車的出發(fā)荷電狀態(tài)。隨機(jī)充電與貪心策略的荷電狀態(tài)波動(dòng)大，難以保證出行需求；傳統(tǒng)CASAP策略（盡早充滿）雖然避免充電不足，但造成系統(tǒng)性過充與高成本。相比之下，強(qiáng)化學(xué)習(xí)策略將荷電狀態(tài)穩(wěn)定控制在60%–80%之間，與實(shí)際出行所需能量高度匹配，既保障續(xù)航，又減少過充，體現(xiàn)出精細(xì)化調(diào)控能力。

圖4. 不同策略下電動(dòng)汽車荷電狀態(tài)分布對比

04

強(qiáng)化學(xué)習(xí)控制策略能實(shí)現(xiàn)接近理論最優(yōu)解的充電成本

圖5給出了60天測試期內(nèi)各策略的累計(jì)充電成本與日成本分布。結(jié)果表明，強(qiáng)化學(xué)習(xí)策略的累計(jì)成本僅為1438 CNY，較隨機(jī)充電降低55%，并接近擁有未來信息的理想離線優(yōu)化算法。其平均日成本為18.99 CNY，波動(dòng)范圍較小，體現(xiàn)出對電價(jià)與負(fù)荷變化的自適應(yīng)能力。相比之下，CASAP策略為追求“充滿電”而付出高成本，隨機(jī)與貪心策略則出現(xiàn)大幅波動(dòng)與充電不足懲罰。

圖5. 強(qiáng)化學(xué)習(xí)顯著降低系統(tǒng)充電成本

05

強(qiáng)化學(xué)習(xí)控制策略能顯著提升光伏發(fā)電消納

光伏發(fā)電的高效利用是實(shí)現(xiàn)低碳運(yùn)行的關(guān)鍵。圖6顯示，在光照充足期，強(qiáng)化學(xué)習(xí)策略能精確匹配充放電時(shí)序，使系統(tǒng)內(nèi)部的光伏發(fā)電消納率達(dá)95.3%，顯著優(yōu)于CASAP（92.0%）與隨機(jī)充電（90.9%）。強(qiáng)化學(xué)習(xí)控制策略無需未來信息即可學(xué)習(xí)到與光照周期同步的充放電規(guī)律，表現(xiàn)出接近理想優(yōu)化的能效水平，為建筑—交通融合系統(tǒng)的可再生能源利用提供了新思路。

圖6. 光伏能量利用率顯著提升

06

強(qiáng)化學(xué)習(xí)控制策略有效降低排放水平

在同等出行需求下，強(qiáng)化學(xué)習(xí)策略有效降低了系統(tǒng)碳排放。60天周期內(nèi)，其累計(jì)排放量為14,681 kg CO?，比隨機(jī)充電減少11.6%；單位行駛里程排放強(qiáng)度僅110 g CO?/km，接近理論最優(yōu)的106 g CO?/km。圖7中箱線分布顯示，強(qiáng)化學(xué)習(xí)策略的排放波動(dòng)區(qū)間明顯更窄，說明其在應(yīng)對可再生能源波動(dòng)與電價(jià)變化時(shí)更具運(yùn)行穩(wěn)定性與環(huán)境韌性。

圖7. 強(qiáng)化學(xué)習(xí)實(shí)現(xiàn)碳排放最小化

07

強(qiáng)化學(xué)習(xí)控制策略在不同情景中體現(xiàn)出良好的適應(yīng)性與魯棒性

在考慮光伏計(jì)費(fèi)（PV Billing）情景下，電動(dòng)汽車用戶需為光伏電力付費(fèi)。研究重新訓(xùn)練模型以同時(shí)優(yōu)化電動(dòng)汽車與建筑的經(jīng)濟(jì)性。結(jié)果顯示，強(qiáng)化學(xué)習(xí)策略在新的計(jì)費(fèi)機(jī)制下仍保持明顯優(yōu)勢，累計(jì)成本約2034 CNY，僅增加77.1%。圖中可見，盡管成本上升，強(qiáng)化學(xué)習(xí)算法仍能維持合理的充放電節(jié)奏，避免了高峰時(shí)段購電與過度放電帶來的額外費(fèi)用，展現(xiàn)出跨場景的適應(yīng)性與魯棒性。

圖8. 光伏計(jì)費(fèi)機(jī)制下的經(jīng)濟(jì)性分析

08

出行時(shí)間和建筑負(fù)荷的信息價(jià)值

研究首次量化了不同環(huán)境信息在充電管理中的經(jīng)濟(jì)價(jià)值（Value of Information，VOI）。當(dāng)不提供電動(dòng)汽車出行時(shí)間信息時(shí)，強(qiáng)化學(xué)習(xí)策略的平均成本上升146.9%，對應(yīng)的信息價(jià)值約為5.74 CNY/車/天；若移除建筑負(fù)荷信息，成本增加19.5%，對應(yīng)信息價(jià)值為1.36 CNY/車/天。圖9展示了兩類信息價(jià)值在60天周期內(nèi)的波動(dòng)情況。結(jié)果表明，出行時(shí)間數(shù)據(jù)對智能調(diào)度尤為關(guān)鍵，其獲取可顯著提高系統(tǒng)經(jīng)濟(jì)性。

圖9. 信息價(jià)值：出行與負(fù)荷數(shù)據(jù)的經(jīng)濟(jì)意義

09

強(qiáng)化學(xué)習(xí)控制策略算法效率和部署可行性

在保證最優(yōu)性能的同時(shí)，強(qiáng)化學(xué)習(xí)模型具備極高的實(shí)時(shí)性。圖10對比了五種策略的平均計(jì)算時(shí)間：DQN每步推理僅需約10 ms，比離線優(yōu)化算法快30倍以上。即使在多車輛、復(fù)雜負(fù)荷場景下，也能滿足實(shí)時(shí)決策要求。這意味著強(qiáng)化學(xué)習(xí)框架不僅在仿真中表現(xiàn)優(yōu)異，更具備工程部署的可行性，可直接嵌入樓宇能源管理或園區(qū)級(jí)充電控制系統(tǒng)，實(shí)現(xiàn)低碳智能運(yùn)行。

圖10. 毫秒級(jí)決策的計(jì)算效率

總結(jié)展望

通過出行特征感知與強(qiáng)化學(xué)習(xí)算法的結(jié)合，本研究實(shí)現(xiàn)了V2B-PV系統(tǒng)的低成本、高可再生能源消納與低碳運(yùn)行。在不能完美得知未來系統(tǒng)信息的情況下，DQN模型能實(shí)現(xiàn)接近理想最優(yōu)解，展現(xiàn)出強(qiáng)化學(xué)習(xí)算法在復(fù)雜能源系統(tǒng)調(diào)控中的巨大潛力。這一框架為未來“車—樓—光—網(wǎng)一體化”能源系統(tǒng)提供了可落地的智能決策方案。

原文信息

Mobility-aware EV charging and discharging management in V2B-PV systems: a reinforcement learning framework

作者：

Xu Hao, Pengju Liu, Hongyu Pu, Fuda Gong, Fan Tong*, Qi Chen, Lishuo Liu & Xiaoru Chen

https://link.springer.com/article/10.1007/s43979-025-00142-x

DOI:

https://doi.org/10.1007/s43979-025-00142-x

Cite this article：

Hao, X., Liu, P., Pu, H. et al. Mobility-aware EV charging and discharging management in V2B-PV systems: a reinforcement learning framework. Carb Neutrality 4, 26 (2025). https://doi.org/10.1007/s43979-025-00142-x

掃碼獲取原文

通訊作者信息

同凡，北京航空航天大學(xué)，副教授

研究領(lǐng)域

能源系統(tǒng)可持續(xù)性轉(zhuǎn)型系統(tǒng)評估，低碳能源技術(shù)綜合評價(jià)。

個(gè)人簡介

同凡，北京航空航天大學(xué)經(jīng)濟(jì)管理學(xué)院副教授，教育部首批哲學(xué)社會(huì)科學(xué)實(shí)驗(yàn)室（培育）北航低碳治理與政策智能實(shí)驗(yàn)室主任助理。從事低碳技術(shù)評估、電力-交通系統(tǒng)耦合轉(zhuǎn)型研究。主持國自科青年項(xiàng)目、北京市發(fā)改委政策研究課題、北航青年拔尖人才項(xiàng)目、北航航空航天專項(xiàng)啟動(dòng)經(jīng)費(fèi)等科研課題。作為骨干，參與教育部基礎(chǔ)學(xué)科與交叉學(xué)科突破計(jì)劃、國自科國際合作重點(diǎn)項(xiàng)目、國家重點(diǎn)研發(fā)計(jì)劃、國家高端智庫重點(diǎn)研究課題、中國工程院戰(zhàn)略研究與咨詢項(xiàng)目、工信部指導(dǎo)性軟課題。在Nature Sustainability, Nature Communications, Joule, Environmental Science & Technology (ES&T), Applied Energy, Carbon Neutrality, iScience等高水平期刊發(fā)表學(xué)術(shù)論文二十余篇，ESI高被引論文1篇。第一作者論文獲ES&T 2021年最佳論文。作為骨干，獲工信部優(yōu)秀研究成果一等獎(jiǎng)（2024年）、美國產(chǎn)業(yè)界獎(jiǎng)項(xiàng)R&D 100 Award（2023年）、北航優(yōu)秀教學(xué)成果特等獎(jiǎng)（2024年）。擔(dān)任學(xué)術(shù)期刊Engineering, Carbon Neutrality青年編委，Nature Cities、PNAS等國際學(xué)術(shù)期刊匿名審稿人。

聯(lián)系方式

E-mail: fantong@buaa.edu.cn

圖文來源：原文作者

編輯：Carbon Neutrality編輯部

1.

2.

3.

4.

5.

6.

7.

8.

9.

10.

11.

12.

13.

14.

15.

16.

17.

18.

19.

20.

21.

22.

23.

24.

25.

26.

27.

28.

29.

30.

31.

32.

33.

34.

35.

36.

37.

38.

39.

40.

41.

42.

43.

44.

45.

46.

47.

48.

49.

50.

51.

52.

53.

54.

55.

56.

57.

58.

59.

60.

61.

Carbon Neutrality 是由上海交通大學(xué)與Springer Nature合作出版的低碳科學(xué)與技術(shù)、碳金融與碳管理領(lǐng)域的國際跨學(xué)科綜合期刊。本刊旨在打造碳中和領(lǐng)域旗艦期刊和國際一流期刊，主要刊載低碳相關(guān)領(lǐng)域具有高度原創(chuàng)性、能夠反映學(xué)科水平的高質(zhì)量研究論文和評論性綜述文章，為國內(nèi)外從事低碳研究的專家學(xué)者提供一個(gè)專業(yè)的國際學(xué)術(shù)交流平臺(tái)。

期刊創(chuàng)刊主編由上海交通大學(xué)講席教授趙長穎擔(dān)任，12名中國兩院院士擔(dān)任顧問編委，國際編委26名（占比50%），第四屆國家氣候變化專家委員會(huì)成員4名，全球高被引科學(xué)家7名，中國高被引學(xué)者25名。

目前已被ESCI、EI、Scopus、CAS、DOAJ數(shù)據(jù)庫收錄，成功入選2023中國科技期刊卓越行動(dòng)計(jì)劃高起點(diǎn)新刊項(xiàng)目。創(chuàng)刊三年即獲首個(gè)影響因子 12.5，位列 JCRQ1區(qū)。

Carbon Neutrality文章處理費(fèi)（Article Processing Charge）全免，竭誠歡迎國內(nèi)外低碳領(lǐng)域?qū)＜?、學(xué)者積極投稿，攜手共建碳中和領(lǐng)域全球科學(xué)社群！

轉(zhuǎn)載、合作、咨詢歡迎后臺(tái)留言或聯(lián)系編輯部郵箱

CN_Editorial@sjtu.edu.cn

期刊網(wǎng)站：

www.springer.com/journal/43979

投稿系統(tǒng)：

www.editorialmanager.com/lowc/default.aspx

微信公眾號(hào) | Carbon Neutrality碳中和

LinkedIn | @Carbon Neutrality

Facebook | @CarbonNeutralityCN

Twitter | @CN_Editorial

歡迎“分享”、“點(diǎn)贊”