1、SHANDONG ELECTRIC POWER山东电力技术第50卷（总第312期）2023年第11期DOI：10.20097/ki.issn1007-9904.2023.11.004基于非合作博弈与分布式机器学习的多微网端对端交易李吉峰1，何星瑭2，宋奎铮3，王浩嘉3，郭思辰4（1.国网大连供电公司，大连116001；2.智能电网教育部重点实验室（天津大学），天津300072；3.国网辽宁省电力有限公司电力调度控制中心，沈阳110000；4.国网扎鲁特旗供电公司，通辽028000）摘要：针对当前端对端分布式交易方面的研究缺乏交易主体间细致的博弈关系分析，以及以机器学习为代表的人工智能方法在电力
2、分布式市场交易方面的应用仍存在空白等问题，提出基于非合作博弈与分布式机器学习算法的多微网端对端交易方法。首先，基于多微网端对端分布式交易框架，构建市场交易主体，即微网的自治调度与端对端博弈交易模型；其次，提出基于弹性平均随机梯度下降算法的分布式机器学习框架，以及非合作博弈与分布式机器学习的多微网端对端交易流程；最后，通过实际算例仿真验证所提理论与方法在经济性、新能源消纳以及算法性能等方面的有效性与适用性。关键词：多微网；端对端交易；非合作博弈；分布式机器学习中图分类号：TM711文献标识码：A文章编号：1007-9904（2023）11-0027-08Design of Peer-to-pee
3、r Trading for Multi-microgrids Based onNon-cooperative Game and Distributed Machine LearningLI Jifeng1，HE Xingtang2，SONG Kuizheng3，WANG Haojia3，GUO Sichen4（1.State Grid Dalian Power Supply Company，Dalian 116001，China；2.Key Laboratory of the Ministry of Education on Smart Power Grids（Tianjin Universi
4、ty），Tianjin 300072，China；3.State Grid Liaoning Electric Power Supply Co.，Ltd.，Dispatching and Control Center，Shenyang 110000，China；4.State Grid Zhaluteqi Power Supply Company，Tongliao 028000，China）Abstract：The current research on peer-to-peer distributed trading lacks detailed analysis of game relat
5、ionships between tradingentities.There is still a gap in the application of artificial intelligence methods represented by machine learning in the distributedelectricity market trading.Therefore，a multi microgrid peer-to-peer trading method based on non-cooperative games anddistributed machine learn
6、ing algorithms was proposed.Firstly，an autonomous scheduling and peer-to-peer game trading model ofthe market trading entity，i.e.，microgrid，was constructed based on the peer-to-peer distributed trading framework of multi-microgrid.Then，a distributed machine learning framework based on elastic averag
7、e stochastic gradient descent algorithm wasproposed.And a multi-microgrid peer-to-peer trading process based on non-cooperative game and distributed machine learningwas proposed.Finally，the effectiveness and applicability of the proposed theory and methodology in terms of economy，new energyaccommoda
8、tion and algorithm performance were verified through practical simulations.Keywords：multi-microgrids；peer-to-peer trading；non-cooperative game；distributed machine learning method0引言随着新型电力系统建设的不断深入1，系统供需平衡方式由传统的源随荷动向源荷双向互动模式转变，而系统能量流交互的改变也促进了现金流即新型电力交易模式的发展2。因此，如何制定有效的交易机制并采取更为智能的决策管理方法是当前亟待解决的重要问题。在
9、众多的新型交易模式与示范中，端对端（peer-to-peer，P2P）交易3因其相对便捷的参与方式以及相对灵活的交易模式，被大量研究用于构建对等、透明的分布式电力交易市场，在提升本地清洁能源消纳率的同时，提升本地能源系统的效率，目前也已经取得了一些示范与应用4。基金项目：国家自然科学基金项目（52276174）。National Natural Science Foundation of China（52276174）.电力市场运营 27山东电力技术第50卷（总第312期）2023年第11期目前，针对多用户之间的 P2P 分布式交易主要采取两种出清定价策略5，第一种是由聚合商作为市场联盟的组织
10、者与协调者，进而从联盟宏观的角度促成供需平衡。例如，文献 6 提出并对比了包括供需比（supply and demand ratio，SDR）、中间市场率（mid-market rate，MMR）以及账单分享（bill sharing，BS）在内的 3 种典型的“联盟式”交易价格清算机制。文献 7 建立了包含能源市场、区域能源运营商、微网系统以及负荷用户在内的多能源系统四层运营框架，从而协调区域能量平衡，降低微网系统的运行成本。文献 8 考虑了建筑热平衡特性对市场参与者用电行为的影响，制定了多用户电能共享优化策略，并采用 Shapley 算法对用户集群所获取的效益进行再分配。第二种是市场参与个
11、体可以根据自身的实际供/用能情况，并随着交易环境信号实施动态调整的 P2P 交易市场。例如，文献 3 通过引入非合作博弈与主从博弈理论对 P2P 交易模式的内在博弈关系进行了全面分析。文献 9 研究在 P2P 交易中引入主从博弈理论，并验证主从博弈交易对降低交易成本以及减少二氧化碳排放等方面的效果。文献 10提出配电系统内部的多微网博弈交易议价方法。文献 11 提出时间与交易电量均为灵活性选择因素的能量块概念，解决了现有 P2P 能源交易易出现的源荷不匹配问题。在出清算法方面，目前对于 P2P 交易的求解大多采用集中式优化算法或结合博弈理论的优化算法，虽然可以在一定程度上解决交易获利分配以及用
12、户的隐私保护问题12，然而，随着交易参与者数量的增加，物理设备、能量交互与现金交易等数据量也会急剧增加，传统的集中式优化算法可能会面临维数灾难问题。然而，如何将机器学习智能方法13应用在电力市场交易领域，相关的研究仍存在空白。针对上述存在问题，以多微网之间的电力 P2P交易作为研究切入点，首先构建了 P2P 交易市场的参与主体即微网的自治运行调度模型；其次，分析了多微网间 P2P 交易的博弈关系，并采用分布式强化学习算法对交易策略进行求解；最后，通过算例仿真验证了所提理论及算法在降低用户交易成本、提高本地清洁能源消纳以及算法性能等方面的有效性与适用性，进而对人工智能算法在电力市场交易领域中的应
13、用与适用性进行了探索，也为大数据背景下的多主体交易提供了算法参考。1多微网间电力P2P交易框架所构建的多微网电力 P2P 交易整体架构如图 1所示，市场交易的主体，即微网（microgrid，MG）由不同类型的负荷和分布式电源组成，微网配置有储能设备。系统内的微网通过自身的联络线与外部上级电网相连，并通过本地配电网实现互联，配电网网架均能够支持双向交易。每个微网的微网能源服务商通过合理化的 P2P 交易、储能设备调度，以实现微网系统内的电能供需平衡及运行经济性最优。图1多微网P2P交易框架Fig.1 P2P trading framework for multi-microgrids假定本地配
14、电网存在 P2P 交易平台，负责协助微网之间进行 P2P 交易，该平台可以是一个没有实体的互联网交易平台，也可以是配电网运营商职责的一部分。在进行分布式 P2P 交易的过程中，每一个微网能源服务商首先会对网供负荷需求、储能设备充放电状态、P2P 交易电量、上网电量进行优化调度；其次，基于内部自治优化调度结果，同时考虑配电网的实时电价波动，微网能源服务商向交易平台提交待交易电量及报价；平台会对相关信息进行公示，同时考虑微网能源服务商之间的博弈行为，平台会不断更新交易信息，并在考虑配电网实际运行的28安全性约束的前提下，协助微网能源服务商之间实现最终的 P2P 交易。需要说明的是，鉴于 P2P 分
15、布式交易属于本地用户间的就近交易，未考虑交易所产生的服务费以及损耗问题14。2微网市场主体模型2.1微网自治运行调度模型作为 P2P 交易市场的主要参与主体，以第i个MG 为例，微网能源服务商会通过调节微网内部的可调控资源以及交易策略，以实现微网系统的总运行成本 Ctotal，i，t最优，总运行成本主要包括与上级电网的交易成本 Cutility，i，t、P2P 交易成本 CP2P，i，t以及设备运行维护成本 COM，i，t，故第i个 MG 自治调度的目标函数为min Ctotal,i,t=t()Cutility,i,t+CP2P,i,t+COM,i,t（1）其中，Cutility,i,t=pS
16、utilityPSutility,i,t-pButilityPButility,i,t（2）CP2P,i,t=bi,tpBP2P,i,tPBP2P,i,t-si,tpSP2P,i,tPSP2P,i,t（3）COM1,i,t=dcOM,i,d1Poutputi,d1,t（4）COM,d1=cd0(1-d)+f(d)Ni,dTd,maxMd-Bsubsidy（5）COM2,i,t=dcOM,i,d2|Poutputi,d2,t（6）式中：pButility与pSutility分别为上级电网制定的购电与售电电价；PButility,i,t与PSutility,i,t分别为 t 时段第i个 MG 与上
17、级电网交易的购电与售电电量；bi，t与 si，t分别为参与 P2P 交易的身份标识符；pBP2P,i,t与pSP2P,i,t分别为第i个 MG 在 t 时段参与 P2P 交易市场的购电价格与售电价格；PBP2P,i,t与PSP2P,i,t分别为第i个 MG 在 t 时段参与 P2P 交易市场的购电电量与售电电量；COM1,i,t为第i个 MG 中能源生产及转换设备（非新能源）在t时段的运行维护成本；cOM,i,d1为第i个 MG 中能源生产及转换设备（非新能源）d1 的单位时间运行维护成本；Poutputi,d1,t为第i个 MG 中能源生产及转换设备（非新能源）d1 在t时段的出力；COM,
18、d1为第i个 MG 中能源生产设备（新能源）d1 的运行维护成本；COM2,i,t为第i个MG 中储能设备在t时段的运行维护成本；cOM,i,d2为第i个 MG 中储能设备d2 的单位时间运行维护成本；Poutputi,d2,t第i个 MG 中储能设备d2 在t时段的出力；Ni，d为第i个 MG 内设备 d 的安装数量；Md为设备 d的满发出力，认为其等于设备 d 的装机容量；cd0为设备 d 的安装成本；d为设备 d 的净残值率；Td，max为设备 d 的年发电等效满负荷小时数；Bsubsidy为清洁能源补贴；f（d）为设备 d 的净残值。上文中，式（4）与式（5）为综合考虑了设备建设成本、
19、维修费用、人力成本、政府补贴以及净残值等因素所计算出的分布式电源发电折算成本15；式（6）为储能设备的运行成本。除此之外，微网自治运行调度模型还包括微网内电力供需平衡约束、储能设备的容量约束、充放电功率约束等约束条件15，在此不再赘述。2.2P2P博弈交易模型在 P2P 分布式交易市场中，参与交易的微网都试图通过更多地出售电能来提升自身收益，且各个微网由各自的能源服务商管理，不具有联盟关系。因此，采用非合作博弈模型来分析 P2P 交易中各个微网之间的竞争博弈关系。具体依照博弈三要素定义对博弈关系进行具体分析，博弈参与者为参与P2P 交易的微网；博弈策略为每个微网在 P2P 交易中制定的交易电价
20、及交易电量；博弈效用为各微网的总运行成本或收益，对应式（1）。微网之间的博弈过程是一个动态过程，博弈结束的标志包括交易达到 Nash 均衡状态或最大迭代次数；博弈的均衡状态包括微网制定的 P2P 交易电价及交易电量。具体的迭代过程如下。在第 1 轮迭代中，各微网首先进行自治运行调度，并依据自治调度后电能过剩或不足情况，向P2P 交易平台提交初始化交易电价及电量信息，平台依据所处系统的安全运行约束条件，结合微网的自治调度情况，公布首轮电量与价格的报送结果，各微网根据结果反馈信息对 P2P 交易投标策略进行修改后进行再次投标报价，进而完成一轮迭代。假设第 k 轮迭代中各微网的投标电量及价格如下。令
21、 cMG，i为微网 i 的效用函数值，argmaxPkP2P，i，t，pkP2P，i，tcMG,i()PkP2P,1,t,pkP2P,1,t,PkP2P,2,t,pkP2P,2,t,PkP2P,n,t,pkP2P,n,t为第 k 轮微网 i 取得效用最优时对应的投标电量及价格，则第 k 轮的迭代方程为李吉峰，等：基于非合作博弈与分布式机器学习的多微网端对端交易29山东电力技术第50卷（总第312期）2023年第11期 PkP2P,1,t,pkP2P,1,t=argmaxPkP2P,1,t,pkP2P,1,tcMG,i()PkP2P,1,t,pkP2P,1,t,PkP2P,2,t,pkP2P,2
22、,t,PkP2P,n,t,pkP2P,n,tPkP2P,2,t,pkP2P,2,t=argmaxPkP2P,2,t,pkP2P,2,tcMG,i()PkP2P,1,t,pkP2P,1,t,PkP2P,2,t,pkP2P,2,t,PkP2P,n,t,pkP2P,n,t PkP2P,n,t,pkP2P,n,t=argmaxPkP2P,n,t,pkP2P,n,tcMG,i()PkP2P,1,t,pkP2P,1,t,PkP2P,2,t,pkP2P,2,t,PkP2P,n,t,pkP2P,n,t（7）当两轮迭代可交易电量及价格相等，即Pk+1P2P,1,t,pk+1P2P,1,t,Pk+1P2P,2,t
23、,pk+1P2P,2,t,Pk+1P2P,n,t,pk+1P2P,n,t=PkP2P,1,t,pkP2P,1,t,PkP2P,2,t,pkP2P,2,t,PkP2P,n,t,pkP2P,n,t（8）表示没有任何一个参与 P2P 交易的微网可以通过改变自身的调度结果及报价信息而获得更高的博弈效用，此时的结果可看作博弈的 Nash 均衡解。需要说明的是，如果微网之间博弈无法达到 Nash 均衡，则微网将按照与上级电网进行双向交易的传统交易模式以实现微网内的供需平衡。3基于弹性平均随机梯度下降算法的分布式机器学习框架3.1弹性平均随机梯度下降算法原理常规的机器学习方法虽然不要求具体抽象的数学模型，仅
24、通过环境模型即可实现问题的求解，然而，常规的机器学习方法无论采用什么方法来更新环境模型，都会在某个时刻聚合出一个全局环境模型，这种处理思路对于所构建的多微网多极值点优化问题而言，难以同时达到最优的效果。因此，采用弹性平均随机梯度下降（stochastic gradient descent，SGD）算法这种非完全一致的分布式机器学习算法来求解多微网的自治调度与 P2P 交易问题。算法的具体原理如下。定义 i为第 i 个工作节点的模型，在特指第 i 个微网的经济效益模型；为全局环境模型，则不同微网的分布式优化函数为min1,2,.,ii=1Ili(i)+2i-2（9）式中：函数li()为微网 i
25、的风险损失函数；I 为微网总数；为概率学习系数，本文取 1。基于式（9）所示的分布式优化函数，所提出的分布式机器学习算法主要包括两方面的优化目标：一是使得各微网的风险损失函数最小，进而体现出与其他微网之间的博弈关系；二是使得本地模型与环境模型之间的差距最小，进而体现出微网的自治调度特性。基于上述优化思路，分别对 i与 进行求导，即可得到环境模型的更新公式为ir+1=(1-)ir+()1Ii=1Iir（10）式中：ir为第 i 个工作节点，即第 i 个微网在第 r 轮更新的效益模型；为学习效率系数。因此，所提出的弹性平均 SGD 算法流程及伪代码如下。算法 1：弹性平均随机梯度下降算法伪代码 M
26、GiInitialize：全局环境模型，本地模型 i，微网总数 I，迭代次数 R，学习效率，约束系数 for r=0，1，R-1 do从训练集 S 中随机抽取或在线获取动作与策略样本计算动作与策略样本的随机梯度fi(r)完成本地模型的更新，更新时考虑最新的梯度和当前模型与全局环境模型的差异为ir+1=ir-rfi(r)-()ir-通过 P2P 平台同步通信得到所有微网的动作策略i=1Iir基 于 式（10）更 新 全 局 环 境 模 型ir+1=(1-)ir+()1Ii=1Iirend for3.2基于非合作博弈与分布式机器学习的多微网端对端交易流程基于上述交易原理分析及求解算法介绍，所提出的
27、基于分布式机器学习的多微网 P2P 交易流程主要包括微网自治调度与基于非合作博弈的多微网P2P 交易两个模块，具体流程如图 2 所示。30图2基于非合作博弈与分布式机器学习的多微网端对端交易流程Fig.2 Multi-microgrids P2P transaction processbased on non-cooperative games and distributedmachine learning4算例分析与对比4.1算例概况以改进的 IEEE 33 节点配电系统作为主体系统结构，其中部分节点接有可进行 P2P 交易的微网3，具体架构如图 3 所示。不同微网内的设备配置情况如表 1
28、所示。典型日的负荷曲线及分布式电源的出力曲线分别如图 4 及图 5 所示。储能设备参数及所在地区的电价信息参见文献 3。图3系统架构Fig.3 System architecture表1微网设备配置Table 1 Equipment configuration编号MG1MG2MG3MG4设备配置光伏：1 000 kW，储能：280 kWh光伏：400 kW，风机：480 kW光伏：300 kW，风机：350 kW，储能：200 kWh光伏：800 kW图4典型日负荷曲线Fig.4 Typical daily load curves图5典型日分布式电源出力曲线Fig.5 Typical dail
29、y distributed power generationoutput curves4.2P2P交易分析基于算例设置，将储能设备的初始容量与最大充放电功率分别选取设备容量的 50%与 20%15，调度时间步长设定为 t=1 h。基于所提出的微网自治调度及 P2P 博弈交易模型，得到典型时刻的 P2P 交易结果如图 6 所示。李吉峰，等：基于非合作博弈与分布式机器学习的多微网端对端交易31山东电力技术第50卷（总第312期）2023年第11期图6典型时刻P2P交易结果Fig.6 Typical momentary P2P transaction results具体地，在 01：00 时刻，MG
30、2 与 MG3 拥有可交易电量，属于 P2P 交易中的卖方，而 MG1 与 MG4 在该时段有购电需求，属于 P2P 交易中的买方。在博弈交易过程的初始阶段，MG2 与 MG3 均会通过降低报价以尽可能多地促成 P2P 交易，然而，相比较于MG2，考虑到 MG3 拥有的可交易电量较多，买方更倾向于同 MG3 进行交易以尽可能多地降低购电成本，因此，在博弈过程的后期，MG2 会在可行区域内提升交易价格以获取更大的收益。在 04：00 时刻，MG2 与 MG3 拥有可交易电量，而 MG1 与 MG4 在该时段有购电需求，然而，在该时段 MG2 与 MG3 拥有的可交易电量无法满足 MG1 与 MG
31、4 全部的购电需求，因此，在博弈交易过程的初始阶段，MG2 与 MG3会在可行区域内提升交易价格以获取更大的收益，MG1 与 MG4 额外的购电需求将通过与外部电网进行交易以满足供需平衡。在 13：00 时刻，MG1、MG3与 MG4 拥有可交易电量，而 MG2 在该时段有购电需求，因此，在博弈交易过程中，卖方们会在可行区间内通过降低报价以尽可能多地促成 P2P 交易，进而提升交易的收益。在 19：00 时刻，MG2 拥有可交易电量，而 MG1 与 MG4 在该时段有购电需求，考虑到MG2 拥有的可交易电量无法同时满足此时系统内其他微网的全部购电需求，因此，MG2 会倾向于同购电需求较大的 M
32、G4 进行交易，MG1 与 MG4 额外的购电需求将通过与外部电网进行交易以满足供需平衡。综上所述，所提出的 P2P 博弈交易理论可以有效促成多微网之间的 P2P 交易。在对典型时刻 P2P 交易结果进行分析的基础上，进一步从交易成本/收益以及清洁能源消纳的角度对不同交易模式进行分析，如表 2 所示。通过对表 2 的分析可知，相比较于同上级电网进行直接双向交易的传统交易模式，P2P 交易模式在交易主体的经济性与促进新能源的本地消纳方面均有一定的优势。表2不同交易模式对比Table 2 Comparison of different trading models编号MG1MG2MG3MG4交易成
33、本或收益/元P2P42.539.731.245.7传统46.941.236.956.8清洁能源消纳/%P2P81839577传统747984684.3算法对比分析为进一步验证算法的有效性，分别选取启发式算法16、改进的次梯度迭代法17，通过优化微网内部的可调控资源及交易策略从而实现经济性最优，并与本文介绍的分布式机器学习方法进行对比，基于324.1 节的在线学习环境，以 MG4 的购电成本优化为例，不同算法的迭代收敛过程如图 7 所示。图7不同算法收敛过程Fig.7 Convergence process of different algorithms具体对图 7 分析可知，对于所构建的多主体
34、高维度解空间的分布式优化问题，启发式算法虽然迭代进程较短，但是易陷入局部最优，未能挖掘到最优解。改进次梯度迭代算法受到算法参数的影响，搜索解空间的波动范围较大，迭代过程较长。而所提出的分布式机器学习算法可以缩小解空间范围，迭代过程较短，求解效率较高。5结论合理有效的交易机制是加快推进电力体制改革与能源转型的重要保障，提出基于非合作博弈与分布式强化学习的多微网 P2P 交易方法，通过理论分析与算例仿真验证，得到的主要结论如下：1）相比较于传统的双向交易模式，基于非合作博弈理论的 P2P 交易模式在降低用户购电成本，提升用户售电收益的同时，还可以有效提升本地分布式电源的消纳率。2）相比较于启发式算
35、法与梯度迭代算法，分布式机器学习方法在迭代收敛进程与解空间精准确定方面均具有一定的优势，提升了求解效率。未来的研究将会进一步挖掘微网内部用户需求响应特性与灵活性负荷对市场交易产生的影响。参考文献1郭琦，卢远宏.新型电力系统的建模仿真关键技术及展望 J.电力系统自动化，2022，46（10）：18-32.GUO Qi，LU Yuanhong.Key technologies and prospects ofmodeling and simulation of new power systemJ.Automation ofElectric Power Systems，2022，46（10）：18-
36、32.2唐成鹏，张粒子，邓晖，等.考虑风险管理的电力市场多时段均衡分析方法 J.电力系统自动化，2022，46（10）：171-180.TANG Chengpeng，ZHANG Lizi，DENG Hui，et al.Multi-periodequilibrium analysis method for electricity market considering riskmanagementJ.Automation of Electric Power Systems，2022，46（10）：171-180.3葛少云，李吉峰，刘洪，等.考虑智能建筑特性的多微网端对端能量交易方法 J.电力系统自
37、动化，2021，45（6）：203-214.GE Shaoyun，LI Jifeng，LIU Hong，et al.Peer-to-peer energytrading method for multiple microgrids considering characteristicsof smart building J.Automation of Electric Power Systems，2021，45（6）：203-214.4吴治国，刘继春，张帅，等.多售电主体点对点交易模式及其动态过网费机制 J.电力系统自动化，2021，45（19）：100-108.WU Zhiguo，LIU J
38、ichun，ZHANG Shuai，et al.Peer-to-peertransaction model of multiple power sellers and its dynamicnetwork fee mechanism J.Automation of Electric Power Systems，2021，45（19）：100-108.5EINAV L，FARRONATO C，LEVIN J.Peer-to-peer marketsJ.Annual Review of Economics，2016，8（1）：615-635.6ZHOU Y，WU J Z，LONG C.Evalua
39、tion of peer-to-peer energysharing mechanisms based on a multiagent simulation frameworkJ.Applied Energy，2018，222：993-1022.7YAZDANI D M，NEYESTANI N，SHAFIE K M，et al.Strategicbehaviorofmulti-energyplayersinelectricitymarketsasaggregators of demand side resources using a bi-level approach J.IEEE Trans
40、actions on Power Systems，2018，33（1）：397-411.8任文诗，高红均，刘友波，等.智能建筑群电能日前优化共享 J.电网技术，2019，43（7）：2568-2575.REN Wenshi，GAO Hongjun，LIU Youbo，et al.Optimal day-aheadelectricity scheduling and sharing for smart building clusterJ.Power System Technology，2019，43（7）：2568-2575.9KELVIN A，SABITA M，AUGUSTINE I，et a
41、l.Energy peer-to-peertrading in virtual microgrids in smart grids：a game-theoreticapproachJ.IEEE Transactions on Smart Grid，2020，11（2）：1264-1275.10 芮涛，李国丽，王群京，等.配电侧多微电网日前电能交易纳什议价方法 J.电网技术，2019，43（7）：2576-2583.RUI Tao，LI Guoli，WANG Qunjing，et al.Nash bargaining methodfor multi-microgrid energy tradin
42、g in distribution networkJ.Power System Technology，2019，43（7）：2576-2583.11 穆程刚，丁涛，曲明，等.基于区块链的表后微网系统及其点对点能量块交易模型设计 J.中国电机工程学报，2021，41（20）：6927-6941.MU Chenggang，DING Tao，QU Ming，et al.Blockchain-orientedbehind-the-meter microgrid and its peer-to-peer distributedtransaction model with energy blocks J.
43、Proceedings of the CSEE，李吉峰，等：基于非合作博弈与分布式机器学习的多微网端对端交易33山东电力技术第50卷（总第312期）2023年第11期2021，41（20）：6927-6941.12 GE S Y，LI J F，HE X T，et al.Joint energy market design for localintegrated energy system service procurement considering demandflexibilityJ.Applied Energy，2021，297：117060.13 刘洪，李吉峰，葛少云，等.基于多主体博
44、弈与强化学习的并网型综合能源微网协调调度 J.电力系统自动化，2019，43（1）：40-48.LIU Hong，LI Jifeng，GE Shaoyun，et al.Coordinated scheduling ofgrid-connected integrated energy microgrid based on multi-agentgame and reinforcement learning J.Automation of Electric PowerSystems，2019，43（1）：40-48.14 LIU H，LI J F，GE S Y，et al.Distributed
45、day-ahead peer-to-peertrading for multi-microgrid systems in active distribution networksJ.IEEE Access，2020，8（1）：66961-66976.15 GE S Y，LI J F，LIU H，et al.Research on operation-planningdouble-layeroptimizationdesignmethodformulti-energymicrogrid considering reliabilityJ.Applied Sciences，2018，8：2062.1
46、6 SONG M M，LIU S X，LI W Q，et al.A continuous space locationmodel and a particle swarm optimization-based heuristic algorithmfor maximizing the allocation of ocean-moored buoysJ.IEEEAccess，2021，9：32249-32262.17GAO W G，LENG J，ZHOU X.Iterative minimization algorithm forefficientcalculationsoftransitionstates J.JournalofComputational Physics，2016，309：69-87.收稿日期：2022-09-07修回日期：2023-09-06作者简介：李吉峰（1991），男，博士，工程师，主要研究方向为城市电网规划及电力系统可靠性；何星瑭（1994），男，通信作者，博士在读，主要研究方向为微能源网稳定运行和智能控制；宋奎铮（1995），男，硕士，主要研究方向为电网调度及电动汽车；王浩嘉（1997），男，硕士，主要研究方向为配电网网架规划；郭思辰（1995），男，主要研究方向为电气工程及其自动化。（责任编辑张丹丹）34
