首页 > 心得体会 > 学习材料 / 正文
基于增强学习算法的微电网智能频率协调控制策略
2023-05-11 13:35:04 ℃姜展鹏,刘 洋,刘守恒,郝立超
(1.沈阳工业大学电气工程学院,辽宁 沈阳 110870;
2.中电投东北新能源发展有限公司,辽宁 沈阳 110170)
随着“双碳”战略的实施,可再生能源如风能、水能、太阳能引起了人们广泛关注,其中光伏发电是利用太阳能发电的一种常见形式。然而,光伏发电具有很强的不确定性,尤其在阴天具有很强的波动性,由于不知光伏阵列上方何时有云遮挡,光伏发电功率很难预测[1-4],同时,由于人们生活水平的提高,负荷种类也越来越多,且有极大的不确定性,严重影响了微电网频率的稳定性。
微电网频率波动可能影响用电设备,解决这个问题通常有减少发电的不确定性和利用控制策略来稳定频率2种方式。由于天气实时变化的因素,很难预测光伏发电的功率,因此,很多学者更加青睐于第2种方式。
增强学习算法是一种具有函数逼近最优性的有效方法,特别适用于非线性系统和复杂系统。在面对“维数灾”时,可以得到近似最优解[5-9]。增强学习算法在电力系统领域应用颇丰,在文献[10]中,通过基于数据的策略迭代对一类离散时间系统进行H∞控制,并将其应用于风力涡轮机。在文献[11]中,设计了一种基于自适应动态规划的控制方案,以辅助电力系统的负荷频率控制。在文献[12]中,研究了基于数据的鲁棒值迭代方法,并将其应用于风机变桨距控制。在文献[13]中,采用自适应的设计方法,在智能电网中应用了一种基于广域测量的动态随机最优潮流控制算法。然而,在现有的电力系统研究中,增强学习算法经常被设计为辅助控制,而利用增强学习算法对电力系统直接控制却很少见[14-15]。本文利用增强学习算法直接控制微型燃气轮机和储能设备的输出功率来抑制频率波动,为未来微电网的应用提供了理论依据。
1.1 基于储能的具有不确定性的微电网
本文研究了由光伏发电、负荷需求、储能系统和微型燃气轮机组成的微电网,如图1所示。
图1 微电网结构
等效微型燃气轮机、储能系统和电力系统的传递函数分别为G(t)、Ge、Gp,公式如下:
(1)
式中:Tt、Te、Tp分别为微型燃气轮机、储能设备和系统惯性的时间常数;
kp为电力系统的增益系数。
定义x(t)=[Δf(t),ΔPt(t),ΔPe(t)]T∈m作为初始状态为x(0)的微电网的状态向量。式中:Δf(t)为频率偏差;
ΔPt(t)为微型燃气轮机的频率输出;
ΔPe(t)为储能设备的功率输出。
频率动力学可以描述如下:
(2)
(3)
(4)
式中:Δpl(t)为负荷变化;
Δpp(t)为光伏发电产生的不确定性;
R为调速系数;
ut(t)为微型涡轮机的控制信号;
ue(t)为储能设备的控制信号。微电网的频率动力学可以用以下形式表示:
(5)
(6)
(7)
(8)
式中:A为系统矩阵;
B为控制矩阵;
u(t)=[ut(t),ue(t)]T∈n为控制输入;
Π(t)表示光伏发电以及负荷的不确定性。
1.2 储能设备运行限制状态
微电网中储能设备的主要作用是抑制由光伏发电和负荷不确定性引起的频率波动,对于该场景下的储能设备具有如下荷电状态限制:
(9)
(10)
其余情况时:
Soc(t+1)=Soc(t)
(11)
1.3 微电网调频过程
在调频过程中,考虑负载和光伏发电功率的不确定性,利用储能设备智能充放电来抑制该不确定性,具体调频过程如图2所示。
图2 微电网频率调节过程
本文设计了一种基于负荷变化和光伏发电不确定性引起的功率不确定性的微电网频率智能控制策略,采用增强学习算法进行调节,并由神经网络实现。
微电网Δf(t),ΔPt(t),ΔPe(t)的状态均为频率控制器的输入端。
2.1 增强学习算法的控制器设计
所研究的微电网的频率动态用式(5)表示,对于频率控制,设计了一个状态反馈控制律u(t)来调节微型燃气轮机和储能设备的功率输出,通过对不确定系统的频率最优控制,可以得到对不确定频率动力系统式(5)的鲁棒控制,并表示为
(12)
对于系统式(12),通过最小化代价函数设计了控制律u(t)。
(13)
式中:U(x(t),u(t))为效用函数,U(x(t),u(t))=xT(t)Qx(t)+uT(t)Ru(t);
Q,R为具有适当维数的正定对称矩阵。
最优代价函数定义为
(14)
基于贝尔曼最优性原理,可以得到哈密顿函数为
+U(x(t),u(t))
(15)
最优控制律u*(t)满足哈密顿-雅可比-贝尔曼方程。
(16)
式中:Ωc为1个可接受的控制集。
由此可以推断出系统式(12)的最优频率控制律为
(17)
将最优控制律式(17)代入(16),然后将HJB方程进一步转化为以下形式。
(18)
最优HJB方程符合0=H(x(t),u*(t),∇J*(x)),u*(t)为最优控制律。
2.2 增强学习算法的迭代算法
一般来说,由于式(18)中存在偏微分项,几乎不可能直接求解,因此,利用迭代算法得到了最优控制律u*(t)和最优代价函数J*(x)的近似解。迭代算法流程如下:
a.初始化
设置迭代索引i=0,并让J(i)(x)=0。定义一个足够小的正数ε作为停止该算法的先决条件,从一个初始可接受的控制律u(0)(t)开始迭代。
b.迭代过程
在第1次迭代过程中,用J(0)(x)=0将初始值u(0)(t)代入式(18),然后,J(i+1)(x)可以用式(19)表示:
0=(∇J(i+1)(x))T(Ax(t)+Bu(i)(t))+U(x(t),u(i)(t))
(19)
c.更新控制律
根据式(20)更新控制律u(i+1)(t)。
(20)
d.停止条件
在此迭代过程中,迭代控制律u(i+1)(t)近似收敛到最优控制律u*(t),随着迭代指数足够大,迭代代价函数J(i+1)(x)也收敛到最优值J*(x)。
2.3 智能频率控制的神经网络实现
假设存在权值W1,使得J(x)被一个神经网络近似为
(21)
式中:φ1(x):n→N为激活函数向量;
N为隐层神经元数;
ε(x)为神经网络近似误差。选择激活函数以提供一个完整的基集,使J(x)及其导数一致。
(22)
神经网络权值W1未知,那么神经网络的输出为
(23)
U(x(t),u*(t))=e1
(24)
利用神经网络近似方法可以得到系统式(12)的近似最优控制律。
(25)
(26)
通过最小化平方误差,权值更新定律可以设计为
(27)
式中:γc>0为评价网络的主要学习速率;
γa>0为辅助学习速率;
Js(x)=0.5xT(t)x(t)是根据李雅普诺夫定理选择的。
因此,利用权值更新定律可以得到评价网络的估计权值,可以为系统提供频率控制律。
根据图2给出的微电网日前调度曲线,对微电网模型进行仿真,抑制光伏发电及负荷不确定性引起的频率波动,提高微电网供电可靠性。在频率调节中考虑储能设备的功率约束,微电网参数如下:Tt=0.2,Te=0.7,Tp=9,kp=1,R=0.1,储能设备功率约束见表1。
表1 储能设备功率约束
由于光伏电源连接到微电网,本文考虑了光照和温度2个影响光伏功率的主要因素,受环境影响的光伏发电不确定性如图3所示。同时,考虑了实际负荷需求的不确定性,如图4所示。
图3 光伏发电不确定度
图4 负荷变化干扰
在智能频率控制中,所使用的参数如下:Q=2.5×I3×3,R=2.5×I2×2,γc=0.9,γa=0.15,其中I为单位矩阵。根据系统数据,可以得到评价网络的权值,如图5所示。
根据频率控制器在随机干扰激励下,频率偏差Δf(t)、微型燃气轮机功率输出ΔPt(t)和储能设备功率输出ΔPe(t)的变化误差最终收敛为零,如图6所示,即通过神经网络训练过程。至此,微电网智能频率控制策略训练过程完毕。
图5 在训练过程中的权重更新律
图6 微电网系统的状态收敛
储能设备在该控制策略中应用于整个微电网频率调节过程,维持微电网频率稳定,提高了微电网供电可靠性。
本文研究了具有光伏发电和负荷不确定性的微电网频率控制问题,设计了一种基于增强学习算法的智能控制策略,并由神经网络实现,通过调节微型燃气轮机和储能设备的功率输出,抑制微电网频率波动,可有效提高供电可靠性,增加用户用电满意度。仿真结果显示,所提出的智能频率控制策略能够较好地调整频率波动。在未来,可以考虑微电网的拓扑结构,将该控制策略应用于更多场景。
猜你喜欢不确定性储能发电法律的两种不确定性法律方法(2022年2期)2022-10-20“发电”环球时报(2022-06-15)2022-06-15相变储能材料的应用煤气与热力(2021年6期)2021-07-28柠檬亦能发电?科学大众(2021年9期)2021-07-16英镑或继续面临不确定性风险中国外汇(2019年7期)2019-07-13储能技术在电力系统中的应用通信电源技术(2018年3期)2018-06-26储能真要起飞了?能源(2017年12期)2018-01-31摇晃发电小圆球下一代英才(酷炫少年)(2017年3期)2017-06-15摩擦发电学与玩(2017年4期)2017-02-16具有不可测动态不确定性非线性系统的控制系统工程与电子技术(2016年4期)2016-08-24猜你喜欢
- 2024-01-20 有关于第五次全国经济普查统计重点业务综合培训大会上讲话(完整文档)
- 2024-01-20 “严纪律、转作风、保安全、树形象”专题学习教育活动通知(完整文档)
- 2024-01-20 2024XX区住房城乡建设工作情况汇报
- 2024-01-20 2024高校思政教育交流材料:善用反腐败斗争这堂“大思政课”(精选文档)
- 2024-01-20 2024年主题教育专题党课辅导报告,(4)
- 2024-01-20 关于赴某地学习考察地方立法工作情况报告(范文推荐)
- 2024-01-20 2024年度关于增强党建带团建工作实效对策与建议(精选文档)
- 2024-01-20 教师演讲稿:春风化雨育桃李,,潜心耕耘满芬芳(全文)
- 2024-01-20 主题教育第二阶段来了
- 2024-01-20 2024年度关于到信访局实践锻炼个人总结【完整版】
- 搜索
-
- 打赌输了任人处理作文1000字7篇 05-12
- 当代大学生在全面建设社会主义现代化强 05-12
- 全面建成社会主义现代化强国的战略安排 03-10
- 个人廉洁自律方面存在的问题及整改措施 05-12
- 谈谈青年大学生在中国式现代化征程上的 05-12
- 2022年党支部第一议题会议记录(全文完 11-02
- 作为青年大学生如何肩负时代责任6篇 05-12
- 村党组织建设现状及工作亮点存在问题与 05-12
- 全面从严治党,自我革命重要论述研讨会 05-12
- 产业工人队伍建设改革(全文完整) 10-31
- 11-25国庆70周年庆典晚会 庆典晚会串词
- 11-25办公室礼仪的十大原则 浅谈办公室的电话礼仪
- 01-17用心灵轻轻地歌唱_心灵的歌唱
- 01-17也许你不是我一生的唯一|也许不是我
- 01-17爱了,请珍惜;不爱,趁早放手|爱就珍惜不爱就放手
- 01-17岁月带走的是记忆,但回忆会越来越清晰|有趣又有深意的句子
- 01-17曾经的美好只是曾经,我只想珍惜身边的人|我只想珍惜你
- 01-18从容不惊 [学会笑眼去看世界,不惊不乍,淡定从容]
- 02-03当代大学生学习态度调查报告
- 02-03常用护患英语会话
- 标签列表