融合注意力机制的深度神经网络模型的光伏功率预测方法与流程

本发明属于可再生能源光伏功率预测技术领域，具体涉及一种融合注意力机制的深度神经网络模型的光伏功率预测方法。

背景技术：

光伏发电每年都在以较快的速度在增长。由于光的随机性和日夜周期性，光伏发电具有天然的不可控性，是典型的波动和间歇性电源。光伏发电系统的出力在很大程度上受天气、气候等因素的影响。这些特点导致大容量/高比例光伏接入电网后，给电力系统带来了新的挑战，如增加了电网调度的难度和复杂性。对光伏进行发电功率预测，已成为提高“电力系统运行”质量和降低备用容量储备的关键基础技术之一。

光伏功率按照预测过程分类可以分为直接预测和间接预测；按照预测时间尺度分类可以分为超短期预测、短期预测、中期预测和长期预测；按照预测方法的预测机理不同可以分为物理法、统计法和机器学习法。物理方法是根据光伏发电原理建立的数学模型，利用数值天气预报等方式得到的太阳辐射、温度、湿度、云量、气压和风速等数据，并结合光伏系统安装角度、光伏阵列转换效率、电池条件等参数直接计算得到光伏发电功率。物理法的预测精度强依赖于数值天气预报信息精确程度，但是目前在提高数值天气预报精度方面遇到瓶颈。统计法是将太阳辐射度、光伏发电出力等经过处理的历史数据，通过曲线拟合、参数估计、关联关系分析等手段，建立输入-输出数据之间的关联映射关系，实现对未来光伏发电出力预测。但是，统计类预测方法实施的前提是需要具备大量并经过处理后的正确历史数据，实施过程中在数据获取和处理计算量上存在困难。机器学习具有能有效提取高维复杂非线性特征，且由输入直接映射至输出的能力。但对于传统神经网络来说，过多的输入数据、隐层数和各隐层节点数容易引起网络训练的过拟合、梯度消失和爆炸等问题。深度神经网络具有比普通神经网络更高的特征提取能力，并可以显著改善原始神经网络梯度消失的问题。迄今，基于深度学习的预测模型风速、风功率、负荷、太阳辐照度等的预测方面已经取得一定的成果。而注意力机制从本质上讲和人类的选择性视觉注意力机制相类似，核心目标就是从众多信息中选择出对当前任务目标更关键的信息。

因此，利用深度学习算法对光伏电场功率进行建模和预测，并利用注意力机制对神经网络模型提取出的深度特征进行加权求和，获得对预测结果权值更高的特征信息即高质量特征的选取。这不仅对提高光伏功率预测模型的准确性和稳定性具有重要意义，而且可以降低无用信息对模型的干扰，减少计算时间，对可再生能源功率预测提供了新的思路。

技术实现要素：

本发明的目的在于提供一种融合注意力机制的深度神经网络模型的光伏功率预测方法，首先根据光伏数据特点选择了基于长短期记忆神经网络和卷积神经网络的混合神经网络作为预测模型，并考虑了最佳的连接方式；其次，为了降低模型的计算时间且更加准确地提取出可用于光伏预测的高质量特征信息，在模型特征提取方面，加入了注意力机制模型。

本发明的目的是这样实现的：

融合注意力机制的深度神经网络模型的光伏功率预测方法，包括如下步骤：

步骤一：通过网站下载数值天气预报和太阳辐照度数据，包括风速、风向、温度、湿度、全球辐照度、散射辐照度等数据以及相对应的光伏场历史功率数据；

步骤二：对所获得的历史数据进行处理，包括异常数据的剔除、缺失数据的填补、分辨率的统一和数据格式的转换等；

步骤三：选择深度神经网络模型组成混合模型并选择混合模型的连接方式；设置深度混合神经网络的参数，包括隐含层层数、各层神经元数目、学习率、学习步长、迭代次数、卷积核个数、长短期神经网络单元数等参数；

步骤四：在注意力机制模型上选择合适的注意力机制模型和模型放置位置；

步骤五：将预处理的历史数据按一定比例划分成训练集、验证集、测试集；

步骤六：根据试错法选择并训练混合模型得到最佳的模型参数并用于预测；

步骤七：将预测结果和不同的模型相比较并分析不同的模型得到的预测结果，证明所提出的模型的优势。

所述的步骤二中选择长短期记忆神经网络lstm来提取数据的时间特征；长短期记忆神经网络内部存储单元和门机制克服了传统递归神经网络训练中的梯度消失和梯度爆炸问题；门机构包括忘记门，输入门，更新门和输出门；通过模型训练和大量实验获得不同历史数据长度下的长短期记忆神经网络模型的预测结果。

所述的步骤二中选择卷积神经网络cnn来提取数据的空间特征；卷积神经网络主要包括卷积层、池化层、全连接层、输出层等；通过模型训练和大量实验获得不同历史数据长度下的卷积神经网络模型的预测结果。

所述步骤四中依靠注意力机制模型来提取高质量特征的选取；注意力机制模型衡量特征的重要性最直观的方法就是依靠权重，就是在每次识别时首先计算每个特征的权值，然后对特征进行加权求和，权值越大，该特征对当前识别的贡献就大，公式如下：

其中lx为source的长度，value值为source中的元素。

本发明有益效果在于：

本发明通过不同的预测模型的比较，证明了所提出的混合深度学习模型的优势；通过注意力机制模型的应用对高质量特征的选取提供了可能。合理的混合模型方式可以实现预测精度高和计算成本低的双重追求。

附图说明

图1为光伏功率预测的系统结构图；

图2为历史数据划分图；

图3为卷积神经网络结构图；

图4为长短期记忆神经网络模型结构图；

图5为注意力机制的本质思想。

具体实施方式

下面结合附图对本发明做更进一步描述。附图所描述的内容只是为了介绍本发明的原理，而不是用来对本发明保护范围进行限制。

本发明主要针对可再生能源预测领域，深度神经网络对于处理非线性数据、提取数据的深度特征具有非常好的效果。为了提高光伏功率预测模型的准确性，本发明提出了一种融合注意力机制的混合深度神经网络的光伏功率预测模型。首先根据光伏数据特点选择了基于长短期记忆神经网络和卷积神经网络的混合神经网络作为预测模型，并考虑了最佳的连接方式；其次，为了降低模型的计算时间且更加准确地提取出可用于光伏预测的高质量特征信息，在模型特征提取方面，加入了注意力机制模型。光伏功率预测的系统结构图如图1所示。附图所描述的内容只是为了介绍本发明的原理，而不是用来对本发明保护范围进行限制。

本发明基于深度神经网络对光伏功率进行预测，考虑到数值天气预报数据和辐照度数据，包括风速、风向、温度、湿度、全球辐照度、散射辐照度等诸多因素，本发明涉及混合模型的模型选择和连接、注意力机制特征选取，具体包括如下步骤：

步骤1)从网站下载适用于预测的完整的数值天气预报数据、辐照度数据和相对应的光伏场历史功率数据。并对下载的历史数据进行预处理，包括剔除异常数据；利用平均值，插值等技术填补缺失数据；利用归一化技术对数据进行归一化、线性插值技术对数据分辨率进行统一；数据格式的转换等。

步骤2)把所获得的预处理的历史数据按照一定的比例进行划分，划分成训练集、验证集和测试集。

步骤3)选择深度神经网络模型组成混合模型并对混合模型进行训练和验证。在本发明中选择卷积神经网络cnn来提取数据的空间特征。局部连接和权值共享是卷积神经网络的两个主要特点。卷积神经网络主要包括卷积层、池化层、全连接层、输出层等。图3为卷积神经网络的主要结构图。通过模型训练和大量实验获得不同历史数据长度下的卷积神经网络模型的预测结果。

步骤4)数据的时间特征主要依靠长短期记忆神经网络lstm提取。长短期记忆神经网络是一种时间递归神经网络，用来学习长期依赖信息；其内部存储单元和门机制克服了传统递归神经网络训练中的梯度消失和梯度爆炸问题。门机构包括忘记门，输入门，更新门和输出门。图4为长短期记忆神经网络模型的结构图。通过模型训练和大量实验获得不同历史数据长度下的长短期记忆神经网络模型的预测结果。

长短期记忆神经网络模型的核心计算公式如下：

ft＝σ(wf×[ht-1,xt]+bf)(1)

it＝σ(wi×[ht-1,xt]+bi)(2)

gt＝tanh(wg×[ht-1,xt]+bg)(3)

ct＝ft×ct-1+it×gt(4)

ot＝σ(wo×[ht-1,xt]+bo)(5)

ht＝ot×tanh(ct)(6)

步骤5)高质量特征的选取依靠注意力机制模型来提取。注意力机制模型衡量特征的重要性最直观的方法就是依靠权重，就是在每次识别时，首先计算每个特征的权值，然后对特征进行加权求和，权值越大，该特征对当前识别的贡献就大。注意力机制模型主要附着在encoder-decoder的框架下，是非常通用的计算框架，其本质思想如图5所示，可以写成如下公式：

其中lx为source的长度。本质上注意力机制是对source中元素的value值进行加权求和，而query和key用来计算对应value的权重系数。

步骤6)混合神经网络是通过混合卷积神经网络和长短期记忆神经网络的不同组合方式来进行光伏功率预测。本发明在实验中通过对两种混合模型的比较(先提取数据的空间特征，然后再提取数据的时间特征的卷积神经网络+长短期记忆神经网络混合模型(cnn+lstm)；先提取数据的时间特征，然后再提取数据的空间特征的长短期记忆神经网络+卷积神经网络(lstm+cnn)的混合模型)选择出最佳的混合模型组合方式和预测效果。其中注意力机制模型拟考虑放在全连接层之前用来提取高质量的深度特征。通过试错法获得最佳的网络模型参数并通过大量实验发现混合模型(lstm+cnn)具有最佳的预测效果。

步骤7)通过比较不同的模型获得的预测结果，证明所选择的混合模型具有最佳的预测效果。