700字范文 > TensorFlow搭建双向LSTM实现时间序列预测（负荷预测）

TensorFlow搭建双向LSTM实现时间序列预测（负荷预测）

时间：2022-05-17 04:48:53

I. 前言

前面几篇文章中介绍的都是单向LSTM，这篇文章讲一下双向LSTM。

系列文章：

深入理解PyTorch中LSTM的输入和输出（从input输入到Linear输出）PyTorch搭建LSTM实现时间序列预测（负荷预测）PyTorch中利用LSTMCell搭建多层LSTM实现时间序列预测PyTorch搭建LSTM实现多变量时间序列预测（负荷预测）PyTorch搭建双向LSTM实现时间序列预测（负荷预测）PyTorch搭建LSTM实现多变量多步长时间序列预测（一）：直接多输出PyTorch搭建LSTM实现多变量多步长时间序列预测（二）：单步滚动预测PyTorch搭建LSTM实现多变量多步长时间序列预测（三）：多模型单步预测PyTorch搭建LSTM实现多变量多步长时间序列预测（四）：多模型滚动预测PyTorch搭建LSTM实现多变量多步长时间序列预测（五）：seq2seqPyTorch中实现LSTM多步长时间序列预测的几种方法总结（负荷预测）PyTorch-LSTM时间序列预测中如何预测真正的未来值PyTorch搭建LSTM实现多变量输入多变量输出时间序列预测（多任务学习）PyTorch搭建ANN实现时间序列预测（风速预测）PyTorch搭建CNN实现时间序列预测（风速预测）PyTorch搭建CNN-LSTM混合模型实现多变量多步长时间序列预测（负荷预测）PyTorch搭建Transformer实现多变量多步长时间序列预测（负荷预测）PyTorch时间序列预测系列文章总结（代码使用方法）TensorFlow搭建LSTM实现时间序列预测（负荷预测）TensorFlow搭建LSTM实现多变量时间序列预测（负荷预测）TensorFlow搭建双向LSTM实现时间序列预测（负荷预测）TensorFlow搭建LSTM实现多变量多步长时间序列预测（一）：直接多输出TensorFlow搭建LSTM实现多变量多步长时间序列预测（二）：单步滚动预测TensorFlow搭建LSTM实现多变量多步长时间序列预测（三）：多模型单步预测TensorFlow搭建LSTM实现多变量多步长时间序列预测（四）：多模型滚动预测TensorFlow搭建LSTM实现多变量多步长时间序列预测（五）：seq2seqTensorFlow搭建LSTM实现多变量输入多变量输出时间序列预测（多任务学习）TensorFlow搭建ANN实现时间序列预测（风速预测）TensorFlow搭建CNN实现时间序列预测（风速预测）TensorFlow搭建CNN-LSTM混合模型实现多变量多步长时间序列预测（负荷预测）PyG搭建图神经网络实现多变量输入多变量输出时间序列预测

II. 原理

如果想利用TensorFlow来实现双向LSTM，则需要用到tf.keras.layers.Bidirectional，关于Bidirectional，官方API描述如下：

tf.keras.layers.Bidirectional(layer, merge_mode='concat', weights=None, backward_layer=None,**kwargs)

其中：

layer：可以为LSTM或者GRU。merge_mode：如PyTorch搭建双向LSTM实现时间序列预测（负荷预测）中描述，双向LSTM最终会得到两个方向上的输出，输出维度为(batch_size, seq_len, 2 * hidden_size)，我们可以对两个方向上的输出按照多种方式进行组合，但PyTorch需要手动拆分然后实现组合。在TensorFlow中，我们可以通过Bidirectional的merge_model参数定义组合方式，具体有(sum, mul, concat, ave, None)五种方式，默认为concat，也就是将两个输出拼接在一起。如果为None，则不进行组合，而是将两个方向上的输出以列表形式返回，这样可以让使用者自定义其他组合方式。backward_layer：用于处理向后输入处理的实例。如果未提供，则作为参数传递的图层实例将用于自动生成后向图层。

III. 模型定义

双向LSTM定义如下：

class BiLSTM(keras.Model):def __init__(self, args):super(BiLSTM, self).__init__()self.lstm = Sequential()for i in range(args.num_layers):self.lstm.add(Bidirectional(layers.LSTM(units=args.hidden_size, input_shape=(args.seq_len, args.input_size),activation='tanh', return_sequences=True)))self.fc1 = layers.Dense(64, activation='relu')self.fc2 = layers.Dense(args.output_size)def call(self, data, training=None, mask=None):x = self.lstm(data)x = self.fc1(x)x = self.fc2(x)return x[:, -1:, :]

双向LSTM定义语句：

Bidirectional(layers.LSTM(units=args.hidden_size, input_shape=(args.seq_len, args.input_size),activation='tanh', return_sequences=True)))

这里我没有指定merge_mode参数，所以默认为concat，也就是(batch_size, seq_len, 2 * hidden_size)。