图解 TensorFlow 神经网络搭建全流程,覆盖网络搭建训练分析与可解释


作者: 韩信子@ ShowMeAI
深度学习实战系列: https://www.showmeai.tech/tutorials/42
TensorFlow实战系列: https://www.showmeai.tech/tutorials/43
本文地址: https://www.showmeai.tech/article-detail/290
声明:版权所有,转载请联系平台与作者并注明出处
收藏 ShowMeAI查看更多精彩内容


深度学习是机器学习的一类算法,它应用各种结构的神经网络解决问题(深度学习中的『深度』指的是我们会通过深层次的神经网络构建强大的学习器),模仿人类获得某些类型知识的方式,与传统机器学习模型相比,神经网络有更灵活的结构设计,更强的学习能力,能支撑更大量级的数据学习,因此广泛引用于各种业务中。


神经网络是简化人脑的学习思考过程构建的结构,它是一个连接单元(神经元)的连接堆叠结构,我们设计这些单元,希望它们能在一定程度上模仿大脑中的突触,将信号传递给其他神经元,就像相互连接的脑细胞一样,可以在更多的时间里学习和做出决定。如下是简单的神经网络拆解图。



深度学习与神经网络有很多不同的结构和应用,想要系统学习这部分知识的同学,可以查看 ShowMeAI制作的下列教程:
深度学习教程 | 吴恩达专项课程 · 全套笔记解读
自然语言处理教程 | 斯坦福CS224n课程 · 课程带学与全套笔记解读
深度学习与计算机视觉教程:斯坦福CS231n · 全套笔记解读


ShowMeAI 将在本文中,全面图解展示使用 Python 构建神经网络的过程,覆盖 TensorFlow 建模、可视化网络、模型预测结果归因与解释。

文中讲解到的板块和对应的实现 Python 代码,可以很容易地迁移应用于其他类似情况(复制、粘贴、运行),我们对代码做了详尽的注释讲解。

全文的总体内容结构包括:

  • 环境设置与TensorFlow工具库简介
  • 神经网络分解、输入、输出、隐藏层、激活函数
  • 使用深度神经网络进行深度学习
  • 进行模型设计(基于TensorFlow)
  • 可视化神经网络
  • 模型训练和测试
  • 模型可解释性

💡 环境设置

目前主流的神经网络工具库有2个:📘 TensorFlow(由 Google 开发)和 📘 PyTorch (由 Facebook 开发)。他们有很多相似之处,功能也都很全面,但总体来说前者更适合生产,而后者更适合构建快速原型。

这两个库都可以利用 GPU 的强大矩阵运算功能去加速神经网络的训练和预估,这对于处理大型数据集(如文本语料库或图像库)非常有用,而其对应的开发社区也有着丰富的资源,不管你解决何种问题,总可以找到相关的参考资料。

本篇内容使用到的是 TensorFlow 工具库。


对于本篇使用到的工具, ShowMeAI制作了快捷即查即用的工具速查表手册,大家可以在下述位置获得:
TensorFlow速查手册
Matplotlib速查手册


我们先在终端通过 pip install 命令安装 TensorFlow。

  1. pip install tensorflow

现在我们可以在 Notebook 上导入 TensorFlow Keras 并开始编码:

  1. # 导入所需的工具库
  2. # tensorflow建模
  3. from tensorflow.keras import models, layers, utils, backend as K
  4. # 可视化
  5. import matplotlib.pyplot as plt
  6. # 特征重要度与模型归因分析
  7. import shap

💡 神经网络拆解

神经网络的结构拆解的详细内容,推荐大家查看 ShowMeAI的教程 深度学习教程 | 吴恩达专项课程 · 全套笔记解读下述文章:

深度学习教程 | 神经网络基础
深度学习教程 | 浅层神经网络
深度学习教程 | 深层神经网络


人工神经网络由若干层组成(每一层有独立的输入和输出维度)。这些层可以分组为:

  • 输入层 负责将输入向量传递给神经网络。如果我们有一个包含 3 个特征的矩阵(形状 N x 3),则该层将 3 个数字作为输入,并将相同的 3 个数字传递给下一层。
  • 隐藏层 代表中间节点,它们对数字进行多次变换以提高最终结果的准确性,输出由神经元的数量定义。
  • 输出层 返回神经网络最终输出的 如果我们进行简单的二元分类或回归,输出层应该只有 1 个神经元(因此它只返回 1 个数字)。在具有 5 个不同类别的多类别分类的情况下,输出层应有 5 个神经元。

最简单的神经网络形式是感知器,一个只有一层的模型,与线性回归/逻辑回归模型非常相似。

举个例子:假设我们有一个包含 N 行、3 个特征和 1 个目标变量(二分类,取值0或1)的数据集,如下图所示:


实际上,数据在输入神经网络之前应该进行幅度缩放,我们这里举例的输入数据直接用了 0-1 之间的值。类似其他机器学习模型,我们使用输入 X 去预测输出 y:


而当我们提到『训练模型』时,我们指的是寻找最佳参数,使得模型预测的结果能最准确地预估目标值。

这里的最佳参数,在不同的情形下,有不同的解释:

  • 在线性回归中,是找到最佳权重w
  • 在基于树的模型(比如随机森林)中,它是找到最佳分裂点
  • 如下的感知器中,我们希望找到最佳的W(w1,w2,w3)


我们有一些权重初始化方法,在这里我们采用最简单的随机初始化,然后随着学习的进行调整优化参数。如下图,我们将权重 w 全部初始化为 1:


接下来我们要进行一个简单的计算来对结果进行预估,下面的操作类似于单个神经网络的计算,f(WX+b),其中f函数叫做激活函数。


激活函数是非线性的映射函数,使得神经网络具备强大的非线性拟合学习能力,如下是一些激活函数示意图(当然,实际我们可能会更多地使用ReLU等激活函数)。

激活函数详细讲解可以参考 ShowMeAI的文章 深度学习教程 | 浅层神经网络


加入我们采用上面的阶跃激活函数,那简单的计算过程如下:


我们得到了感知器输出,这是一个单层神经网络,它接受一些输入并返回 1 个输出。现在模型的训练将继续通过将输出与目标进行比较,计算误差并优化权重,一遍又一遍地重复整个过程。


总结一下,这就是最简单的神经元,简化的结构表示如下:

💡 深度神经网络

可以说所有深度学习模型都是神经网络,但并非所有神经网络都是深度学习模型。一般来说,『深度』学习适用于算法至少有 2 个隐藏层(因此总共 4 层,包括输入和输出)。

关于深度神经网络的详细知识,大家可以阅读学习 ShowMeAI的文章 深度学习教程 | 深层神经网络

想象一下在中间层添加3个和刚才一样的神经元:由于每个节点(加权和和激活函数)都返回一个值,我们将得到具有 3 个输出的 隐藏层


接下来我们使用这 3 个输出作为 第2个隐藏层 的输入,第2个隐藏层也同样计算得到 3 个结果值。最后,我们将添加一个 输出层 (仅 1 个节点),用它的结果作为我们模型的最终预测。如下图所示

注意,这些中间层可以具有不同数量的神经元,使用不同的激活函数。每个神经元计算都会有对应的权重,因此添加的层数越多,可训练参数的数量就越大。

完整的神经网络全貌如下图所示:


我们刚才是以口语化的方式来叙述整个神经网络的结构和计算过程的,但实际有一些细节点,包括:

  • 偏置项bias:在每个神经元内部,输入和权重的线性组合也包括一个偏差,类似于线性方程中的常数,因此神经元的完整公式是


  • 反向传播:在训练期间,模型通过将误差传播回节点并更新参数(权重和偏差)来学习以最小化损失。


  • 梯度下降:用于训练神经网络的优化算法,通过在最陡下降方向上重复步骤来找到损失函数的局部最小值。


💡 模型搭建

我们使用 TensorFlow 的 high level API(也就是 tensorflow.keras)来快速搭建神经网络

ShowMeAI制作了快捷即查即用的 Tensorflow 工具速查表手册,大家可以在下述位置获得:
Tensorflow速查手册

我们先搭建刚才提到的最简单的感知器结果,它是一个只有一个 Dense 层的模型。 Dense层是最基本的层结构,是一个全连接的结构。

  1. model = models.Sequential(name="Perceptron",
  2. layers=[
  3. layers.Dense( # 全连接层
  4. name="dense",
  5. input_dim=3, # 输入维度为3
  6. units=1, # 1个节点
  7. activation='linear' # 激活函数(这里是线性函数)
  8. )
  9. ])
  10. model.summary()


model.summary操作可以输出网络的结构和参数等信息。当前情况下,我们只有 4 个(3 个权重和 1 个偏置项),所以它非常精简。

要说明一点的是,如果我们这里要使用阶跃函数作为激活函数,我们需要自己定义(目前Tensorflow中的激活函数不包含这个我们临时设置的函数)

  1. import tensorflow as tf
  2. # 定义激活函数
  3. def binary_step_activation(x):
  4. ## 如果x>0返回1否则返回0
  5. return K.switch(x>0, tf.math.divide(x,x), tf.math.multiply(x,0))
  6. # 构建模型
  7. model = models.Sequential(name="Perceptron", layers=[
  8. layers.Dense(
  9. name="dense",
  10. input_dim=3,
  11. units=1,
  12. activation=binary_step_activation
  13. )
  14. ])

如果我们从感知器转延展到深度神经网络,大家可能会冒出来一些问题,比如:

❓ 应该设置多少层?

  • 这是一个没有标准答案的问题,隐层的加入对于模型的学习能力提升有帮助,可以拟合更复杂的非线性情况,但也可能会导致过拟合(当然我们可以通过 Dropout 等技术来缓解过拟合,关于 Dropout,大家可以阅读学习 ShowMeAI的文章 深度学习教程 | 深度学习的实用层面

  • 一般来说,简单的问题我们会用很少的层数(不超过3个隐层),复杂的问题我们使用的层数更多

下图是层数和学习能力的一个示意图。


❓ 应该设定多少个神经元?

  • 这个有不同的设置方法,一个常用的设置方式是 (输入维度 + 输出维度)/2


选用什么激活函数?

  • 激活函数有很多选择,其中没有哪一个一定好于另外一个。最常用的是 ReLU ,一个分段线性函数,仅在输出为正时才返回。
  • 注意,在输出层必须具有与任务输出兼容的激活。例如,linear函数适用于回归问题,而 Sigmoid/softmax 经常用于分类。


我们来解决一个二分类问题,它有 N 个输入特征和 1 个二进制目标变量。

  1. n_features = 10
  2. model = models.Sequential(name="DeepNN", layers=[
  3. # 第1个隐层
  4. layers.Dense(name="h1", input_dim=n_features,
  5. units=int(round((n_features+1)/2)),
  6. activation='relu'),
  7. layers.Dropout(name="drop1", rate=0.2),
  8. # 第2个隐层
  9. layers.Dense(name="h2", units=int(round((n_features+1)/4)),
  10. activation='relu'),
  11. layers.Dropout(name="drop2", rate=0.2),
  12. # 第3层
  13. layers.Dense(name="output", units=1, activation='sigmoid')
  14. ])
  15. model.summary()


除了这种汉堡包式地堆叠神经网络层次构建网络的 Sequential 方法。tensorflow.keras 还有函数式编程结构,它可用于构建具有多个输入/输出的更复杂的模型。函数式编程接口相对 Sequential 有两个主要区别:

  • 需要指定输入层,而在 Sequential 类中它隐含在第一个 Dense 层的输入维度中。
  • 每一层可以直接应用于其他层的输出,形如: output = layer(…)(input)

我们用函数式方式重写上面的网络,代码如下:

  1. # 感知器
  2. inputs = layers.Input(name="input", shape=(3,))
  3. outputs = layers.Dense(name="output", units=1,
  4. activation='linear')(inputs)
  5. model = models.Model(inputs=inputs, outputs=outputs,
  6. name="Perceptron")
  7. # 深层神经网络
  8. # 输入层
  9. inputs = layers.Input(name="input", shape=(n_features,))
  10. # 隐层1
  11. h1 = layers.Dense(name="h1", units=int(round((n_features+1)/2)), activation='relu')(inputs)
  12. h1 = layers.Dropout(name="drop1", rate=0.2)(h1)
  13. # 隐层2
  14. h2 = layers.Dense(name="h2", units=int(round((n_features+1)/4)), activation='relu')(h1)
  15. h2 = layers.Dropout(name="drop2", rate=0.2)(h2)
  16. # 输出层
  17. outputs = layers.Dense(name="output", units=1, activation='sigmoid')(h2)
  18. # 完整的模型
  19. model = models.Model(inputs=inputs, outputs=outputs, name="DeepNN")

💡 神经网络结构可视化

这个部分是工具部分,我们希望通过一段代码把多层的神经网络的大致结构绘制出来。当然,这里的结构只是一个简单的信息呈现,如果大家要深入理解神经网络的权重和激活函数等绘制,可以看 ShowMeAI 后续的深入教程。

完整的代码如下:

  1. '''
  2. 抽取tensorflow.keras模型中的每层信息
  3. '''
  4. def utils_nn_config(model):
  5. lst_layers = []
  6. if "Sequential" in str(model): #-> Sequential不显示输入层
  7. layer = model.layers[0]
  8. lst_layers.append({"name":"input", "in":int(layer.input.shape[-1]), "neurons":0,
  9. "out":int(layer.input.shape[-1]), "activation":None,
  10. "params":0, "bias":0})
  11. for layer in model.layers:
  12. try:
  13. dic_layer = {"name":layer.name, "in":int(layer.input.shape[-1]), "neurons":layer.units,
  14. "out":int(layer.output.shape[-1]), "activation":layer.get_config()["activation"],
  15. "params":layer.get_weights()[0], "bias":layer.get_weights()[1]}
  16. except:
  17. dic_layer = {"name":layer.name, "in":int(layer.input.shape[-1]), "neurons":0,
  18. "out":int(layer.output.shape[-1]), "activation":None,
  19. "params":0, "bias":0}
  20. lst_layers.append(dic_layer)
  21. return lst_layers
  22. '''
  23. 绘制神经网络的草图
  24. '''
  25. def visualize_nn(model, description=False, figsize=(10,8)):
  26. ## 获取层次信息
  27. lst_layers = utils_nn_config(model)
  28. layer_sizes = [layer["out"] for layer in lst_layers]
  29. ## 绘图设置
  30. fig = plt.figure(figsize=figsize)
  31. ax = fig.gca()
  32. ax.set(title=model.name)
  33. ax.axis('off')
  34. left, right, bottom, top = 0.1, 0.9, 0.1, 0.9
  35. x_space = (right-left) / float(len(layer_sizes)-1)
  36. y_space = (top-bottom) / float(max(layer_sizes))
  37. p = 0.025
  38. ## 中间节点
  39. for i,n in enumerate(layer_sizes):
  40. top_on_layer = y_space*(n-1)/2.0 + (top+bottom)/2.0
  41. layer = lst_layers[i]
  42. color = "green" if i in [0, len(layer_sizes)-1] else "blue"
  43. color = "red" if (layer['neurons'] == 0) and (i > 0) else color
  44. ### 添加信息说明
  45. if (description is True):
  46. d = i if i == 0 else i-0.5
  47. if layer['activation'] is None:
  48. plt.text(x=left+d*x_space, y=top, fontsize=10, color=color, s=layer["name"].upper())
  49. else:
  50. plt.text(x=left+d*x_space, y=top, fontsize=10, color=color, s=layer["name"].upper())
  51. plt.text(x=left+d*x_space, y=top-p, fontsize=10, color=color, s=layer['activation']+" (")
  52. plt.text(x=left+d*x_space, y=top-2*p, fontsize=10, color=color, s="Σ"+str(layer['in'])+"[X*w]+b")
  53. out = " Y" if i == len(layer_sizes)-1 else " out"
  54. plt.text(x=left+d*x_space, y=top-3*p, fontsize=10, color=color, s=") = "+str(layer['neurons'])+out)
  55. ### 遍历
  56. for m in range(n):
  57. color = "limegreen" if color == "green" else color
  58. circle = plt.Circle(xy=(left+i*x_space, top_on_layer-m*y_space-4*p), radius=y_space/4.0, color=color, ec='k', zorder=4)
  59. ax.add_artist(circle)
  60. ### 添加文本说明
  61. if i == 0:
  62. plt.text(x=left-4*p, y=top_on_layer-m*y_space-4*p, fontsize=10, s=r'$X_{'+str(m+1)+'}$')
  63. elif i == len(layer_sizes)-1:
  64. plt.text(x=right+4*p, y=top_on_layer-m*y_space-4*p, fontsize=10, s=r'$y_{'+str(m+1)+'}$')
  65. else:
  66. plt.text(x=left+i*x_space+p, y=top_on_layer-m*y_space+(y_space/8.+0.01*y_space)-4*p, fontsize=10, s=r'$H_{'+str(m+1)+'}$')
  67. ## 添加链接箭头等
  68. for i, (n_a, n_b) in enumerate(zip(layer_sizes[:-1], layer_sizes[1:])):
  69. layer = lst_layers[i+1]
  70. color = "green" if i == len(layer_sizes)-2 else "blue"
  71. color = "red" if layer['neurons'] == 0 else color
  72. layer_top_a = y_space*(n_a-1)/2. + (top+bottom)/2. -4*p
  73. layer_top_b = y_space*(n_b-1)/2. + (top+bottom)/2. -4*p
  74. for m in range(n_a):
  75. for o in range(n_b):
  76. line = plt.Line2D([i*x_space+left, (i+1)*x_space+left],
  77. [layer_top_a-m*y_space, layer_top_b-o*y_space],
  78. c=color, alpha=0.5)
  79. if layer['activation'] is None:
  80. if o == m:
  81. ax.add_artist(line)
  82. else:
  83. ax.add_artist(line)
  84. plt.show()

我们在之前的 2 个模型上尝试一下,首先是感知器:

  1. visualize_nn(model, description=True, figsize=(10,8))


然后是深度神经网络:


当然,TensorFlow 本身也提供了一个绘制模型结构的方法,它不是像上述示例图一样的简单形式呈现,而是输出更多的模型层次信息,下面是我们对深度模型调用 plot_model 的结果。

  1. utils.plot_model(model, to_file='model.png', show_shapes=True, show_layer_names=True)


同时也会生成名为model.png的图片保存在你本地笔记本电脑上。

💡 训练和测试评估

下一步是训练我们前面构建的深度学习模型。在 tensorflow.keras 中,我们需要先对模型『编译』,或者换句话说,我们需要定义训练过程中的一些细节,比如优化器Optimizer、损失函数Loss评估准则Metrics。其中:

  • 最常用的优化器是 Adam,它是一种用于梯度下降的替换优化算法(自适应优化器中较好的)。关于不同的优化算法,大家可以阅读学习 ShowMeAI的文章 📘 深度学习教程 | 神经网络优化算法

  • 针对二分类问题,我们一般是用 (二元)交叉熵 损失,它将每个预测概率与实际类输出进行比较。关于损失函数,大家可以阅读 ShowMeAI的文章 📘 深度学习与CV教程(3) | 损失函数与最优化

  • 评估指标,我们同时监控 Accuracy 和 F1-score, 这是一个结合了 Precision 和 Recall 的综合指标。关于评估准则,大家可以阅读 ShowMeAI的文章 📘 图解机器学习 | 模型评估方法与准则


详细的编译代码如下:

  1. # 定义评估准则
  2. def Recall(y_true, y_pred):
  3. true_positives = K.sum(K.round(K.clip(y_true * y_pred, 0, 1)))
  4. possible_positives = K.sum(K.round(K.clip(y_true, 0, 1)))
  5. recall = true_positives / (possible_positives + K.epsilon())
  6. return recall
  7. def Precision(y_true, y_pred):
  8. true_positives = K.sum(K.round(K.clip(y_true * y_pred, 0, 1)))
  9. predicted_positives = K.sum(K.round(K.clip(y_pred, 0, 1)))
  10. precision = true_positives / (predicted_positives + K.epsilon())
  11. return precision
  12. def F1(y_true, y_pred):
  13. precision = Precision(y_true, y_pred)
  14. recall = Recall(y_true, y_pred)
  15. return 2*((precision*recall)/(precision+recall+K.epsilon()))
  16. # 编译神经网络
  17. model.compile(optimizer='adam', loss='binary_crossentropy',
  18. metrics=['accuracy',F1])


我们当前是分类问题,如果是回归问题,我们可以选用 MAE 为损失,将 R方 作为度量。参考代码如下:

  1. # 定义R方评估准则
  2. def R2(y, y_hat):
  3. ss_res = K.sum(K.square(y - y_hat))
  4. ss_tot = K.sum(K.square(y - K.mean(y)))
  5. return ( 1 - ss_res/(ss_tot + K.epsilon()) )
  6. # 编译神经网络
  7. model.compile(optimizer='adam', loss='mean_absolute_error',
  8. metrics=[R2])

神经网络的训练,大部分时候,不是一次性把数据都送入模型学习的(因为数据量非常大,通常GPU不足以容纳这种规模的数据,同时全量数据也容易陷入局部最低点)

关于评估准则,大家可以阅读 ShowMeAI的文章 深度学习教程 | 神经网络优化算法

我们通常会采用一个批次一个批次数据训练的方式,因此在开始训练之前,我们还需要确定 EpochsBatches:其中Epochs代表全量数据迭代的次数,Batches代表单个批次数据样本的数量。

总的数据会拆分为若干批次(每个batch的样本数量越大,您需要的内存空间越多),反向传播和参数更在每批数据上都会进行。一个Epoch是对整个训练集的一次遍历。

如果我们手头有 100 个样本且batch大小为 20,则需要 5 个batch才能完成 1 个 epoch。batch大小尽量选择为2的倍数(常见:32、64、128、256),因为计算机通常以 2 的幂来组织内存。

在训练过程中,理想的状态是随着一轮一轮的数据迭代,评估指标在不断改进,损失在逐步减少。不过这个结果只表明在训练集数据上我们在学习,但在新数据上是否有同样的效果并不好确定。因此我们会保留一部分数据(20%左右)用于验证评估。

我们用代码来做说明,我们在这里简单地生成随机数据构建特征数据X和标签数据y,例如

  1. import numpy as np
  2. X = np.random.rand(1000,10)
  3. y = np.random.choice([1,0], size=1000)

那我们可以基于下述方式对数据进行训练和评估

  1. # 训练和评估
  2. training = model.fit(x=X, y=y, batch_size=32, epochs=100, shuffle=True, verbose=0, validation_split=0.2)
  3. # 绘制评估指标
  4. metrics = [k for k in training.history.keys() if ("loss" not in k) and ("val" not in k)]
  5. fig, ax = plt.subplots(nrows=1, ncols=2, sharey=True, figsize=(15,3))
  6. # 训练阶段
  7. ax[0].set(title="Training")
  8. ax11 = ax[0].twinx()
  9. ax[0].plot(training.history['loss'], color='black') ax[0].set_xlabel('Epochs')
  10. ax[0].set_ylabel('Loss', color='black')
  11. for metric in metrics:
  12. ax11.plot(training.history[metric], label=metric) ax11.set_ylabel("Score", color='steelblue')
  13. ax11.legend()
  14. # 验证集评估阶段
  15. ax[1].set(title="Validation")
  16. ax22 = ax[1].twinx()
  17. ax[1].plot(training.history['val_loss'], color='black') ax[1].set_xlabel('Epochs')
  18. ax[1].set_ylabel('Loss', color='black')
  19. for metric in metrics:
  20. ax22.plot(training.history['val_'+metric], label=metric) ax22.set_ylabel("Score", color="steelblue")
  21. plt.show()

得到的结果图如下所示(下2幅图分别为分类回归场景下的训练集与验证集的loss和评估准则指标):

💡 模型可解释性

实际生产过程中,神经网络效果可能很好,但我们实际是不太方向直接把它当做一个黑盒来用的,我们希望对模型做一些可解释性分析,能部分地理解我们的模型。

我们在这里会用到一个模型可解释性工具 📘 Shap ,用它和神经网络搭配对模型做一些解释。

具体说来,对于每个样本的预测,我们结合shap都能够估计每个特征对模型预测结果的贡献,进而部分解释问模型的问题『为什么预测这是 1 而不是 0?』(二分类场景)。

参考代码如下:

  1. '''
  2. 使用shap构建解释器
  3. :parameter
  4. :param model: model instance (after fitting)
  5. :param X_names: list
  6. :param X_instance: array of size n x 1 (n,)
  7. :param X_train: array - if None the model is simple machine learning, if not None then it's a deep learning model
  8. :param task: string - "classification", "regression"
  9. :param top: num - top features to display
  10. :return
  11. dtf with explanations
  12. '''
  13. def explainer_shap(model, X_names, X_instance, X_train=None, task="classification", top=10):
  14. # 构建解释器
  15. # 机器学习(树模型)
  16. if X_train is None:
  17. explainer = shap.TreeExplainer(model)
  18. shap_values = explainer.shap_values(X_instance)
  19. # 深度学习(神经网络)
  20. else:
  21. explainer = shap.DeepExplainer(model, data=X_train[:100])
  22. shap_values = explainer.shap_values(X_instance.reshape(1,-1))[0].reshape(-1)
  23. # 绘图
  24. ## 分类场景
  25. if task == "classification":
  26. shap.decision_plot(explainer.expected_value, shap_values, link='logit', feature_order='importance',
  27. features=X_instance, feature_names=X_names, feature_display_range=slice(-1,-top-1,-1))
  28. ## 回归场景
  29. else:
  30. shap.waterfall_plot(explainer.expected_value[0], shap_values,
  31. features=X_instance, feature_names=X_names, max_display=top)

shap实际上是一个很有效的工具,大家在上述代码也可以看到,实际它可以应用在机器学习模型(如线性回归、随机森林)上,也可以应用在神经网络上。从代码中可以看出,如果 X_train 参数为 None,会选择机器学习模型进行解释,否则使用深度学习进行解释分析。

我们在Titanic分类问题房价预估回归问题上进行测试:(对应的这两个案例大家可以在ShowMeAI后续的文章中找到)

  1. i = 1explainer_shap(model,
  2. X_names=list_feature_names,
  3. X_instance=X[i],
  4. X_train=X,
  5. task="classification", # 分类任务
  6. top=10)


上图中,Titanic问题中,预测为『Survived』主要因素是变量 Sex_male = 0,即乘客是女性。


上图中,在房价预估的回归问题中,影响最大的因素是房屋的面积。

参考资料

  • 📘 深度学习教程 | 吴恩达专项课程 · 全套笔记解读: https://www.showmeai.tech/tutorials/35
  • 📘 自然语言处理教程 | 斯坦福CS224n课程 · 课程带学与全套笔记解读: https://www.showmeai.tech/tutorials/36
  • 📘 深度学习与计算机视觉教程:斯坦福CS231n · 全套笔记解读: https://www.showmeai.tech/tutorials/37
  • 📘 深度学习教程 | 神经网络基础: https://www.showmeai.tech/article-detail/213
  • 📘 深度学习教程 | 浅层神经网络: https://www.showmeai.tech/article-detail/214
  • 📘 深度学习教程 | 深层神经网络: https://www.showmeai.tech/article-detail/215
  • 📘 深度学习教程 | 深度学习的实用层面: https://www.showmeai.tech/article-detail/216
  • 📘 深度学习教程 | 神经网络优化算法: https://www.showmeai.tech/article-detail/217
  • 📘 深度学习与CV教程 | 损失函数与最优化: https://www.showmeai.tech/article-detail/262
  • 📘 图解机器学习 | 模型评估方法与准则: https://www.showmeai.tech/article-detail/186
  • 📘 TensorFlow速查手册: https://www.showmeai.tech/article-detail/109
  • 📘 Matplotlib速查手册: https://www.showmeai.tech/article-detail/103

推荐阅读

🌍 数据分析实战系列 : https://www.showmeai.tech/tutorials/40
🌍 机器学习数据分析实战系列: https://www.showmeai.tech/tutorials/41
🌍 深度学习数据分析实战系列: https://www.showmeai.tech/tutorials/42
🌍 TensorFlow数据分析实战系列: https://www.showmeai.tech/tutorials/43
🌍 PyTorch数据分析实战系列: https://www.showmeai.tech/tutorials/44
🌍 NLP实战数据分析实战系列: https://www.showmeai.tech/tutorials/45
🌍 CV实战数据分析实战系列: https://www.showmeai.tech/tutorials/46
🌍 AI 面试题库系列: https://www.showmeai.tech/tutorials/48

图解TensorFlow神经网络搭建全流程,覆盖网络搭建训练分析与可解释

顶级 AutoML 自动化机器学习 Python 库介绍

PHP网站源码孝感网站设计模板哪家好泰安网站改版多少钱佛山设计公司网站阳江建设网站平顶山设计公司网站日照百度竞价推荐新乡至尊标王公司通化网站seo优化推荐辽阳网站优化按天收费多少钱上饶网站优化按天计费鹤壁网页设计价格玉树优化多少钱丹竹头百姓网标王推荐江门外贸网站建设哪家好天水百度网站优化推荐郑州百姓网标王推广推荐太原优秀网站设计多少钱嘉兴seo排名公司坪山网站开发眉山百度标王价格哈密模板推广推荐武威建设网站湘西seo网站推广多少钱清徐企业网站改版推荐铜仁网站建设设计报价荷坳百度竞价包年推广多少钱湘西模板制作哪家好蚌埠外贸网站建设那曲SEO按天计费推荐北海网站开发多少钱歼20紧急升空逼退外机英媒称团队夜以继日筹划王妃复出草木蔓发 春山在望成都发生巨响 当地回应60岁老人炒菠菜未焯水致肾病恶化男子涉嫌走私被判11年却一天牢没坐劳斯莱斯右转逼停直行车网传落水者说“没让你救”系谣言广东通报13岁男孩性侵女童不予立案贵州小伙回应在美国卖三蹦子火了淀粉肠小王子日销售额涨超10倍有个姐真把千机伞做出来了近3万元金手镯仅含足金十克呼北高速交通事故已致14人死亡杨洋拄拐现身医院国产伟哥去年销售近13亿男子给前妻转账 现任妻子起诉要回新基金只募集到26元还是员工自购男孩疑遭霸凌 家长讨说法被踢出群充个话费竟沦为间接洗钱工具新的一天从800个哈欠开始单亲妈妈陷入热恋 14岁儿子报警#春分立蛋大挑战#中国投资客涌入日本东京买房两大学生合买彩票中奖一人不认账新加坡主帅:唯一目标击败中国队月嫂回应掌掴婴儿是在赶虫子19岁小伙救下5人后溺亡 多方发声清明节放假3天调休1天张家界的山上“长”满了韩国人?开封王婆为何火了主播靠辱骂母亲走红被批捕封号代拍被何赛飞拿着魔杖追着打阿根廷将发行1万与2万面值的纸币库克现身上海为江西彩礼“减负”的“试婚人”因自嘲式简历走红的教授更新简介殡仪馆花卉高于市场价3倍还重复用网友称在豆瓣酱里吃出老鼠头315晚会后胖东来又人满为患了网友建议重庆地铁不准乘客携带菜筐特朗普谈“凯特王妃P图照”罗斯否认插足凯特王妃婚姻青海通报栏杆断裂小学生跌落住进ICU恒大被罚41.75亿到底怎么缴湖南一县政协主席疑涉刑案被控制茶百道就改标签日期致歉王树国3次鞠躬告别西交大师生张立群任西安交通大学校长杨倩无缘巴黎奥运

PHP网站源码 XML地图 TXT地图 虚拟主机 SEO 网站制作 网站优化