《python深度学习》笔记---3.1、神经网络剖析

一、总结

一句话总结：

|||-being

训练神经网络主要围绕以下四个方面，构建好架构，还是非常简单的

|||-end

层，多个层组合成网络（或模型）。

输入数据和相应的目标。

损失函数，即用于学习的反馈信号。

优化器，决定学习过程如何进行。

1、层：深度学习的基础组件 ？

输入张量转化为输出张量：层是一个数据处理模块，将一个 或多个输入张量转换为一个或多个输出张量。

有状态的层表示有权重：有些层是无状态的，但大多数的层是有状态的， 即层的权重。

权重是张量：权重是利用随机梯度下降学到的一个或多个张量，其中包含网络的知识。

2、简单的向量数据保存？

2D张量：简单的向量数据保存在 形状为 (samples, features) 的 2D 张量中，

密集连接层dense层处理2D张量：通常用密集连接层［densely connected layer，也 叫全连接层（fully connected layer）或密集层（dense layer），对应于Keras 的 Dense 类］来处 理。

3、keras中序列数据表示？

3D张量：序列数据保存在形状为 (samples, timesteps, features) 的 3D 张量中，

LSTM层用来处理3D张量：通常用循环 层（recurrent layer，比如Keras 的 LSTM 层）来处理。

4、keras中图像数据表示？

4D张量：图像数据保存在4D 张量中，

Conv2D层用来处理4D张量：通常用二维 卷积层（Keras 的 Conv2D）来处理。

5、神经网络层兼容性（layer compatibility）？

只接受特定形状的输入张量：层兼容性（layer compatibility）具体指的是每一层只接受特定形状的输入张量，并返回特定形状的输出张量。

6、密集连接层dense层处理2D张量 实例？

手写数字识别：layer = layers.Dense(32, input_shape=(784,))

2D张量：第0轴是批量维度：我们创建了一个层，只接受第一个维度大小为784 的 2D 张量（第0 轴是批量维度，其大 小没有指定，因此可以任意取值）作为输入。

输出为32：这个层将返回一个张量，第一个维度的大小变成 了 32。

7、深度学习模型 图方面的解释？

有向无环图：深度学习模型是层构成的有向无环图。最常见的例子就是层的线性堆叠，将单一输入映射 为单一输出。

8、神经网络的拓扑结构定义了一个假设空间（hypothesis space）？

可能性空间：机器学习的定义：在预先定义好的可能性空间中，利用反馈信号的指引来寻找输入数据的有用表示

限定为一系列特定的张量运算：选定了网络拓扑结构，意味着将可能性空间（假设空间）限定为一系列特定的张量运算，将输入数据映射为输出数据。

找合适的值：然后，你需要为这些张量运算的权重张量找到一组合适的值。

9、多个输出的神经网络可能具有多个损失函数？

每个输出对应一个损失函数：具有多个输出的神经网络可能具有多个损失函数（每个输出对应一个损失函数）。但是，梯 度下降过程必须基于单个标量损失值。

损失函数取平均：因此，对于具有多个损失函数的网络，需要将所有损失 函数取平均，变为一个标量值。

10、一定要明智地选择目标函数，否则你将会遇到意想不到的副作用？

|||-begin
对于分类、回归、序列预测等常见问题，你可以遵循一些简单的指导原则来选 择正确的损失函数。
|||-end

二分类问题，你可以使用二元交叉熵（binary crossentropy）损 失函数；

多分类问题，可以用分类交叉熵（categorical crossentropy）损失函数；

回归 问题，可以用均方误差（mean-squared error）损失函数；

序列学习问题，可以用联结主义时序分类（CTC，connectionist temporal classification）损失函数

11、常见的损失函数选择依据？

二分类问题，你可以使用二元交叉熵（binary crossentropy）损 失函数；

多分类问题，可以用分类交叉熵（categorical crossentropy）损失函数；

回归 问题，可以用均方误差（mean-squared error）损失函数；

序列学习问题，可以用联结主义时序分类（CTC，connectionist temporal classification）损失函数

二、内容在总结中

博客对应课程的视频位置：