吴恩达神经网络与深度学习 Week-4 学习记录

文章目录

1. 1. 深层神经网络
2. 2. 深层神经网络中的前向传播
3. 3. 核对矩阵的维数
4. 4. 为什么使用深层表示
5. 5. 搭建深层神经网络块
6. 6. 参数vs.超参数

这周的内容更像是上周内容的一些延伸和扩展，总体不难，所以这周笔记的内容相对会少些，后面把作业做了之后会针对作业遇到的问题来实际问题实际分析。

深层神经网络

什么是深层神经网络？

深度神经网络中的符号说明：

深层神经网络中的前向传播

深层神经网络中的前向传播定义：

核对矩阵的维数

我认为这是本周课程内容中最重要的一部分了，在构建LR或者网络的时候，除了模型本身，最容易出错的就在于矩阵构造这一阶段。
以下图中神经网络为例，L(layer)=5

如果想实现正向传播，第一步是z^[1]=w^[1]x+b[1]，完整计算如下：

为什么使用深层表示

直观理解深层表示：

电路理论与深度学习
非正式地说:有一些函数你可以用一个小的L层深度神经网络来计算，而较浅的网络需要指数级更多的隐藏单元来计算。

搭建深层神经网络块

以下图的神经网络为例，取其中一层进行分析（红色表示反向传播）：

下图所示为完整的正向与反向传播：

参数vs.超参数

想要深度网络起很好的效果，还需要规划好参数以及超参数。

deep learning目前的学习过程