今天总结下：Coursera-Deep Learning-Course3-Structuring Machine Learning Projects的内容，因为这节课里面有好多概念性的东西，不是很实用，因此跳过了很多。
我们在之前的文章里说到dev和test set的data distribution必须一样，这里说的Mismatched Data Distribution，指的是training set和dev/test的数据来源（data distribution）不一样，而以下讨论的几个问题都是基于这个假设的。
先来看一个很常见的应用：
开发一个供用户在手机端使用的识别猫的服务，也就是用户通过手机上传猫的图片到服务器，然后通过训练好的模型来判定这张图片是否是一只猫。
这是一个很普通的应用，但它却存在一个问题：我们在训练时不可能获得大量的来自于用户自己上传的图片数据（移动端），所以这些训练数据只能通过爬虫从网上下载。这样一来，就导致了training set和dev/test的来源不一致的问题[……]
本文主要介绍神经网络中几种常见的激活函数：Sigmoid, Tanh, ReLU和 Softmax。
这个应该是我们最熟悉的激活函数了，在处理二元分类任务时经常用到，它的公式是：
$$
f(x)=\frac{1}{1+e^{-x}}
$$
它的函数图像如下：
在Sigmoid的基础上做一个变形，把曲线整体下拉0.5个单位（经过原点）就得到TanH，它的公式是：
$$
{\displaystyle f(x)=\tanh(x)={\frac {2}{1+e^{-2x}}}-1}
$$
它的函数图像如下：
我们知道Sigmoid在早期的机器学习中使用非常多，但是在深度神经网络中却被舍弃了，主要有两个原因：
后来一种新的激活函数ReLU在AlexNet中被提出，解决了上述问题，也就此成为了深度学习中最常用的激活函数。ReLU，即线性整流函数（Rectifie[……]
一般来说，我们在进行机器学习任务时，使用的每一个算法都有一个目标函数，算法便是对这个目标函数进行优化。在机器学习中，这种函数被称为损失函数（loss function）、代价函数（cost function）或者目标函数（objective function）。本文主要介绍以下三种最常见的loss function。
全称应该是Mean Squared Error，也就是最小二乘法，这个是最简单的，它公式如下：
$$
\ell = \frac{1}{m} \sum_{i=1}^{m}(y_i – \hat{y_i})^2
$$
TensorFlow函数：tf.losses.mean_squared_error
主要用于SVM，它的公式如下：
$$
\ell= \max(0, 1- \hat{y} \cdot y)
$$
其中，\(y\)是label，\(\hat{y}\)是预测值，两者的取值范围都是\(y,\hat{y} \in \{-1,1\}\)。观察上述公式[……]
本文介绍Coursera-Deep Learning-Course2-Week2：Optimization algorithms的内容：深度学习的优化，主要是如何加速梯度下降。
这部分主要介绍了三种梯度下降方法：Batch Gradient Descent, Mini-batch Gradient Descent和Stochastic Gradient Descent，这些内容已经在之前的文章（大规模机器学习）中已经解释的很清楚了，本文不再具体阐述。
先回顾下之前的梯度下降公式：
$$
\theta_{j} := \theta_{j} – \alpha \frac{1}{m}\sum_{i=1}^{m}\left ( h_{\theta}\left ( x^{(i)}\right )- y ^{(i)}\right ) x_{j}^{(i)}
$$
上面这个公式代表的是全批量的梯度下降（batch gradient descent），是梯度下降最原始的形式，也就是说梯度每下降一步都要把所有的样本数据算一遍，这个代价是非常昂贵的，如果m是百万级别的话（实际工程中很常[……]
从今天开始，我们总结Coursera深度学习第二课：Improving Deep Neural Networks:Hyperparameter tuning, Regularization and Optimization，主要是调参和优化，这一块儿的内容是非常重要的，里面讲解了很多深度学习应用的经验法则，非常有参考价值。今天我们主要覆盖week1的内容：Week1 Practical aspects of Deep Learning。
一般来说，完整地训练一个ML应用需要把数据集划分三块：