从今天开始，我们总结Coursera深度学习第二课：Improving Deep Neural Networks:Hyperparameter tuning, Regularization and Optimization，主要是调参和优化，这一块儿的内容是非常重要的，里面讲解了很多深度学习应用的经验法则，非常有参考价值。今天我们主要覆盖week1的内容：Week1 Practical aspects of Deep Learning。
一般来说，完整地训练一个ML应用需要把数据集划分三块：
2017年8月8日，吴恩达正式发布了Deepleanring.ai，一个发布在Coursera上的深度学习系列课程Deep Learning Specialization，希望将人工智能时代的基础知识传播到更多人身边。网上对这门课的评价很高，算是深度学习的必备课程了，所以想入门深度学习的同学千万不要错过。但在enroll这门课之前，个人强烈建议先学完同样由Andrew Ng教的Machine Learning，这门课才是最基础的机器学习课程，里面包含了很多最基本，最重要的思想和概念。学完了这门课再来上这门深度学习会感觉比较轻松吧，整体难度并不大，所以在课程发布的前几周我就全部学完了（那时候只发布了前三课），主要是因为课程开放的前一周是免费的，所以学的非常快。但同时也很仓促，也因此没有做笔记。导致的结果就是现在你再问我这些课程到底讲了什么，我已经忘得差不多了。现在又得重新花时间去学习，这是很浪费时间的。所以在学习新知识的过程中，适当地记录和梳理是非常有必要的。从今天开始，我会把这门深度学习课程的学习笔记整理到博客里，并不会面面俱到，只会记录于我而言很重要的知识点。
Deep L[……]
最近在升级homebrew时遇到一个报错：
|
1 2 3 |
$brew update Error: /usr/local must be writable! |
这个报错很明显嘛，当前用户对文件夹/usr/local没有write权限，那么改一下文件夹权限应该就好了。于是，
|
1 2 3 |
$sudo chown -R Eric /usr/local chown: /usr/local: Operation not permitted |
这是啥情况？操作不允许。。。网上Google了一下发现原来在High Sierra版本中已经不能这么使用了(Can’t chown /usr/local in High Sierra #3228)，应该这么使用：
|
1 2 |
$sudo chown -R $(whoami) $(brew --prefix)/* |
于是问题解决。[……]
这几天在用TensorFlow搭建一个神经网络来做一个binary classifier，搭建一个典型的神经网络的基本思路是：
在训练的时候发现了一个很奇怪的现象：每一次迭代所有的cost都为0。一开始以为是参数初始化出了问题，花了好多时间在上面。后来仔细研究了一下发现是最后一层的输出函数用错了，我用的是tf.nn.softmax_cross_entropy_with_logits来计算cost。 我们知道softmax一般是用来做multiclass classifier的，也就是输出的类别要大于两个。对于一个binary classifier而言，很明显我们要用sigmoid函数也就是tf.nn.sigmoid_cross_entropy_with_logits来计算co[……]
网上好多文章写得很复杂（包括官方文档），其实使用Anaconda安装caffe非常简单，只需要以下几个步骤：
在终端敲入：conda install -c anaconda caffe
选择特定的protobuf版本：conda install protobuf=3.2
如果不输入这一句可能会报如下错误：
ImportError: libprotobuf.so.12: cannot open shared object file: No such file or directory
conda create -n caffe python=3.5（只需创建一次）source activate caffesource deactivate caffe