标签归档：Machine Learning

神经网络和深度学习

发表评论

引言

2017年8月8日，吴恩达正式发布了Deepleanring.ai，一个发布在Coursera上的深度学习系列课程Deep Learning Specialization，希望将人工智能时代的基础知识传播到更多人身边。网上对这门课的评价很高，算是深度学习的必备课程了，所以想入门深度学习的同学千万不要错过。但在enroll这门课之前，个人强烈建议先学完同样由Andrew Ng教的Machine Learning，这门课才是最基础的机器学习课程，里面包含了很多最基本，最重要的思想和概念。学完了这门课再来上这门深度学习会感觉比较轻松吧，整体难度并不大，所以在课程发布的前几周我就全部学完了（那时候只发布了前三课），主要是因为课程开放的前一周是免费的，所以学的非常快。但同时也很仓促，也因此没有做笔记。导致的结果就是现在你再问我这些课程到底讲了什么，我已经忘得差不多了。现在又得重新花时间去学习，这是很浪费时间的。所以在学习新知识的过程中，适当地记录和梳理是非常有必要的。从今天开始，我会把这门深度学习课程的学习笔记整理到博客里，并不会面面俱到，只会记录于我而言很重要的知识点。

Deep L[……]

继续阅读

TensorFlow训练神经网络cost一直为0

发表评论

问题描述

这几天在用TensorFlow搭建一个神经网络来做一个binary classifier，搭建一个典型的神经网络的基本思路是：

  • 定义神经网络的layers(层)以及初始化每一层的参数
  • 然后迭代：
    • 前向传播（Forward propagation）
    • 计算cost（Compute cost）
    • 反向传播（Backward propagation）
    • 更新参数（Update parameters）
  • 使用训练好的参数去做预测

在训练的时候发现了一个很奇怪的现象：每一次迭代所有的cost都为0。一开始以为是参数初始化出了问题，花了好多时间在上面。后来仔细研究了一下发现是最后一层的输出函数用错了，我用的是tf.nn.softmax_cross_entropy_with_logits来计算cost。 我们知道softmax一般是用来做multiclass classifier的，也就是输出的类别要大于两个。对于一个binary classifier而言，很明显我们要用sigmoid函数也就是tf.nn.sigmoid_cross_entropy_with_logits来计算co[……]

继续阅读

使用Anaconda安装caffe

5条回复

前言

网上好多文章写得很复杂（包括官方文档），其实使用Anaconda安装caffe非常简单，只需要以下几个步骤：

环境

  • 操作系统：Linux version 3.10.0（Red Hat）
  • Python版本：3.5.4
  • anaconda：1.6.5
  • conda: 4.3.30

安装步骤

  • 安装Anaconda（这个强烈推荐！）

  • 在终端敲入：conda install -c anaconda caffe

  • 选择特定的protobuf版本：conda install protobuf=3.2
    如果不输入这一句可能会报如下错误：

    ImportError: libprotobuf.so.12: cannot open shared object file: No such file or directory

使用

  • 创建一个caffe环境： conda create -n caffe python=3.5（只需创建一次）
  • 启动caffe环境：source activate caffe
  • 关闭caffe环境：source deactivate caffe
  • 启动caff[……]

    继续阅读

从线性空间到再生核希尔伯特空间

2条回复

线性空间（Linear Space）

线性空间也就是向量空间（Vector Space），它指的是一系列向量的集合，并且只定义了两个运算：加法和数乘。加法指的是两个向量之间的运算；而数乘指的是实数和向量的相乘（相当于缩放，scale）也就是向量长度的变化。接下来我们以一个10维的向量空间来解释加法和数乘运算：

$$
\vec{v} = (v_1,v_2,…,v_{10}) \\
\vec{w} = (w_1,w_2,…,w_{10}) \\
\vec{v} + \vec{w} =(v_1+w_1,v_2+w_2,…,v_{10}+w_{10}) \\
c \cdot \vec{v} = (c \cdot v_1,c \cdot v_2,…,c \cdot v_{10})
$$

看完这个对什么是线性空间应该一目了然了。

希尔伯特空间（Hilbert Space）：

基本的线性空间只包括加法和数乘操作，在此基础上我们引入内积操作，这样就把空间升级为内积空间。根据内积我们可以定义一个范数：\(\left[……]

继续阅读

核技巧（The Kernel Trick）

7条回复

引言

很多人介绍核技巧时总会扯上SVM，大概是很多人第一次碰到核技巧就是在SVM里吧。其实，核技巧是一个非常纯粹的数学方法，不应该一上来就扯上SVM。因为这个技巧不仅应用在SVM中，还有其他领域也有应用。它解决了数据映射到高维空间之后点积的计算量过于复杂的问题。很多人啰啰嗦嗦说了一大堆，把原本很简单的东西搞的很复杂，其实这玩意很好理解。

问题描述

给定两个向量\(x_i\)和\(x_j\)，我们的目标是要计算他们的内积\(I = <x_i, x_j>\)。现在假设我们通过某种非线性变换：

$$
\Phi : x \rightarrow \phi(x)
$$

把他们映射到某一个高维空间中去，那么映射后的向量就变成：\(\phi(x_i)\)和\(\phi(x_j)\)，映射后的内积就变成：\(I’ = <\phi(x_j),\phi(x_j)>\)。现在改如何计算映射后的内积呢？传统方法是先计算映射后的向量\(\phi(x_i)\)和\(\phi(x_[……]

继续阅读