1、UFLDL教程From Ufldl说明： 本教程将阐述无监督特征学习和深入学习的主要观点。通过学习，你也将实现多个功能学习 / 深度学习算法，能看到它们为你工作，并学习如何应用 / 适应这些想法到新问题上。本教程假定机器学习的基本知识（特别是熟悉的监督学习，逻辑回归，梯度下降的想法），如果你不熟悉这些想法，我们建议你去这里机器学习课程 (http:/openclassroom.stanford.edu/MainFolder/CoursePage.php?course=MachineLearning) ，并先完成第 II ， III ， IV章（到逻辑回归）。稀疏自编码器神经网络反向传导算法梯度
2、检验与高级优化自编码算法与稀疏性可视化自编码器训练结果稀疏自编码器符号一览表Exercise:Sparse Autoencoder矢量化编程实现矢量化编程逻辑回归的向量化实现样例神经网络向量化Exercise:Vectorization预处理：主成分分析与白化主成分分析白化实现主成分分析和白化Exercise:PCA in 2DExercise:PCA and WhiteningSoftmax回归Softmax回归Exercise:Softmax Regression自我学习与无监督特征学习自我学习Exercise:Self-Taught LearningDeep Learning - Ngw
3、bx建立分类用深度网络从自我学习到深层网络深度网络概览栈式自编码算法微调多层自编码算法Exercise: Implement deep networks for digit classification自编码线性解码器线性解码器Exercise:Learning color features with Sparse Autoencoders处理大型图像卷积特征提取池化Exercise:Convolution and Pooling注意 : 这条线以上的章节是稳定的。下面的章节仍在建设中，如有变更，恕不另行通知。请随意浏览周围并欢迎提交反馈 / 建议。混杂的MATLAB ModulesStyle
4、 GuideUseful Links混杂的主题数据预处理用反向传导思想求导进阶主题 :稀疏编码稀疏编码稀疏编码自编码表达Exercise:Sparse Coding独立成分分析样式建模独立成分分析Exercise:Independent Component Analysis其它Deep Learning - NgwbxConvolutional trainingRestricted Boltzmann MachinesDeep Belief NetworksDenoising AutoencodersK-meansSpatial pyramids / MultiscaleSlow Featur
5、e AnalysisTiled Convolution Networks英文原文作者 : Andrew Ng, Jiquan Ngiam, Chuan Yu Foo, Yifan Mai, Caroline SuenLanguage : EnglishRetrieved from“http:/deeplearning.stanford.edu/wiki/index.php/UFLDL%E6%95%99%E7%A8%8B“This page was last modified on 7 April 2013, at 18:26.Deep Learning - Ngwbx神经网络From Ufld
6、lContents1 概述2 神经网络模型3 中英文对照4 中文译者概述以监督学习为例，假设我们有训练样本集 ，那么神经网络算法能够提供一种复杂且非线性的假设模型 ，它具有参数 ，可以以此参数来拟合我们的数据。为了描述神经网络，我们先从最简单的神经网络讲起，这个神经网络仅由一个“神经元”构成，以下即是这个“神经元”的图示：这个“神经元”是一个以 及截距 为输入值的运算单元，其输出为 ，其中函数 被称为“激活函数”。在本教程中，我们选用 sigmoid 函数作为 激活函数可以看出，这个单一“神经元”的输入输出映射关系其实就是一个逻辑回归（ logisticregression ）。虽然本系列教程
7、采用 sigmoid 函数，但你也可以选择双曲正切函数（ tanh ）：Deep Learning - Ngwbx1 3-4 -8 - Ufl d l2/ 6d ee pl e arni n g.sta nford .e d u /wi ki/ ind ex.p hp / #.E 4 .B 8 .A D.E6 .9 6.8 7.E8 .A F.9 1.E 8 .80 .8 5以下分别是 sigmoid 及 tanh 的函数图像函数是 sigmoid 函数的一种变体，它的取值范围为 ，而不是 sigmoid 函数的 。注意，与其它地方（包括 OpenClassroom公开课以及斯坦福大学 CS2
8、29课程）不同的是，这里我们不再令 。取而代之，我们用单独的参数 来表示截距。最后要说明的是，有一个等式我们以后会经常用到：如果选择 ，也就是 sigmoid 函数，那么它的导数就是 （如果选择 tanh 函数，那它的导数就是 ，你可以根据 sigmoid （或 tanh ）函数的定义自行推导这个等式。Deep Learning - Ngwbx1 3-4 -8 - Ufl d l3/ 6d ee pl e arni n g.sta nford .e d u /wi ki/ ind ex.p hp / #.E 4 .B 8 .A D.E6 .9 6.8 7.E8 .A F.9 1.E 8 .80
9、 .8 5神经网络模型所谓神经网络就是将许多个单一“神经元”联结在一起，这样，一个“神经元”的输出就可以是另一个“神经元”的输入。例如，下图就是一个简单的神经网络：我们使用圆圈来表示神经网络的输入，标上“ ”的圆圈被称为 偏置节点 ，也就是截距项。神经网络最左边的一层叫做 输入层 ，最右的一层叫做 输出层 （本例中，输出层只有一个节点）。中间所有节点组成的一层叫做 隐藏层 ，因为我们不能在训练样本集中观测到它们的值。同时可以看到，以上神经网络的例子中有 3个 输入单元 （偏置单元不计在内）， 3个 隐藏单元 及一个 输出单元 。我们用 来表示网络的层数，本例中 ，我们将第 层记为 ，于是 是输
10、入层，输出层是 。本例神经网络有参数 ，其中 （下面的式子中用到）是第 层第 单元与第 层第 单元之间的联接参数（其实就是连接线上的权重，注意标号顺序）， 是第 层第 单元的偏置项。因此在本例中， ， 。注意，没有其他单元连向偏置单元 ( 即偏置单元没有输入 ) ，因为它们总是输出 。同时，我们用 表示第 层的节点数（偏置单元不计在内）。我们用 表示第 层第 单元的 激活值 （输出值）。当 时， ，也就是第 个输入值（输入值的第 个特征）。对于给定参数集合 ，我们的神经网络就可以按照函数 来计算输出结果。本例神经网络的计算步骤如下：Deep Learning - Ngwbx1 3-4 -8 -
11、 Ufl d l4/ 6d ee pl e arni n g.sta nford .e d u /wi ki/ ind ex.p hp / #.E 4 .B 8 .A D.E6 .9 6.8 7.E8 .A F.9 1.E 8 .80 .8 5我们用 表示第 层第 单元输入加权和（包括偏置单元），比如， ，则 。这样我们就可以得到一种更简洁的表示法。这里我们将激活函数 扩展为用向量（分量的形式）来表示，即 ，那么，上面的等式可以更简洁地表示为：我们将上面的计算步骤叫作 前向传播 。回想一下，之前我们用 表示输入层的激活值，那么给定第 层的激活值 后，第 层的激活值 就可以按照下面步骤计算得到：
12、将参数矩阵化，使用矩阵向量运算方式，我们就可以利用线性代数的优势对神经网络进行快速求解。目前为止，我们讨论了一种神经网络，我们也可以构建另一种 结构 的神经网络（这里结构指的是神经元之间的联接模式），也就是包含多个隐藏层的神经网络。最常见的一个例子是 层的神经网络，第 层是输入层，第 层是输出层，中间的每个层 与层 紧密相联。这种模式下，要计算神经网络的输出结果，我们可以按照之前描述的等式，按部就班，进行前向传播，逐一计算第 层的所有激活值，然后是第 层的激活值，以此类推，直到第 层。这是一个 前馈 神经网络的例子，因为这种联接图没有闭环或回路。神经网络也可以有多个输出单元。比如，下面的神经网
13、络有两层隐藏层： 及 ，输出层 有两个输出单元。Deep Learning - Ngwbx1 3-4 -8 - Ufl d l5/ 6d ee pl e arni n g.sta nford .e d u /wi ki/ ind ex.p hp / #.E 4 .B 8 .A D.E6 .9 6.8 7.E8 .A F.9 1.E 8 .80 .8 5要求解这样的神经网络，需要样本集 ，其中 。如果你想预测的输出是多个的，那这种神经网络很适用。（比如，在医疗诊断应用中，患者的体征指标就可以作为向量的输入值，而不同的输出值 可以表示不同的疾病存在与否。）中英文对照neural networks
14、神经网络activation function 激活函数hyperbolic tangent 双曲正切函数bias units 偏置项activation 激活值forward propagation 前向传播feedforward neural network 前馈神经网络 ( 参照 Mitchell 的机器学习的翻译)中文译者孙逊（ ），林锋（ ），刘鸿鹏飞（ ） , 许利杰（ ）神经网络 | 反向传导算法 | 梯度检验与高级优化 | 自编码算法与稀疏性 | 可视化自编码器训练结果 | 稀疏自编码器符号一览表 | Exercise:Sparse_AutoencoderDeep Le
15、arning - Ngwbx1 3-4 -8 - Ufl d l6/ 6d ee pl e arni n g.sta nford .e d u /wi ki/ ind ex.p hp / #.E 4 .B 8 .A D.E6 .9 6.8 7.E8 .A F.9 1.E 8 .80 .8 5Language : EnglishRetrieved from“http:/deeplearning.stanford.edu/wiki/index.php/%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C“This page was last modified on 7 Apri
16、l 2013, at 12:34.Deep Learning - Ngwbx反向传导算法From Ufldl假设我们有一个固定样本集 ，它包含 个样例。我们可以用批量梯度下降法来求解神经网络。具体来讲，对于单个样例 ，其代价函数为：这是一个（二分之一的）方差代价函数。给定一个包含 个样例的数据集，我们可以定义整体代价函数为：以上公式中的第一项 是一个均方差项。第二项是一个规则化项（也叫 权重衰减项 ），其目的是减小权重的幅度，防止过度拟合。 注：通常权重衰减的计算并不使用偏置项 ，比如我们在 的定义中就没有使用。一般来说，将偏置项包含在权重衰减项中只会对最终的神经网络产生很小的影响。如果你在斯
17、坦福选修过 CS229（机器学习）课程，或者在YouTube上看过课程视频，你会发现这个权重衰减实际上是课上提到的贝叶斯规则化方法的变种。在贝叶斯规则化方法中，我们将高斯先验概率引入到参数中计算 MAP（极大后验）估计（而不是极大似然估计）。权重衰减参数 用于控制公式中两项的相对重要性。在此重申一下这两个复杂函数的含义： 是针对单个样例计算得到的方差代价函数； 是整体样本代价函数，它包含权重衰减项。以上的代价函数经常被用于分类和回归问题。在分类问题中，我们用 或 ，来代表两种类型的标签（回想一下，这是因为 sigmoid 激活函数的值域为 ；如果我们使用双曲正切型激活函数，那么应该选用 和 作
18、为标签）。对于回归问题，我们首先要变换输出值域（译者注：也就是 ），以保证其范围为 （同样地，如果我们使用双曲正切型激活函数，要使输出值域为 ）。我们的目标是针对参数 和 来求其函数 的最小值。为了求解神经网络，我们需要将每一个参数 和 初始化为一个很小的、接近零的随机值（比如说，使用正态分布 生成的随机值，其中 设置为 ），之后对目标函数使用诸如批量梯度下降法的最优化算法。因为 是一个非凸函数，梯度下降法很可能会收敛到局部最优解；但是在实际应用中，梯度下降法通常能得到令人满意的结果。最后，需要再次强调的是，要将参数进行随机初始化，而不是全部置为 。如果所有参数都用相同的值作为初始值，那么所有隐藏层单元最终会得到与输入值有关的、相同的函数（也就是说，对于所有 ， 都会取相同的值，那么对于任何输入 都会有：）。随机初始化的目的是使 对称失效 。梯度下降法中每一次迭代都按照如下公式对参数 和 进行更新：其中 是学习速率。其中关键步骤是计算偏导数。我们现在来讲一下 反向传播 算法，它是计算偏导数的一种有效方Deep Learning - Ngwbx
