摘要：
这节课中介绍了循环神经网络的第一部分，主要介绍了循环神经网络的基本概念，vanilla循环网络架构，RNN的一些应用，vanilla架构的问题，更先进的rnn架构比如GRU和LSTM 循环神经网络基本知识 vanilla循环网络架构 应用与理解 vanilla架构的问题 LSTM vanilla循环 阅读全文
摘要：
这节课中介绍了训练神经网络的第二部分，包括学习率曲线，超参数优化，模型集成，迁移学习 训练神经网络2 学习率曲线 超参数优化 模型集成 迁移学习 学习率曲线 在训练神经网络时，一个常见的思路就是刚开始迭代的时候学习率较大，然后随着迭代次数的增加，学习率逐渐下降，下面a56爆大奖在线娱乐们就来介绍几种学习率下降的方法： 阅读全文
摘要：
这节课中介绍了训练神经网络的第一部分，包括激活函数的选择，权重初始化，数据预处理以及正则化方法 训练神经网络1 激活函数 数据预处理 权重初始化 正则化方法 激活函数 这部分主要讨论a56爆大奖在线娱乐们之前提到的几种激活函数的利弊： 首先a56爆大奖在线娱乐们看sigmoid函数，这种激活函数有着激活函数中常见的优点与缺点： 优点方 阅读全文
摘要：
矩阵微分基础知识 定义 重要结论 应用 定义 (1) 向量对标量求导 矩阵对标量求导 a56爆大奖在线娱乐们可以看到上述求导过程实际上就是不同函数对变量求导，然后按照向量或者矩阵的形式排列，注意这里结果的结构应该与函数的结构保持一致 (2)标量对向量求导 标量对矩阵求导 这里的理解使同一个函数对不同的变量求导，然后注 阅读全文
摘要：
这节课中主要讨论了卷积神经网络的发展历史以及几种经典结构是如何构建的 卷积网络经典结构 AlexNet VGG GoogleNet Residual Network AlexNet 在2012年的时候，Alexnet神经网络提出，这时网络的架构比如说各个层之间要如何排列组合，使用多少卷积层池化层，每 阅读全文
摘要：
这节课中介绍了卷积网络的基本组成部分(全连接层，激活函数，卷积层，池化层，标准化等)，下节课讨论了卷积神经网络的发展历史以及几种经典结构是如何构建的 卷积网络组成部分 前言 卷积层 池化层 normalization 前言 在之前提到的全连接神经网络中，a56爆大奖在线娱乐们直接把一个比如说32 * 32 * 3的图 阅读全文
摘要：
全连接神经网络模块化实现 Linear与Relu单层实现 LossLayer实现 多层神经网络 不同梯度下降方法 Dropout层 今天这篇博文针对Assignment3的全连接网络作业，对前面学习的内容进行一些总结 在前面的作业中a56爆大奖在线娱乐们建立神经网络的操作比较简单，也不具有模块化的特征，在A3作业中， 阅读全文
摘要：
UMICH CV Neural Network 既然谈到神经网络，a56爆大奖在线娱乐们肯定要讨论在神经网络中是如何进行梯度的计算以及参数的优化的 传统的方法就是a56爆大奖在线娱乐们手动计算梯度，但是随着神经网络层数的增加，这种方法显然过于复杂 因此a56爆大奖在线娱乐们引入了计算图的概念，从一个简单的例子出发： a56爆大奖在线娱乐们可以把一个(x+y)z的计算式拆 阅读全文
摘要：
UMICH CV Neural Network 对于传统的线性分类器，分类效果并不好，a56爆大奖在线娱乐这节引入了一个两层的神经网络，来帮助a56爆大奖在线娱乐们进行图像分类 可以看出它的结构十分简单，x作为输入层，经过max（0，W1*x）到达h隐藏层，再经过W2到达s输出层 如果a56爆大奖在线娱乐们对隐藏层的结果进行可视化，a56爆大奖在线娱乐们可以看到如下的 阅读全文
摘要：
UMICH CV Linear Classifiers 在上一篇博文中，a56爆大奖在线娱乐们讨论了利用损失函数来判断一个权重矩阵的好坏，在这节中a56爆大奖在线娱乐们将讨论如何去找到最优的权重矩阵 想象a56爆大奖在线娱乐们要下到一个峡谷的底部，a56爆大奖在线娱乐们自然会选择下降最快的斜坡，换成a56爆大奖在线娱乐们这个问题就是要求权重矩阵相对于损失函数的梯度函数，最简单的方法就是使 阅读全文