Neural Network#
- 神经网络基本单位:神经元
- 权重(weight):调节权重可控制重视某一特征或忽视某一特征输入
∑(wixi+b)
其中b为bias(偏置量)
以上为线性变换步骤,运算结果传入激活函数 f
激活函数#
(z)=1+e(−z)1
函数关于 (0,0.5) 中心对称,值域[0,1]
用于二分类计算激活函数
多用于输出层,少用于隐藏层
(z)=max(0,z)
常用于隐藏层,计算速度快,方便求导
- Softmax
用于多分类问题的输出层,将输出转换为概率分布(要求 ∑yi=1)
sigma(zi)=∑j=1nezjezi
特点:
- 可处理任意实数输入(包括负值与0)
- 输出值域在[0,1]之间
- 所有输出之和为1
- 指数运算会放大输入之间的差异
- 计算代价相对较高
前馈传播#
- 神经元的表达:xi(n) 其中n为层数
- 权重表达:wij(n)
- 使用矩阵记录一层的权重和bias
- 矩阵乘法表达:
x1(n+1)x2(n+1)⋮xm(n+1)=w11(n)w21(n)⋮wm1(n)w12(n)w22(n)⋮wm2(n)⋯⋯⋱⋯w1k(n)w2k(n)⋮wmk(n)x1(n)x2(n)⋮xk(n)+b1(n)b2(n)⋮bm(n)
- 使用矩阵乘法:优化时空 (分治)
反向传播#
例子(花卉识别(二分类))#
L=21i=1∑n(yi−y^i)2
L=−n1i=1∑n(y^ilog(yi)+(1−y^i)log(1−yi))
- 信息熵:事件的信息量和事件的概率有关,定义事件 X=x的信息量为 −log(p(x))
例如:
-
对于第一个样本(玫瑰花):
- y^1=1,y^2=0
- y1=0.8,y2=0.2
- L=−(1⋅log(0.8)+0⋅log(0.2))=−log(0.8)≈0.223
-
对于第三个样本(鸢尾花):
- y^1=0,y^2=1
- y1=0.3,y2=0.7
- L=−(0⋅log(0.3)+1⋅log(0.7))=−log(0.7)≈0.357
总的Loss:
L=41(0.223+...+0.357)≈0.29
我们希望信息量越小越好,信息量越小代表发生概率越大。比如:
- 当预测正确时(如预测玫瑰花为玫瑰花),预测概率越接近1,信息量越小,Loss也就越小
- 当预测错误时(如预测玫瑰花为鸢尾花),预测概率接近0,信息量大,Loss也就越大
- 通过最小化Loss,我们就能让模型学会对正确类别给出高概率预测
梯度下降#
梯度下降可用于找到损失函数的局部最优
wt+1=wt−α∇L(wt)∇L(wt)=∂wt∂L
其中 α 为学习率(步长)
容易陷入局部最优/卡在斜率为0的非极值点 — 解决:使用优化器
小批量梯度下降 Mini-Batch GD#
迭代速度比批量梯度下降(BGD)快,精度比随机梯度下降高
- 每次使用一个batch,批量运算
- 每个batch的样本数量称为batch_size
- batch_size越大,梯度估计越准确,但计算量也越大
- batch_size越小,梯度估计越不准确,但迭代速度快
欠拟合/过拟合#
- 欠拟合:模型弱/训练次数太少
- 过拟合:数据类型单一
CNN#
用于处理大型图像,可维持空间特征
池化层#
特征压缩,将feature map划分为几个区域,取其最大值/mean,得到新的维度较小的特征
往往只改变size,不改变深度
经过若干步后,最终丢到全连接神经网络中进行分类
计算公式#
卷积层输出尺寸计算#
输入图片大小为 H×W, 卷积核大小为 K×K, 步长为 S, padding为 P
输出尺寸计算公式:
Hout=⌊SH+2P−K+1⌋Wout=⌊SW+2P−K+1⌋
池化层输出尺寸计算#
池化窗口大小为 K×K, 步长为 S
输出尺寸计算公式:
Hout=⌊SH−K+1⌋Wout=⌊SW−K+1⌋
注意:
- 池化层通常不使用padding
- 卷积层和池化层都不改变通道数(深度)