核心理解的点：

超参数：不需要学习，建立神经网络之前，根据经验来决定的参数，eg卷积核、神经网络层数（调参工程师所调的参）

神经网络的结构与工作方式

决定工作性能的三大要素：

BP神经网络的结构

BP网络结构

输入层、输出层，中间是隐层

激活函数

• sigmoid
• tanh

神经网络层数：n-1（需要去掉输入层）

y和y^是标量值

差距：|y-y^|或者(y-y)^2

PDF概率密度函数（连续变量）, PMF概率质量函数（离散变量）

cross entropy

CE(P,Q)会出现log0，故采用CE(Q,P)

GD梯度下降，利用loss函数可导性，找到loss最小的值

SGD随机梯度下降，解决震荡的问题

更新学习、参数变化的方法

duanpeibo@swc.neu.edu.cn

神经元与神经网络

前馈型（前向型）

反馈型

BP

正向传播

反向传播

BP算法的设计

1. 隐层数及隐层神经元数的确定
2. 初始权值的设置
3. 训练数据预处理
4. 后处理过程

BP算法的实现

特点

BP神经网络在模式识别中的应用

比如，设计三层BP网络，对数字0-9进行分类

离散Hopfield神经网络

网络稳定性

• 计算能量函数

  $E=-\frac{1}{2} \sum\limits_{i=1}^{n} \sum\limits_{j=1}^{n}s$

• 定理：

Hopfiled神经网络再联想记忆中的应用

卷积神经网络与深度学习

生成对抗网络及其应用