监督学习 Supervised Learning
1）线性回归（Linear Regression）：线性回归用于建立输入特征与连续数值目标之间的线性关系模型。它通过拟合一条直线或超平面来进行预测。
2）逻辑回归（Logistic Regression）：逻辑回归适用于分类问题，其中目标变量是离散的。它使用逻辑函数（如sigmoid函数）来建立输入特征与目标类别之间的关系模型。
3）决策树（Decision Trees）：决策树通过构建一系列决策规则来进行分类或回归。它根据特征的不同分割数据，并构建一个树状结构来进行预测。
4）支持向量机（Support Vector Machines，SVM）：SVM是一种用于分类和回归的监督学习算法。它通过寻找一个最优的超平面或者非线性变换，将不同类别的数据样本分隔开。
5）随机森林（Random Forest）：随机森林是一种集成学习算法，它结合了多个决策树进行分类或回归。每个决策树基于随机选择的特征子集进行训练，并通过投票或平均来获得最终预测结果。
6）神经网络（Neural Networks）：在监督学习中，神经网络接收一组输入数据，并将其传递到网络中的多个神经元层中进行处理。每个神经元都有一组权重，用于加权输入数据。然后，输入数据通过激活函数进行非线性变换，并传递到下一层。这个过程被称为前向传播。在前向传播后，网络产生一个输出，与预期的目标输出进行比较。然后，通过使用损失函数来度量预测输出与目标输出之间的差异。损失函数的目标是最小化预测输出与目标输出之间的误差。接下来，网络使用反向传播算法来更新权重，以减小损失函数。反向传播通过计算损失函数相对于每个权重的梯度，然后沿着梯度的方向更新权重。这个过程不断迭代，直到网络的性能达到满意的程度。
无监督学习 Unsupervised Learning
1）K均值聚类（K-means Clustering）：K均值聚类是一种常见的聚类算法，用于将数据点划分为预先定义的K个簇。算法通过迭代地将数据点分配到最近的质心，并更新质心位置来优化聚类结果。K均值聚类适用于发现数据中的紧密聚集模式。
2）层次聚类（Hierarchical Clustering）：层次聚类是一种将数据点组织成树状结构的聚类方法。它可以基于数据点之间的相似性逐步合并或分割聚类簇。层次聚类有两种主要方法：凝聚层次聚类（自底向上）和分裂层次聚类（自顶向下）。层次聚类适用于发现不同层次的聚类结构。
3）主成分分析（Principal Component Analysis，PCA）：主成分分析是一种降维技术，用于从高维数据中提取最重要的特征。它通过找到数据中的主要方差方向，并将数据投影到这些方向上的低维空间中来实现降维。PCA广泛应用于数据可视化、噪声过滤和特征提取等领域。
4）关联规则学习（Association Rule Learning）：关联规则学习用于发现数据集中的项集之间的关联关系。它通过识别频繁项集并生成关联规则来实现。关联规则通常采用"If-Then"的形式，表示数据项之间的关联性。关联规则学习可应用于市场篮子分析、推荐系统等领域。
半监督学习
强化学习
自监督学习
元学习
联邦学习

基于形式

深度学习
DNN 深度神经网络 $\in$ ANN 人工神经网络 = DL 深度学习
- CNN 卷积神经网络
- RNN 循环神经网络 LSTM, GRU
- 注意力机制 Transformer, Attention
- GNN 土神经网络
- 多模态学习 Multimodal Learning
传统机器学习
生成模型（Generative Models）
- 生成对抗网络（GAN）
- 变分自编码器（VAE）
- 自回归模型（Autoregressive Models）
- Diffusion Models（扩散模型
- NeRF、Neural Fields