1. 基本概念
概率模型是基于概率论与统计学的框架，用于描述数据生成过程或对未知变量进行推断。其核心思想是通过概率分布表示变量间的关系，并利用概率规则（如贝叶斯定理、最大似然估计）进行预测、分类或生成。
2. 核心类型
(1) 生成模型（Generative Models）
目标：建模联合概率分布 P(X,Y)，可生成新数据样本。代表模型：
朴素贝叶斯（Naive Bayes）：假设特征条件独立。高斯混合模型（GMM）：用多个高斯分布拟合数据。隐马尔可夫模型（HMM）：处理序列数据，建模状态转移和观测概率。生成对抗网络（GAN）：通过对抗训练生成逼真数据。
应用场景：文本生成、图像合成、语音识别。
(2) 判别模型（Discriminative Models）
目标：直接建模条件概率 P(Y∣X) 或决策边界。代表模型：
逻辑回归（Logistic Regression）：通过Sigmoid函数预测概率。条件随机场（CRF）：建模序列数据的条件概率。支持向量机（SVM）：最大化分类间隔，隐含概率校准。
应用场景：分类任务（如垃圾邮件检测）、序列标注（如词性标注）。
(3) 概率图模型（Probabilistic Graphical Models）
定义：用图结构（节点表示变量，边表示依赖关系）表示联合概率分布。类型：
贝叶斯网络（Bayesian Network）：有向无环图，表示因果关系。马尔可夫随机场（MRF）：无向图，表示变量间的关联性。
应用场景：医学诊断（因果推理）、图像分割（空间关联建模）。
3. 核心方法
(1) 最大似然估计（MLE）
目标：找到参数 θ，使得观测数据的概率 P(X∣θ) 最大。公式：示例：用MLE估计高斯分布的均值和方差。
(2) 最大后验估计（MAP）
目标：引入先验分布 P(θ)，最大化后验概率 P(θ∣X)。公式：示例：L2正则化逻辑回归等价于高斯先验下的MAP估计。
(3) 贝叶斯推断
目标：计算参数的后验分布 P(θ∣X)，用于不确定性量化。公式：应用：小样本学习、A/B测试中的效果评估。
4. 优缺点
优点缺点不确定性量化：提供概率输出，支持风险决策计算复杂：贝叶斯推断可能需MCMC或变分近似可解释性：通过概率分布描述数据生成机制分布假设强：依赖数据是否符合模型假设生成能力：部分模型可生成新数据（如GAN）数据需求高：复杂模型需大量数据避免过拟合
5. 应用场景
自然语言处理（NLP）：
主题建模：Latent Dirichlet Allocation（LDA）。机器翻译：基于序列到序列的概率模型。
计算机视觉：
图像生成：VAE、GAN生成逼真图像。目标检测：贝叶斯方法估计物体位置的不确定性。
医疗诊断：
疾病预测：贝叶斯网络建模症状与疾病的因果关系。
金融风控：
信用评分：逻辑回归预测违约概率。
6. 关键模型对比
模型类型核心假设适用场景朴素贝叶斯生成模型特征条件独立文本分类、垃圾邮件过滤逻辑回归判别模型线性决策边界 + Sigmoid映射二分类、概率预测高斯混合模型生成模型数据由多个高斯分布混合生成聚类、密度估计隐马尔可夫模型生成模型马尔可夫性（当前状态仅依赖前一状态）语音识别、基因序列分析条件随机场判别模型无向图建模序列依赖词性标注、命名实体识别
7. 解决常见问题的技术
过拟合：
正则化：L1/L2正则化（如MAP估计）。贝叶斯方法：引入先验分布约束参数。
数据稀疏性：
平滑技术：拉普拉斯平滑（用于朴素贝叶斯）。狄利克雷先验：LDA中的主题模型平滑。
高维数据：
降维：PCA（基于高斯分布的生成模型）。变分推断：VAE隐变量压缩高维数据。
8. 选择概率模型的指导原则
任务类型：
生成任务（如图像合成）→ GAN、VAE。分类任务 → 逻辑回归、朴素贝叶斯。序列建模 → HMM、CRF。
数据规模：
小数据 → 贝叶斯方法（利用先验知识）。大数据 → 判别模型（如深度学习+概率层）。
可解释性需求：
高解释性 → 贝叶斯网络、逻辑回归。低解释性 → 深度生成模型（如GAN）。