第14章 概率图模型
- 概率模型:提供了一种描述框架,将学习任务归结于计算变量的概率分布。
“ 推断 ”:利用已知变量推测未知变量的分布,其核心是如何基于可测变量推测出未知变量的条件分布。
推断的两种形式:
- **“ 预测 / 因果 ”: **基于学习器进行预测,例如根据纹理、颜色、根蒂等信息判断一个瓜是否为好瓜就是在推断。
- ” 由果溯因 “: 但推断远超出预测范畴,例如在吃到一个不见根蒂的好瓜时,逆推其根蒂的状态也是推断。
推断的具体做法:
概率图模型: 是一类用图来表达变量相关关系的概率模型。
- 表示方法: 用一个结点表示一个或一组随机变量,结点之间的边表示变量间的概率相关关系,即 “ 变量关系图 ” 。结点和边分别表示为 v 和 e ,结点和边的集合分别记作 V 和 E ,图记作 G = (V , E)。无向图是指边没有方向的图。
- 读图:
- 概率图模型是由图表示的概率分布。设有联合概率分布 P(Y) , Y ∈ У 是一组随机变量。
- 由无向图 G = (V, E) 表示概率分布 P(Y) ;
- 即在图 G 中,结点 v ∈ V 表示一个随机变量 ;
- 边 e ∈ E 表示随机变量之间的概率依赖关系。
- 分类:
贝叶斯网络: 有向图模型,使用有向无环图表达关系(通常,变量间存在显式的因果关系)
马尔可夫网络: 无向图模型,使用无图表达关系(通常,变量间存有关系,但是难以显式表达)
14.1 隐马尔可夫模型
隐马尔可夫模型(Hidden Markov Model,简称 HMM)是结构最简单的动态贝叶斯网,这是一种著名的有向图模型,主要用于时序数据建模,在语音识别、自然语言处理等领域有广泛应用。
- 根据模型产生观测序列:
14.2 马尔可夫随机场
马尔可夫随机场(Markov Random Filed 简称 MRF) 是典型的马尔可夫网,这是一种著名的无向图模型。图中的每个结点表示一个或一组变量,结点之间的边表示两个变量之间的依赖关系。
- 三性质:
- 定义: