贝叶斯决策理论的Matlab实现

第二章

1、 简述基于最小错误率的贝叶斯决策理论;并分析在“大数据时代”,使用贝叶斯决策理论需要解决哪些问

题,贝叶斯决策理论有哪些优缺点,贝叶斯决策理论适用条件和范围是什么?举例说明风险最小贝叶斯决策理论的意义。

答: 在大数据时代,我们可以获得很多的样本数据,并且是已经标记好的;要使用贝叶斯决策理论最重

要的是确定类条件概率密度函数和相关的参数。

优缺点:贝叶斯决策的优点是思路比较简单,大数据的前提下我 们可以得到较准确的先验概率,因此如果确定了类条件概率密度函数,我们便可以很快的知道如何分类,但是在大数据的前提下,类条件概率密度函数的确定不是这么简单,因为参数可能会增多,有时候计算量也是很大的。

适用条件和范围:

(1) 样本(子样)的数量(容量)不充分大,因而大子样统计理论不适宜的场合。

(2) 试验具有继承性,反映在统计学上就是要具有在试验之前已有先验信息的场合。用这种方法进行分类时要求两点: 第一,要决策分类的参考总体的类别数是一定的。例如两类参考总体(正常状态Dl和异常状态D2),或L类参考总体D1,D2,„,DL(如良好、满意、可以、不满意、不允许、„„)。

第二,各类参考总体的概率分布是已知的,即每一类参考总体出现的先验概率P(Di)以及各类概率密度函数P(x/Di)是已知的。显然,0≤P(Di)≤1,(i=l,2,„,L),∑P(Di)=1。

说明风险最小贝叶斯决策理论的意义: 那股票举例,现在有A、B两个股票,根据市场行情结合最小错误率的风险选择A股(假设为0.55),而B股(0.45);但是选着A股必须承担着等级为7的风险,B股风险等级仅为4;这时因遵循最小风险的贝叶斯决策,毕竟如果A股投资的失败带来的经济损失可能获得收益还大。

2、 教材中例2.1-2.2的Matlab实现.

2.1: 结果:

3、 利用Matlab提供的正态分布函数,产生d(=1,2,3)维的随机数据(可考虑类别数目为2,各类的先验概

率自定或随机产生,类条件概率由正态分布密度函数确定),编写Matlab代码实现最小错误率的贝叶斯决策。

根据所给的1维代码可推出2维情况:

运行结果:

同理,将三维参数自定义为:

运行结果为:

4、 从最小错误率贝叶斯决策规则出发,讨论在类条件密度服从正态分布时,推导出不同情况下的判别函数

表达式。

5、 补充的实验验证题:分别用最小距离分类器(书P.32,图2-8)和马氏距离分类器(书P.32,式2-82)对下

列数据(Fisher's Iris Data)进行分析, 对比两种分类器的识别率有什么不同,并分析原因。

关于Fisher's Iris Data: Fisher's iris data consists of measurements on the sepal length, sepal width, petal length, and petal width of 150 iris specimens. There are 50 specimens from each of three species.

在Matlab中调用load fisheriris可以得到该数据,meas为150×4的数据矩阵,species为150×1的cell矩阵,含有类别信息。

程序为:

运行结果:

原因:

最小距离分类器忽略了各类的协方差矩阵,将类内的个特征认为是相互独立的,马氏距离分离器则将其考虑在内,只是各类的将协方差矩认为是相等的,并没有忽略内部特征的相互影响。

第二章

1、 简述基于最小错误率的贝叶斯决策理论;并分析在“大数据时代”,使用贝叶斯决策理论需要解决哪些问

题,贝叶斯决策理论有哪些优缺点,贝叶斯决策理论适用条件和范围是什么?举例说明风险最小贝叶斯决策理论的意义。

答: 在大数据时代,我们可以获得很多的样本数据,并且是已经标记好的;要使用贝叶斯决策理论最重

要的是确定类条件概率密度函数和相关的参数。

优缺点:贝叶斯决策的优点是思路比较简单,大数据的前提下我 们可以得到较准确的先验概率,因此如果确定了类条件概率密度函数,我们便可以很快的知道如何分类,但是在大数据的前提下,类条件概率密度函数的确定不是这么简单,因为参数可能会增多,有时候计算量也是很大的。

适用条件和范围:

(1) 样本(子样)的数量(容量)不充分大,因而大子样统计理论不适宜的场合。

(2) 试验具有继承性,反映在统计学上就是要具有在试验之前已有先验信息的场合。用这种方法进行分类时要求两点: 第一,要决策分类的参考总体的类别数是一定的。例如两类参考总体(正常状态Dl和异常状态D2),或L类参考总体D1,D2,„,DL(如良好、满意、可以、不满意、不允许、„„)。

第二,各类参考总体的概率分布是已知的,即每一类参考总体出现的先验概率P(Di)以及各类概率密度函数P(x/Di)是已知的。显然,0≤P(Di)≤1,(i=l,2,„,L),∑P(Di)=1。

说明风险最小贝叶斯决策理论的意义: 那股票举例,现在有A、B两个股票,根据市场行情结合最小错误率的风险选择A股(假设为0.55),而B股(0.45);但是选着A股必须承担着等级为7的风险,B股风险等级仅为4;这时因遵循最小风险的贝叶斯决策,毕竟如果A股投资的失败带来的经济损失可能获得收益还大。

2、 教材中例2.1-2.2的Matlab实现.

2.1: 结果:

3、 利用Matlab提供的正态分布函数,产生d(=1,2,3)维的随机数据(可考虑类别数目为2,各类的先验概

率自定或随机产生,类条件概率由正态分布密度函数确定),编写Matlab代码实现最小错误率的贝叶斯决策。

根据所给的1维代码可推出2维情况:

运行结果:

同理,将三维参数自定义为:

运行结果为:

4、 从最小错误率贝叶斯决策规则出发,讨论在类条件密度服从正态分布时,推导出不同情况下的判别函数

表达式。

5、 补充的实验验证题:分别用最小距离分类器(书P.32,图2-8)和马氏距离分类器(书P.32,式2-82)对下

列数据(Fisher's Iris Data)进行分析, 对比两种分类器的识别率有什么不同,并分析原因。

关于Fisher's Iris Data: Fisher's iris data consists of measurements on the sepal length, sepal width, petal length, and petal width of 150 iris specimens. There are 50 specimens from each of three species.

在Matlab中调用load fisheriris可以得到该数据,meas为150×4的数据矩阵,species为150×1的cell矩阵,含有类别信息。

程序为:

运行结果:

原因:

最小距离分类器忽略了各类的协方差矩阵,将类内的个特征认为是相互独立的,马氏距离分离器则将其考虑在内,只是各类的将协方差矩认为是相等的,并没有忽略内部特征的相互影响。


相关内容

  • 基于贝叶斯算法的图像分类系统设计_席伟
  • 第8卷第Knowledge 28期(2012年10月) 电脑知识与技术Computer and Technology Vol.8, No.28, October 2012. ISSN 1009-3044Computer Knowledge and Technology 电脑知识与技术http://w ...

  • 线性SVM算法与最小平方误差算法的比较
  • 线性SVM 算法与最小平方误差算 法的比较 (哈尔滨工程大学 动力与能源工程学院,黑龙江 哈尔滨 150001) 摘要:在机器识别模式里,在基于贝叶斯决策理论之上有多种算法.机器识别应用领 域十分广泛,例如可以区分柴油机是否工作正常.在此,我利用两种不同的算法对两批不同的柴油机的多项热力学参数进行分 ...

  • 基于矩阵分析的融合算法在证据理论中的应用
  • 基于矩阵分析的融合算法在证据理论中的 应用 作者:季明昌 聂荣军 [摘 要]直接采用证据推理组合公式计算传感器信息融合结果,计算量和计算延时会随着发现目标的个数增加而增加,采用两个证据组合的递推计算的方式计算融合结果,提出一种基于矩阵分析的融合算法,利用了matlab 软件及C 语言编程对该方法进行 ...

  • 最小错误率贝叶斯分类器
  • 硕士研究生专业课考试大作业 课程名称: 课程编号: 任课教师姓名: 职称: 学生姓名: 学号: 作业题目: 成绩:模式识别 063806 刘海波 副教授 黄跃平 S309060181 最小错误率贝叶斯分类器 二〇一〇年四月二十五日 最小错误率贝叶斯分类 摘要:统计决策理论是处理模式识别问题的基本理论 ...

  • 贝叶斯网络在水资源管理中的应用_卢文喜
  • DOI:10.13278/j.cnki.jjuese.2011.01.012 吉林大学学报(地球科学版)第41卷 第1期Vol.41 No.1 ()年月贝叶斯网络在水资源管理中的应用 卢文喜,罗建男,鲍新华 吉林大学环境与资源学院,长春 130026 摘要:为了解决水资源管理中具有不确定性的多目标决 ...

  • 基于MCMC方法的贝叶斯统计推断
  • 基础及前沿研究 Fundamentalandfrontierresearch 中国科技信息2012年第10期 CHINASCIENCE AND TEC帆OGY INFORMATIONM_y.2012 DOI:10.3969/j.issn.1001-8972.2012.10.024 基于MCMC方法的 ...

  • 手机用户精准识别
  • 手机用户精准识别 摘要 随着移动通信.互联网业务的迅速发展,手机已经从奢侈品变成了生活日 用品,是我们日常生活中不可缺少的一部分.人们随时随地使用手机打电话.发短信.上网,而用户的这些行为以及其个人基本信息均在运营商处有所记录. 今天我们就在这里讨论一下职场新人的识别问题. 针对问题一,在分析了职场 ...

  • [模式识别]实验报告
  • <模式识别>实验报告 一.数据生成与绘图实验 1. 高斯发生器.用均值为m ,协方差矩阵为S 的高斯分布生成N 个l 维向量. 设置均值 代码: m=[-1;0]; S=[1,1/2;1/2,1]; mvnrnd(m,S,8) 结果显示: ans = -0.4623 3.3678 0.8 ...

  • 最优分类器设计
  • 基于参数估计的最优分类器设计 一.目录 1. 分类器概述 1.1模式识别系统和模式识别方法 1.1.1模式识别的基本概念 1.1.2 模式识别系统 1.1.3 模式识别的基本方法 1.2分类器的原理概述 1.2.1 分类器的定义 1.2.2 分类器的描述方法 1.3分类器的分类方法 1.3.1决策树 ...