浅谈后验密度函数及共轭先验密度函数的计算方法

浅谈后验密度函数及共轭先验密度函数的计算方法

刘与嘉

浙江财经大学东方学院信息分院浙江嘉兴314408

摘要：贝叶斯学派所提出的用参数的后验分布来估计参数的方法在很多领域都优于传统学派。本文旨在详细叙述用密度函数表示的贝叶斯公式，即后验概率密度的推导计算过程，以二项分布成功概率p的后验密度函数求法为例详细说明；以及共轭先验分布的定义，并证明泊松分布均值λ的共轭先验分布为伽马分布。文中最后总结了常见分布中特定参数的共轭先验分布。

关键词：贝叶斯学派后验密度函数共轭先验密度函数

贝叶斯学派的基本观点是：任一未知量θ都可看做是随机变量，可用一个概率分布去描述，这个分部即为先验分布；在获得样本后，总体分布、样本分布、先验分布可通过贝叶斯公式结合起来得到一个关于未知量θ的新分布——后验分布；该分布是关于未知量θ最准确的分布。由此可见，三种信息结合使用可以显著提高统计推断的质量。

一、贝叶斯公式的密度函数形式——后验分布

1.后验分布

（1）总体依赖参数θ的密度函数在贝叶斯统计中记为p(x|θ)，表示在随机变量θ取定某个具体值时总体的概率函数。

（2）根据参数θ的先验信息所确定的先验分布记为π(θ)。

（3）由于参数θ是一个随机变量，所以样本的产生有两个步骤：

第一步：由先验分布π(θ)确定一个样本θ0。

第二步：在θ0的基础上从总体中产生一组样本X=（x1,x2…xn）,这时，样本X=（x1,x2…xn）的联合密度函数为：p(x|θ0)，=p（x1,x2…xn|θ0）=p(xi|θ0)

（4）上述的样本联合密度函数是在参数确定为θ0时所得，由于参数θ为一随机变量，所以取值并非仅有θ0，故所得的样本密度函数不能代表整个总体，为解决这个问题，可采用贝叶斯公式即可得到样本X和参数θ的联合分布：h(x,θ)，=p（x|θ)π(θ)(1)

该分布包含了总体信息、样本信息以及先验信息。

由贝叶斯统计的基本思想可知，想要准确估计出参数θ，就得依据h(x,θ)对θ作出推断，故由概率论的相关知识对h(x,θ)进行分解h(x,θ)，=π(θ|X）m(X)(2)

其中，m(X)为X的边际密度函数，其只包含样本的信息。由密度函数与其边际密度函数的关系及式(1)可知：m(X)=p(x|θ)π(θ)dθ(3)

其中积分区间Θ由先验分布π(θ)中的θ的取值范围而定。由式(2)、(1)、(3)可知：

π(θ|X）==(4)

π(θ|X）即为后验分布，它集中了总体、样本、先验信息中关于参数θ的一切信息，故要比先验分布π(θ)估计出的θ更加准确。

二、共轭先验分布及其常见的例子

1.共轭先验分布。

由上述贝叶斯理论可以看出，只要参数的先验分布确定后，后验分布即可求出，但如何利用各种先验信息得到合理的先验分布则有一定的理论困难，这在有些场合很容易解决，但在大多数场合都是相当困难的。这里我们介绍一种最常见的先验分布类——共轭先验分布。

定义1：设θ是总体分布p(x,θ)中的参数，π（θ）是其先验分布，若对任意来自p(x,θ)的样本观测值得到的后验分布π(θ|X）与π(θ)属于同一个分布族，则该分布族称为参数θ的共轭先验分布族。

2.常见的共轭先验分布。

由共轭先验分布的定义可知，在例1中，beta分布是伯努利试验中成功概率p的共轭先验分布。

（1）例2验证泊松分布的均值λ的共轭先验分布是伽马分布。

（2）常见分布特定参数的共轭先验分布。在工程领域等很多方面对于共轭先验分部都有较高的要求，由上述方法我们可以得到常见分布特定参数的共轭先验分布：

表1：常见分布特定参数的共轭先验分布

三、结语

贝叶斯学派最经典的贡献在于将参数看做随机变量而并非一个单纯的未知数，这使得在表述其不确定程度的时候可以使用概率与概率分布这个有效的工具。贝叶斯学派相关内容还有很多，例如：贝叶斯估计，该估计在机器学习和深度学习中经常会使用到，但在理解贝叶斯估计之前，后验密度函数及共轭先验密度函数是最基础的内容。本文旨在将贝叶斯学派最基础的内容：后验密度函数的求法、不同分布的共轭先验密度函数用例子详细说明。

参考文献

[1]彭桂芳陈洪贝叶斯学派丰富和发展了古典统计学[J].东莞理工学院学报，1994，（2），90-95。

[2]何佳薇贝叶斯统计理论的形成及发展[D].山西师范大学，2015。

[3]茆诗松程依明等概率论与数理统计教程[M].高等教育出版社，2011，2。

[4]吴高巍陶卿王珏等基于后验概率的支持向量机[J].计算机研究与发展，2005，42，（2），196-202。

[5]刘淼基于均匀分布与泊松分布的共轭先验理论研究[J].吉林师范大学学报（自然科学版），2015，36，（1），69-71。

[6]张潮基于机器学习的河网糙率反演[D].浙江大学，2008。