什么是贝叶斯推理

　　贝叶斯推理是由英国牧师贝叶斯发现的一种归纳推理方法，后来的许多研究者对贝叶斯方法在观点、方法和理论上不断的进行完善，最终形成了一种有影响的统计学派，打破了经典统计学一统天下的局面。贝叶斯推理是在经典的统计归纳推理——估计和假设检验的基础上发展起来的一种新的推理方法。与经典的统计归纳推理方法相比，贝叶斯推理在得出结论时不仅要根据当前所观察到的样本信息，而且还要根据推理者过去有关的经验和知识。

　　作为一种推理方法，贝叶斯推理是从概率论中的贝叶斯定理扩充而来。贝叶斯定理断定：已知一个事件集Bi(i=1,2,...k)中每一Bi的概率P(Bi)，又知在Bi已发生的条件下事件A的条件概率P(A/Bi)，就可得出在给定A已发生的条件下任何Bi的条件概率(逆概率)P(Bi/A)。即P(Bi/A)=P(Bi)P(A/Bi)/(P(B1)P(A/B1)+P(B2)P(A/B2)+...+P(Bn)P(A/Bn))

　　贝叶斯定理有很广的应用范围，但作为研究贝叶斯推理的起点，我们必须扩充这个定理的意义。不考虑事件集Bi，而考虑构成实际情况的一个合适模型的假说集Hi(i=l,2,...k)，其中一个而且仅仅一个假说必定是真的。事件A则被重新解释为由实际情况得到的观察结果E：样本数据。在观察之前，对所有的i=l,2,...k，已知P(Hi)，它们是不同假说的先验概率，构成次要的信息来源。又知P(E/Hi)即在Hi真时E被观察到的概率，它们是样本数据的似然值，也叫E相对于Hi的后验概率。经过这样的解释，贝叶斯定理由仅适用给事件测定概率变成也能给假说测定概率(可信度)的工具。