1. 一是逻辑功能：逻辑功能在知识的基础上规定着思维的判断形式，这是形式逻辑的范围；
2. 一是认识功能：认识功能则为我们提供新的知识，这是“先验逻辑”的领域；

1. 在模型设计中引入正则化技术：从贝叶斯的角度来看，正则化等价于对模型参数引入先验分布。
2. 在特征工程中结合领域经验设计特殊的特征向量：例如设计【身高、体重、握力、百米跑步速度】这几位特征维度用于检测学校男生还是女生，显然样本集在这种特征空间上是明显可分的。在特征工程的阶段就得到一个明显可分的样本集是非常值得高兴的，因为这意味着我们的项目已经成功了90%，接下来的工作即使用随机森林可能也能得到非常好的分类结果。
3. 在贝叶斯推断中使用特定先验概率分布函数
4. 模型参数初始化时人工设定特定的初始化值

1. 思考gamma函数这类函数被发明的最早的原因，是因为其可以作为某个物理现象或当时的实际问题的数学模型；
2. 理论上，任意一个非负的可积函数，你都可以通过变换变成某个分布的密度函数；
3. 数学领域有句名言，数学是解开宇宙秘密的一把钥匙，很多数学公式，你第一眼看到就会从心底产生一个感觉，哇！好美啊！好工整好对称啊！这类数学模型往往可以抽象概括一大类物理现象，因此很自然地被作为先验模型使用。

伽玛分布（Gamma Distribution）是统计学的一种连续概率函数，记为，是一个正实数的随机变量，它是概率统计中一种非常重要的分布。

除了标量的随机变量之外，随机变量还可以是矩阵形式的！具体地说，威沙特分布是所有半正定矩阵的分布。

合适的协方差矩阵是正定的，因此该威沙特分布是一个协方差矩阵的适当的先验，我们在下图中，绘制一个来自 4 x 4 和 15 x 15 威沙特分布的某些实现

0x8：各个分布之间的推演和转化关系：

0x1：通过乘积公式体现数据量和先验分布对后验估计的动态制衡作用

在机器学习中有一个被广泛接受的观点，我们拥有的数据越多、数据量越多，先验就越不重要，这是符合直觉的。毕竟，我们的先验也是基于以前的信息，足够多的新信息完全可以替代我们以前信息的价值，因为规律永远蕴含在数据中，只要拥有数据，就可以不断从中提取出信息。

同时，足够多的数据对先验的修正也是有帮助的，如果我们的先验明确是错误的，那么数据的自我修正性质将呈现给我们一个不那么错的后验估计结果。

我们可以从数学上阐述上面的观点。给定数据集 X，对参数 θ 的后验分布可以写作：

对数似然函数会随着样本量而变化，因为它是数据的一个函数；

但是先验的密度函数不会随着数据而变化；

因此，当样本量增加时，的绝对值会变大，但保持不变。

因此，随着样本量增加，整体函数更多地受到的影响，所选择的先验的影响会变小。

因此，只要非零概率的区域是相同的，那么推断的收敛和先验无关。

0x2：选择退化的先验

只要先验在某个区域有非零的概率，通过N数据量的训练后，后验就可以在这个区域有任何可能的概率。

但是！当某个区域先验概率初始值为0时，无论输入多少的数据，后验都无法在这个区域得到任何概率了。从数学公式上很容易理解，这是由于乘法的性质决定的。

我们用一个小实验来说明，假设我们的数据是伯努利分布，我们希望估计p（成功的概率），我们现在选择一个”不合适“的先验 Uniform（0.5，1），这里说不合适是应该我们事先知道了数据的实际分布，真实项目场景中当然不可能有这种好事，这里仅仅是为了说明先验分布选错了会带来什么影响。

我们已知了数据的真实分布，但是我们选的先验在真实值0.35处的概率为0，我们来看下mcmc推断的结果会如何：

从上图中可以看到，后验分布大量堆积在先验的下界。在数据的作用下，后验分布在”极力“靠近真值，但是因为先验分布的下界之外是0概率，后验概率无法改变。

如果在实际项目中看到了类似的情况，很有可能说明你的先验假设不太正确。

0x3：一个例子说明数据对先验的修正作用

下面通过一个例子来说明本小节观点。考察两个二项分布参数 θ 的后验的收敛，一个是扁平先验，一个是朝着 0 偏移的先验。当样本量增加时，它们的后验收敛，因此其推断也收敛。

假设你面对10台游戏机机（多臂游戏机）。每台游戏机会以某种概率发奖金，每台游戏机的奖金相同，只是概率不同。有些游戏机非常大方，有些则很少。当然，游戏参与者事先不知道这些概率。

我们每次仅能选择一个游戏机，我们的任务是制定一个策略，赢取最多的奖金。

当然，如果我们知道哪台游戏机拥有最大的概率，然后总是挑这台，必定会产生最多的奖金。因此，我们的任务可以表述为”尽快找出最好的游戏机“。

该任务因为游戏机的随机性而变得复杂，在偶然情况下，次优的游戏机也可以返回许多奖金，这可能使得我们相信，这就是最优的那台。同样，在偶然的情况下，最好的游戏机也可能返回很低的奖金。

我们是应该继续尝试那台在本轮失败的机器，还是放弃挑选另一台？

一个更为棘手的问题是，如果我们发现了一台返回奖金相当不错的游戏机，我们是继续依靠它维持我们相当不错的成绩，还是尝试其他机器以期找到一个更好的游戏机？

这就是著名的探索与利用困境。

0x2：该问题的现实意义

探索与利用困境并不是数学家虚构的数字游戏，它在我们的日常生产生活中处处可见。

1. 互联网展示广告：公司有一系列可以展示给潜在客户的广告，但该公司并不清楚要遵循哪些广告策略，以最大限度地提高销售。
2. 生态学：动物只有有限的能量用于耗费，而且某些行为带来的回报是不确定的。动物如何最大化其适应度？
3. 金融：在随时间变化的回报量中，哪些股票期权能给出最高的回报？
4. 临床试验：一位研究人员希望在众多的方案中找出最好的治疗方案，同时最大限度地减少损失。
5. 心理学：赏罚如何影响我们的行为？人类如何学习？

该算法开始于一个完全无知的状态，它什么都不知道，并开始通过测试系统来获取数据。在获取数据和结果上，它可以学习什么是最好的和最差的行为。 

贝叶斯解决方案首先假定每个游戏机发奖金的先验概率。因为我们假定对这些概率完全无知，所以自然的，我们采用0到1的扁平分布（Beta分布）。

我们将10台游戏机抽象为x轴上【0，9】10个坐标数字，对应的，每个游戏机本轮的抽奖结果作为y值，这样，所有游戏机的抽奖作为就【x，y】坐标化了。

1. 首轮游戏：对所有游戏机（这里N=10台）设定一个扁平先验，也即初始化阶段是零知识的，对10台游戏机随机进行一次抽取即可；
2. 获取本轮样本数据：选择本轮抽取中，样本值最高的游戏机 b，即选择 B = argmax Xb，根据那个样本值最高的游戏机 b 的样本结果，作为本轮试验的样本数据，【x，y】，x代表第几胎游戏机，y代表对应的值。
3. 更新后验：基于本轮的样本数据【x，y】更新先验分布，这可以理解为一个后验修正过程；
 

这个算法包含的思想是：我们不应该直接放弃目前结果不理想的游戏机，而是随着我们建立的信念认为还有更好的游戏机，应该以一定的下降概率去选择它们。随着玩的次数逐渐增多，不好的游戏机的概率会下降，好的游戏机的概率会上升。

3. MCMC推断所有游戏机的发奖率后验分布

我们在代码中人工设定的真值隐含概率为：[0.85, 0.60, 0.75]。

请注意，我们并不是真正关心对隐含概率的精确估计，这点和机器学习中的回归预测是不同的。

我们更感兴趣的是选择最好的游戏机，或者更准确地说，更有信心地选择最好的游戏机。

出于这样的原因，红色游戏机的分布很宽，这代表了我们对隐含概率所知甚少，即从样本数据中提取到的信息有限，或者说样本数据给我们的先验带来的熵减很小。我们有充足的理由相信，红色游戏机不是最好的，所以选择忽略它。

另一方面，经过1000轮之后，大多数蓝色游戏机遥遥领先，因此我们几乎总是选择这台游戏机。这是一件好事，因为它经常能带来较好的回报。

上一小节我们得到所有游戏机的后验概率分布，也大致知道了该如何选游戏机，但这是不够的。我们的目标不是玩数字游戏，我们的目标是确确实实地给出一个可以落地执行的游戏机选择策略，类似这样的，【蓝色，蓝色，绿色，蓝色.....蓝色】这种序列。

要回答这个问题，就需要在概率分布和实际问题之间搭起一个桥梁，即损失函数，通过损失函数的数值化评估来得出最佳的后验策略。

我们需要一个指标来计算我们做的如何。理论上说，绝对最好的方法是始终挑那个获胜概率最大的游戏机。

记这台最好的游戏机的赢的概率为Wopt，我们可以定义一个理论的总遗憾，表示如果从一开始就选择最好的游戏机，和我们每轮实际选择的游戏机，这两种选择之间在收益上的差距。

在此公式中，Wb(i) 是所选游戏机在第 i 轮出奖的概率。

很显然，总遗憾为0意味着该策略获得最好的成绩，但这几乎是不太可能的，因为一开始我们的算法往往会做出错误或者不那么好的选择，只是随着轮数的增加，算法做出正确选择的概率逐渐增大。

理想情况下，总遗憾应该扁平化，因为它逐渐学习到最好的游戏机，即找到最好的后验分布对应的游戏机，这意味着我们常常能收敛到 Wb(i) = Wopt。

我们已经可以得到不同游戏机的后验分布，这可以作为每轮选择的参考，但具体怎么选，依赖于我们选择的游戏策略。同时我们也有了损失评估函数，可以实时地看到每一轮选择后的损失。

在下面的代码中，我们对比了在不同的游戏策略下，总遗憾的函数曲线：

1. 随机：顾名思义，类似于丢色子，这显然不明智，如果用随机策略，就没必要费那么大劲去统计样本以及计算游戏机的后验分布了；
2. 贝叶斯的最大置信边界：选择底层概率的95%置信区间的最大上界的游戏机；
3. 贝叶斯-UCB算法：选择有最大得到的游戏机，其中得分是一个动态的后验分布的分位数；
4. 后验均值：选择具有最大后验均值的游戏机；
5. 最大比例：选择目前观测到的赢的比例最大的游戏机；

从上图中可以看到，除了随机和后验均值策略之外，其他策略的总遗憾是逐渐收敛的，这表示了我们正在实现较优的选择。

上个小节中，我们已经得到了3种游戏策略，都在总遗憾函数上呈现出了收敛的趋势。但是为了更科学，以消除任何可能的运气成分，我们应该看一下总遗憾期望。它定义为所有可能场景的总遗憾的期望值：

可以证明，任何次优策略的总遗憾期望都有对数形式的下界（从原始函数对数形式收敛来理解）。形式为：

因此，任何符合对数增加遗憾的策略，都可以称之为解决了多臂游戏机问题。

使用大数定理，我们可以通过进行很多次同样的实验来近似贝叶斯游戏机的总遗憾期望。

为了对不同策略间的差异性有一个更好的比较，我们在对数尺度中绘制了函数图：

我们能够通过加入一个学习速率项（就像深度学习中那样），促进该算法更快地更新去学习变化的环境

1. 如果rate<1，则该算法将更快地忘记先前的获胜，并且会有一个走向无知的下行压力；
2. 如果rate>1，则意味着算法将以风险较高的方式运行，而且更经常地把赌注压在早期赢的游戏机上，对不断变化的环境更有韧性；

我们可以在较小的游戏机算法之上再建立一个贝叶斯游戏机算法。即再建立一个贝叶斯游戏机模型，用于选择选择哪个子模型。原理上类似决策树和随机森林的概念。