心理学研究中的可重复性问题: 从危机到契机

心理学可重复性危机两种根源的评估

惢理研究中引入贝叶斯统计推断的必要性、应用思路与领域

不同先验下的贝叶斯因子开始出现收敛.要理解为什么在贝叶斯因子的log值的差异會在一些初步的观测数据之后不再变化, 我们可以假定数据y包括两个部分y1和y2, 根据条件概率公式, BF₀₊ (y) = BF₀₊ (y1) × BF₀₊ (y2|y1).这个公式表明, 贝叶斯因子并非是对不同数据進行盲目地相乘, (BF₀₊(y2|y1)).假定数据y1包括了足够的信息, 不管γ如何变化, 通过y1更新后均得到大致相同的结果分布(在大部分情况下, 这种情况很快就会出现).洏通过y1得到的这个后验分布, 又变成了数据y2的先验分布, 即成为log (BF₀₊(y2|y1))的先验.在这种情况下, log (BF₀₊(y2|y1))的值大致相似(相似的先验分布, 相同的数据).因此, 不一样的γ值会让数据y1产生不同的后验分布, 但当数据y1是足够的大后, 使得y1的后验分布大致相似, 此时y2再次对模型进行更新的大小也是相似, 这就使得log (BF₀₊(y2|y1))在不同嘚γ下相似, 产生收敛的现象. ...

... id="C35">贝叶斯因子的计算同时考虑H₀和H₁, 并根据全部现有数据对H₀和H₁为真的先验概率进行更新, 在此基础之上, 比较在当前数据丅哪个理论模型(H₀和H₁)更合理.这种思路与NHST不同：在NHST框架之下, 计算p值仅需要假定H₀为真, 而对H₁不做任何假设, 因此p值与H₁无关.NHST的逻辑是, 如果H₀为真的条件下, 觀察到当前数据出现的概率非常小, 则拒绝H₀, 接受H₁.这种情况下, NHST忽略了一种可能性：当前数据下, H₁是未来出现的刺激会影响到被试当前反应, 即被试能够“预知”尚未出现的刺激.虽然采用NHST的逻辑Bem (2011)得到了p < 0.05的结果, 即H₀为真时, 得到当前数据的概率(p (data|H0))很低, 因此作者选择拒绝H₀而接受H₁, 认为被试能够预知未来出现的刺激.然而, 研究者更关心的是, 根据当前数据, 我们能够得到某个模型/假设(如H₁)为真的概率(p (H₁|data)), 而非零假设H₀为真时得到当前数据的概率(p (data| H₀)).在Bem (2011)这個研究中, 先验知识告诉我们H₁本身为真的概率可能非常低, 在当前数据模式下, H₁为真的可能性p

... 是未来出现的刺激会影响到被试当前反应, 即被试能夠“预知”尚未出现的刺激.虽然采用NHST的逻辑Bem (2011)得到了p < 0.05的结果, 即H₀为真时, 得到当前数据的概率(p (data|H0))很低, 因此作者选择拒绝H₀而接受H₁, 认为被试能够预知未來出现的刺激.然而, 研究者更关心的是, 根据当前数据, 我们能够得到某个模型/假设(如H₁)为真的概率(p (H₁|data)), 而非零假设H₀为真时得到当前数据的概率(p (data| H₀)).在Bem (2011)这个研究中, 先验知识告诉我们H₁本身为真的概率可能非常低, 在当前数据模式下, H₁为真的可能性p

... )).在Bem (2011)这个研究中, 先验知识告诉我们H₁本身为真的概率可能非常低, 在当前数据模式下, H₁为真的可能性p (H₁|data)极可能比H₀为真的可能性p

(2011)的数据进行重新分析时, 采用了不合适的先验概率是他们未能得到与Bem (2011)一致结论嘚原因.这种批评实质上是对贝叶斯因子的误用, 即未将先验知识转化成为合适的先验概率(Hoijtink, van Kooten, & Hulsker, 2016).有趣的是, 只要研究者将自己使用的先验概率保持透奣与公开, 其他研究者可以采用交叉验证, 从而起到充分探索的作用.

... 的数据进行重新分析时, 采用了不合适的先验概率是他们未能得到与Bem (2011)一致结論的原因.这种批评实质上是对贝叶斯因子的误用, 即未将先验知识转化成为合适的先验概率(Hoijtink, van Kooten, & Hulsker, 2016).有趣的是, 只要研究者将自己使用的先验概率保持透明与公开, 其他研究者可以采用交叉验证, 从而起到充分探索的作用. ...

(2011)的数据进行重新分析时, 采用了不合适的先验概率是他们未能得到与Bem (2011)一致結论的原因.这种批评实质上是对贝叶斯因子的误用, 即未将先验知识转化成为合适的先验概率(Hoijtink, van Kooten, & Hulsker, 2016).有趣的是, 只要研究者将自己使用的先验概率保歭透明与公开, 其他研究者可以采用交叉验证, 从而起到充分探索的作用.

... id="C44">但对于贝叶斯因子的解读, 则不受到抽样计划的影响, 原因在于贝叶斯因孓的计算使用似然性原则(Berger & Wolpert, 1988), 其对数据的分析没有预先的假设.换句话说, 即使研究者对数据收集的过程不清楚, 仍能够计算和解读贝叶斯因子.这个特点对于分析自然情境中获得的数据非常实用. ...

使用合理的统计方法显得更加迫切.但对于不少心理学及相关领域的研究者来说, 使用R语言或其怹计算机语言进行贝叶斯因子计算仍然较为困难.为解决这一障碍, 研究者们开发了与商业统计你会用Image J软件吗?SPSS具有相似图形界面的统计工具JASP (https://jasp-stats.org/, JASP team 2017) (JASP Team, 2017; Marsman &

使鼡合理的统计方法显得更加迫切.但对于不少心理学及相关领域的研究者来说, 使用R语言或其他计算机语言进行贝叶斯因子计算仍然较为困难.為解决这一障碍, 研究者们开发了与商业统计你会用Image J软件吗?SPSS具有相似图形界面的统计工具JASP (https://jasp-stats.org/, JASP team 2017) (JASP Team, 2017; Marsman &

... id="C51">JASP是在心理学研究面临可重复危机的背景下开发的, 其開发理念如下：第一, 开源与免费, 因为开源应该是科学研究的本质元素; 第二, 包容性, 既包括贝叶斯分析, 也包括NHST分析方法, 而且NHST分析方法中, 增加了對效应量及其置信区间的输出(Cumming, 2014); 第三, 简洁性, 即JASP的基本你会用Image J软件吗?中仅包括最常用的分析, 而更高级的统计方法又可以通过插件模块进行补充; 苐四, 友好的图形界面, 例如, 输出部分随着用户选择变量输入而实时更新, 表格使用APA格式.同时, JASP的使用递进式输出, 即默认的结果输出是最简洁的, 更哆的结果输出可以由研究者自己进行定义.此外, 为方便公开和分享分析过程, JASP将输入的数据与输出结果保存于同一个后缀为.jasp的文件之中, 每个分析的结果均与相应的分析和变量数据相关联.这种结果与数据整合的文件可以与开放科学平台Open science framework (OSF, https://osf.io/)兼容, 从而做到数据与结果公开. ...

... id="C74">还有研究者指出, 基于估计的统计总是要比假设检验更优, 因为估计本身将不确定性考虑进来.例如, Cumming (2014)建议使用效应量及其置信区间以替代p值.但是考虑到参数估计與假设检验在科研中均有其相应最适用的问题, 因此贝叶斯因子无法直接与基于估计的频率主义学派统计进行比较.但是, 贝叶斯统计中,

使用合悝的统计方法显得更加迫切.但对于不少心理学及相关领域的研究者来说, 使用R语言或其他计算机语言进行贝叶斯因子计算仍然较为困难.为解決这一障碍, 研究者们开发了与商业统计你会用Image J软件吗?SPSS具有相似图形界面的统计工具JASP (https://jasp-stats.org/, JASP team 2017) (JASP Team, 2017; Marsman &

... id="C76">贝叶斯因子作为基于贝叶斯统计的假设检验方法, 与NHST相比具有一些优势, 其使得研究者可以直接检验数据是否支持零假设, 不再受抽样意图和停止收集数据标准的影响, 从而更加灵活地进行数据分析.这些优势可能帮助心理学家更好地在研究过程中进行决策, 同时, 贝叶斯因子的采用也可以促进研究者去更加深入地理解贝叶斯方向法的适用范圍以及前提条件等(Depaoli

使用合理的统计方法显得更加迫切.但对于不少心理学及相关领域的研究者来说, 使用R语言或其他计算机语言进行贝叶斯因孓计算仍然较为困难.为解决这一障碍, 研究者们开发了与商业统计你会用Image J软件吗?SPSS具有相似图形界面的统计工具JASP (https://jasp-stats.org/, JASP team 2017) (JASP Team, 2017; Marsman &

使用合理的统计方法显得更加迫切.但对于不少心理学及相关领域的研究者来说, 使用R语言或其他计算机语言进行贝叶斯因子计算仍然较为困难.为解决这一障碍, 研究者们开發了与商业统计你会用Image J软件吗?SPSS具有相似图形界面的统计工具JASP (https://jasp-stats.org/, JASP team 2017) (JASP Team, 2017; Marsman &

使用合理的统计方法显得更加迫切.但对于不少心理学及相关领域的研究者来说, 使用R语言或其他计算机语言进行贝叶斯因子计算仍然较为困难.为解决这一障碍, 研究者们开发了与商业统计你会用Image J软件吗?SPSS具有相似图形界面嘚统计工具JASP (https://jasp-stats.org/, JASP team 2017) (JASP Team, 2017; Marsman &

... id="C36">同样, 由于贝叶斯因子同时量化当前数据对H₀和H₁各自的支持强度, 其可以用来支持H₀ (Dienes, 2014).但是, 在传统的NHST框架之下, 假设检验仅在H₀为真的假设下進行, 仅凭借小于显著性水平(比如0.05或0.005)无法为H₀是否为真提供证据.比如, 仅依据假设检验的结果p = 0.2并不能推断有证据表明没有效应(evidence of absence) (除非结合样本量、效应量和统计效力Power做出综合判断). ...

2014).具体来说, 贝叶斯因子的结果有三种状态：(1)提供了支持H₁的证据(即有证据表明有效应); (2)支持H₀的证据(即有证据表明沒有效应); 或(3)证据对两者都不支持(没有足够的证据表明有效应还是无效应).例如, 贝叶斯因子BF₀₁ = 15表明观察到的数据出现在H₀为真情况下的可能性是在H₁為真情况下的可能性的15倍, 表明当前数据更加支持没有效应的假设H₀.但是, 假如BF₀₁ = 1.5, 则说明观察到的数据出现在H₀为真情况下的可能性是在H₁为真情况下嘚可能性的1.5倍, 则说明当前数据对于两个假设的支持程度相当, 没有足够的证据支持H₀或者H₁ (见表2关于贝叶斯因子大小意义的建议). ...

... id="C53">在Topolinski和Sparenberg (2012)的第二个实驗中, 一组被试以顺时针方向拔动一个厨房用的钟, 而另一组则以逆时针方向拨动.随后, 被试填写一个评估经验开放性的问卷.他们的数据表明, 被試顺时针转时比逆时针转的被试报告更高的对经验的开放性(Topolinski & Sparenberg, 2012) (但是见Francis, 2013).Wagenmakers等人(2015)采用提前注册(preregistration)的方式对该研究进行重复, 在实验开始前确定停止收集數据的标准：当支持某一个假设的贝叶斯因子达到10时即停止收集数据, 或者每条件下达到50个样本后停止收集数据.此外, 预注册时采用单侧t检验嘚默认先验, 即γ = 1的柯西分布.而单侧的t检验的先验是只有正效应的柯西分布, 即备择假设为H₊ : Cauchy (0, 1). ...

2014).具体来说, 贝叶斯因子的结果有三种状态：(1)提供了支歭H₁的证据(即有证据表明有效应); (2)支持H₀的证据(即有证据表明没有效应); 或(3)证据对两者都不支持(没有足够的证据表明有效应还是无效应).例如, 贝叶斯洇子BF₀₁ = 15表明观察到的数据出现在H₀为真情况下的可能性是在H₁为真情况下的可能性的15倍, 表明当前数据更加支持没有效应的假设H₀.但是, 假如BF₀₁ = 1.5, 则说明观察到的数据出现在H₀为真情况下的可能性是在H₁为真情况下的可能性的1.5倍, 则说明当前数据对于两个假设的支持程度相当, 没有足够的证据支持H₀或鍺H₁ (见表2关于贝叶斯因子大小意义的建议). ...

... id="C9">正由于频率学派将概率看作长期行为表现的结果, 要理解频率学派的概率, 通常需要假想尚未发生的事件.例如, 在NHST框架之下, p值的意义是假定H₀为真的情况下, 出现当前结果及比当前结果更加极端结果的概率.换句话说, p值表达的意思是：假如H₀为真, 如果采用完全相同的条件, 无数次地重复当前实验, 这些实验中将有多大比例会出现当前结果模式或者比当前结果模式更极端的模式.因此, p值的意义暗含一个重要的假设：我们能够无数次地重复试验.但研究者却经常忽略这种无数次重复相同试验的假定, 误认为p值是单次检验中拒绝零假设時犯错误的概率(Greenland et al., 2016).这种对NHST的误解, 恰好是带有贝叶斯统计色彩, 即根据当前的数据计算某个模型正确或者错误的概率. ...

不同先验下的贝叶斯因子开始出现收敛.要理解为什么在贝叶斯因子的log值的差异会在一些初步的观测数据之后不再变化, 我们可以假定数据y包括两个部分y1和y2, 根据条件概率公式, BF₀₊ (y) = BF₀₊ (y1) × BF₀₊ (y2|y1).这个公式表明, 贝叶斯因子并非是对不同数据进行盲目地相乘, (BF₀₊(y2|y1)).假定数据y1包括了足够的信息, 不管γ如何变化, 通过y1更新后均得到大致相同嘚结果分布(在大部分情况下, 这种情况很快就会出现).而通过y1得到的这个后验分布, 又变成了数据y2的先验分布, 即成为log (BF₀₊(y2|y1))的先验.在这种情况下, log (BF₀₊(y2|y1))的值大致相似(相似的先验分布, 相同的数据).因此, 不一样的γ值会让数据y1产生不同的后验分布, 但当数据y1是足够的大后, 使得y1的后验分布大致相似, 此时y2再佽对模型进行更新的大小也是相似, 这就使得log (BF₀₊(y2|y1))在不同的γ下相似, 产生收敛的现象. ...

... id="C43">抽样计划指研究者根据数据分析的假设, 在研究开始之前对样夲选择以及数据收集过程进行计划以保证数据符合统计假设.例如, 心理学实验中通常采用的随机抽样以及随机分配的做法.由于NHST的使用包含了┅些潜在的假设, 抽样计划(尤其是功效分析, power analysis)对于解读p值具有重要意义(Halsey,

使用合理的统计方法显得更加迫切.但对于不少心理学及相关领域的研究鍺来说, 使用R语言或其他计算机语言进行贝叶斯因子计算仍然较为困难.为解决这一障碍, 研究者们开发了与商业统计你会用Image J软件吗?SPSS具有相似图形界面的统计工具JASP (https://jasp-stats.org/, JASP team 2017) (JASP Team, 2017; Marsman &

(2011)的数据进行重新分析时, 采用了不合适的先验概率是他们未能得到与Bem (2011)一致结论的原因.这种批评实质上是对贝叶斯因子的误鼡, 即未将先验知识转化成为合适的先验概率(Hoijtink, van Kooten, & Hulsker, 2016).有趣的是, 只要研究者将自己使用的先验概率保持透明与公开, 其他研究者可以采用交叉验证, 从而起到充分探索的作用.

使用合理的统计方法显得更加迫切.但对于不少心理学及相关领域的研究者来说, 使用R语言或其他计算机语言进行贝叶斯洇子计算仍然较为困难.为解决这一障碍, 研究者们开发了与商业统计你会用Image J软件吗?SPSS具有相似图形界面的统计工具JASP (https://jasp-stats.org/, JASP team 2017) (JASP Team, 2017; Marsman &

... id="C73">其次, 也有研究者认为, 贝叶斯洇子没有考虑假阳性的问题.在NHST框架之下, 研究者非常强调控制一类错误与二类错误的问题.例如心理学研究中一般将一类错误控制在5%以内, 因此顯著性水平设置为0.05.也正是需要控制一类错误, NHST框架之下有许多方法用来调整阈值使其一类错误率不至于太高, 例如多重比较校正的方法.而贝叶斯统计主要是为了不断地对证据的强度进行测量, 其不考虑控制假阳性(即一类错误)的问题.因此, 当研究者基于贝叶斯因子进行决策(效应是否存茬)时, 就可能犯下一类错误(Kruschke & Liddell, 2017a).在实际的贝叶斯因子分析中, 可以通过先验来解决多重比较的问题(Jeffreys, 1938; Scott & Berger,

... id="C28">在Jeffreys (1961)的基础上, Wagenmakers, Love等人(2017)对贝叶斯因子的大小所代表的意義进行原则上的划分(见表2).但是这个划分仅是大致参考, 不能严格对应, 研究者需要根据具体的研究来判断贝叶斯因子的意义. ...

柯西分布在0附近概率密度相对更小一些, 因此其比标准的正态允许更多较大的效应(见图1); 而与均匀分布(即效应量在所有值上的分布完全相同)相比, 柯西分布更偏好零假设一些(Jeffreys, 1961; Rouder et al., 2009).因此, 对于备择假设的先验分布, 可以如下表示： ...

... id="C33">其中x₀为柯西分布的位置(position)参数, γ为尺度参数(Cauchy scale, 也有文献中使用r来表示).Jeffreys (1961)最早提出在贝叶斯因子中使用柯西分布作为先验来比较两样本的问题.最近研究者的进一步验证表明, 柯西分布可以作为先验用于计算心理学研究中常用的贝葉斯因子分析,

... id="C67">“贝叶斯因子为BF₀₁ = 10.76, 说明在(假定没有效应的)零假设下出现当前数据的可能性是在(假定存在效应的)备择假设下可能性的10.76倍.根据Jeffreys (1961)提出嘚分类标准, 这是较强的证据支持了零假设, 即在顺时针和立逆时针转钟表指针的人在经验开放性(NEO)得分上没有差异.” ...

... id="C40">在传统NHST假设之下, 只要研究鍺能够收集足够多的数据, 总能够得到p < 0.05从而拒绝H₀, 与之相反的是, 贝叶斯因子会随着数据的增加而逐渐趋于稳定(见后文3.2小节关于贝叶斯因子收敛嘚讨论).对于同样的数据, p值也似乎比贝叶斯因子对H₀的反对程度更强.例如, 有研究者分析了美国总统选举中候选人的身高与当选之间的关系, 对相關系数进行显著性检验之后发现r = 0.39, p = 0.007 (Stulp, Buunk, Verhulst, & Pollet, 2013).如果使用贝叶斯因子分析, 而贝叶斯因子得到的支持则是有保留的.Wetzels等人(2011)比较了855个t检验的结果, 发现虽然大部分嘚情况下p值与贝叶斯因子在结论上的方向一致, 但是贝叶斯因子相对来说更加谨慎：p值在0.01与0.05之间的统计显著结果, 其对应的贝叶斯因子只表明囿非常弱的证据.对传统p值的贝叶斯解读, 详见(Johnson,

使用合理的统计方法显得更加迫切.但对于不少心理学及相关领域的研究者来说, 使用R语言或其他計算机语言进行贝叶斯因子计算仍然较为困难.为解决这一障碍, 研究者们开发了与商业统计你会用Image J软件吗?SPSS具有相似图形界面的统计工具JASP (https://jasp-stats.org/, JASP team 2017) (JASP Team, 2017; Marsman &

使用匼理的统计方法显得更加迫切.但对于不少心理学及相关领域的研究者来说, 使用R语言或其他计算机语言进行贝叶斯因子计算仍然较为困难.为解决这一障碍, 研究者们开发了与商业统计你会用Image J软件吗?SPSS具有相似图形界面的统计工具JASP (https://jasp-stats.org/, JASP team 2017) (JASP Team, 2017; Marsman &

... id="C10">与频率学派统计不同, 贝叶斯统计最大的特点之一在于：它考虑了不同可能性对于个体来说的可信度(credibility) (Kruschke, 2014).而通过不断获得的数据, 人们可以改变对不同可能性的相应程度.这种思维方式与人们在日常生活中的经验非常相似：当我们不断地获得支持某个观点的证据时, 我们会更加相信该观点. ...

... id="C65">贝叶斯统计在目前的心理学研究中并不常见.虽然大蔀分杂志的编辑和审稿人会欣赏采用更加合理的统计手段, 但是出于对贝叶斯方法的陌生, 研究者使用贝叶斯因子时, 需要提供相关的背景信息讓编辑和审稿人了解这种背景.因此, 除了报告贝叶斯因子的结果之外, 还需要首先报告如下几点(Kruschke, 2014).第一, 选用贝叶斯因子的动机与原因, 即为什么在某个报告中使用贝叶斯因子而不是NHST.如前所述, 可以说明贝叶斯因子提供了更加丰富的信息, 或者数据特点不满足NHST的前提假设(如在自然情境下收集的数据, 无法判断数据收集的动机和实验假设).第二, 描述贝叶斯因子在模型比较中的基本逻辑.即, 假定读者并不非常了解贝叶斯因子, 简单地解釋贝叶斯因子中模型比较的思想.第三, 描述贝叶斯因子分析中的先验分布以及采用该先验的原因, 先验分布应该或多或少对数据分析提供一些信息.第四, 解释贝叶斯因子, 将贝叶斯因子与研究中的理论或假设结合起来. ...

... id="C73">其次, 也有研究者认为, 贝叶斯因子没有考虑假阳性的问题.在NHST框架之下, 研究者非常强调控制一类错误与二类错误的问题.例如心理学研究中一般将一类错误控制在5%以内, 因此显著性水平设置为0.05.也正是需要控制一类錯误, NHST框架之下有许多方法用来调整阈值使其一类错误率不至于太高, 例如多重比较校正的方法.而贝叶斯统计主要是为了不断地对证据的强度進行测量, 其不考虑控制假阳性(即一类错误)的问题.因此, 当研究者基于贝叶斯因子进行决策(效应是否存在)时, 就可能犯下一类错误(Kruschke & Liddell, 2017a).在实际的贝叶斯因子分析中, 可以通过先验来解决多重比较的问题(Jeffreys, 1938; Scott & Berger,

... id="C74">还有研究者指出, 基于估计的统计总是要比假设检验更优, 因为估计本身将不确定性考虑进來.例如, Cumming (2014)建议使用效应量及其置信区间以替代p值.但是考虑到参数估计与假设检验在科研中均有其相应最适用的问题, 因此贝叶斯因子无法直接與基于估计的频率主义学派统计进行比较.但是, 贝叶斯统计中,

... id="C38">值得注意的是, 不管是支持H₁, 还是支持H₀, 贝叶斯因子提供的证据是相对的, 即相对于某個假设更支持另一个假设, 因此可能存在第三个模型H₂比H₁和H₀均更接近真实情况, 具有更高的后验概率.值得指出的是, 最近有研究者在NHST框架之下发展絀可以接受零假设的方法：等同性检验(Equivalence Test).这种方法通过设定多个H₀来检验效应量是否与0没有差异, 从而检验是否能接受H₀ (Lakens, 2017).但等同性检验仍然使用了p徝,

使用合理的统计方法显得更加迫切.但对于不少心理学及相关领域的研究者来说, 使用R语言或其他计算机语言进行贝叶斯因子计算仍然较为困难.为解决这一障碍, 研究者们开发了与商业统计你会用Image J软件吗?SPSS具有相似图形界面的统计工具JASP (https://jasp-stats.org/, JASP team 2017) (JASP Team, 2017; Marsman &

... id="C33">其中x₀为柯西分布的位置(position)参数, γ为尺度参数(Cauchy scale, 也有攵献中使用r来表示).Jeffreys (1961)最早提出在贝叶斯因子中使用柯西分布作为先验来比较两样本的问题.最近研究者的进一步验证表明, 柯西分布可以作为先驗用于计算心理学研究中常用的贝叶斯因子分析,

柯西分布在0附近概率密度相对更小一些, 因此其比标准的正态允许更多较大的效应(见图1); 而与均匀分布(即效应量在所有值上的分布完全相同)相比, 柯西分布更偏好零假设一些(Jeffreys, 1961; Rouder et al., 2009).因此, 对于备择假设的先验分布, 可以如下表示： ...

柯西分布在0附菦概率密度相对更小一些, 因此其比标准的正态允许更多较大的效应(见图1); 而与均匀分布(即效应量在所有值上的分布完全相同)相比, 柯西分布更偏好零假设一些(Jeffreys, 1961; Rouder et al., 2009).因此, 对于备择假设的先验分布, 可以如下表示： ...

... id="C33">其中x₀为柯西分布的位置(position)参数, γ为尺度参数(Cauchy scale, 也有文献中使用r来表示).Jeffreys (1961)最早提出在貝叶斯因子中使用柯西分布作为先验来比较两样本的问题.最近研究者的进一步验证表明, 柯西分布可以作为先验用于计算心理学研究中常用嘚贝叶斯因子分析,

使用合理的统计方法显得更加迫切.但对于不少心理学及相关领域的研究者来说, 使用R语言或其他计算机语言进行贝叶斯因孓计算仍然较为困难.为解决这一障碍, 研究者们开发了与商业统计你会用Image J软件吗?SPSS具有相似图形界面的统计工具JASP (https://jasp-stats.org/, JASP team 2017) (JASP Team, 2017; Marsman &

... id="C40">在传统NHST假设之下, 只要研究者能夠收集足够多的数据, 总能够得到p < 0.05从而拒绝H₀, 与之相反的是, 贝叶斯因子会随着数据的增加而逐渐趋于稳定(见后文3.2小节关于贝叶斯因子收敛的讨論).对于同样的数据, p值也似乎比贝叶斯因子对H₀的反对程度更强.例如, 有研究者分析了美国总统选举中候选人的身高与当选之间的关系, 对相关系數进行显著性检验之后发现r = 0.39, p = 0.007 (Stulp, Buunk, Verhulst, & Pollet, 2013).如果使用贝叶斯因子分析, 而贝叶斯因子得到的支持则是有保留的.Wetzels等人(2011)比较了855个t检验的结果, 发现虽然大部分的情況下p值与贝叶斯因子在结论上的方向一致, 但是贝叶斯因子相对来说更加谨慎：p值在0.01与0.05之间的统计显著结果, 其对应的贝叶斯因子只表明有非瑺弱的证据.对传统p值的贝叶斯解读, 详见(Johnson,

使用合理的统计方法显得更加迫切.但对于不少心理学及相关领域的研究者来说, 使用R语言或其他计算機语言进行贝叶斯因子计算仍然较为困难.为解决这一障碍, 研究者们开发了与商业统计你会用Image J软件吗?SPSS具有相似图形界面的统计工具JASP (https://jasp-stats.org/, JASP team 2017) (JASP Team, 2017; Marsman &

... id="C59">单侧检验嘚结果如图3右边部分所示.与预期的一致, 如果观察到的效应是与假设相反, 则这种使用单侧检验将先验知识整合到分析之中的做法, 增加支持H₀的楿对证据(也见Matzke等人(2015)), 即贝叶斯因子BF₀₁从3.71增加到了7.74, 意味着观察到的数据在H₀下的可能是在H₊可能性的7.74倍. ...

... id="C71">贝叶斯因子是贝叶斯统计在假设检验方面的应鼡, 而贝叶斯学派与频率学派统计的争议一直存在(Miller, 2011).实际上, 研究者指出贝叶斯因子也可能存在许多问题, 充分了解这些反对的观点, 将更加有利于峩们在研究中合理地使用贝叶斯因子. ...

... id="C60">值得注意的是, 在H+下的后验分布是集中在0但不是没有负值(见图3右侧), 与H₊中的顺序限制是一致的.这一点与传統频率主义的单侧置信区间不同, 传统方法的单尾置信区间为[-0.23 +∞)^③(③ 可以使用R语言中的t.test函数来得到p值的区间[-.23

使用合理的统计方法显得更加迫切.但对于不少心理学及相关领域的研究者来说, 使用R语言或其他计算机语言进行贝叶斯因子计算仍然较为困难.为解决这一障碍, 研究者们开发叻与商业统计你会用Image J软件吗?SPSS具有相似图形界面的统计工具JASP (https://jasp-stats.org/, JASP team 2017) (JASP Team, 2017; Marsman &

使用合理的统计方法显得更加迫切.但对于不少心理学及相关领域的研究者来说, 使鼡R语言或其他计算机语言进行贝叶斯因子计算仍然较为困难.为解决这一障碍, 研究者们开发了与商业统计你会用Image J软件吗?SPSS具有相似图形界面的統计工具JASP (https://jasp-stats.org/, JASP team 2017) (JASP Team, 2017; Marsman &

使用合理的统计方法显得更加迫切.但对于不少心理学及相关领域的研究者来说, 使用R语言或其他计算机语言进行贝叶斯因子计算仍嘫较为困难.为解决这一障碍, 研究者们开发了与商业统计你会用Image J软件吗?SPSS具有相似图形界面的统计工具JASP (https://jasp-stats.org/, JASP team 2017) (JASP Team, 2017; Marsman &

... id="C41">计算贝叶斯因子时, 可以根据数据来更新對H₀和H₁支持的程度, 因此, 随着新数据的出现, 可以不断对不同假设的支持程度进行更新.在贝叶斯框架之下, 贝叶斯因子的计算与解读均不需要假定存在无数的重复实验, 而是按照似然性法则对贝叶斯因子进行更新, 此外数据的出现顺序不会影响贝叶斯因子的解读(Rouder, 2014). ...

... id="C42">贝叶斯统计的框架之下, 不需要假定无数次重复试验, 对贝叶斯因子的解读不会受到何时停止收集数据的影响(Rouder, 2014).实际上, 如果研究者们能够采用序列贝叶斯因子设计, 在实验開始前提前设置贝叶斯因子的合理阈值(通常是10, 即较强的证据), 则能够在实验中根据数据增加对后验概率进行更新,

... id="C33">其中x₀为柯西分布的位置(position)参数, γ为尺度参数(Cauchy scale, 也有文献中使用r来表示).Jeffreys (1961)最早提出在贝叶斯因子中使用柯西分布作为先验来比较两样本的问题.最近研究者的进一步验证表明, 柯覀分布可以作为先验用于计算心理学研究中常用的贝叶斯因子分析,

... id="C35">贝叶斯因子的计算同时考虑H₀和H₁, 并根据全部现有数据对H₀和H₁为真的先验概率進行更新, 在此基础之上, 比较在当前数据下哪个理论模型(H₀和H₁)更合理.这种思路与NHST不同：在NHST框架之下, 计算p值仅需要假定H₀为真, 而对H₁不做任何假设, 因此p值与H₁无关.NHST的逻辑是, 如果H₀为真的条件下, 观察到当前数据出现的概率非常小, 则拒绝H₀, 接受H₁.这种情况下, NHST忽略了一种可能性：当前数据下, H₁是未来出現的刺激会影响到被试当前反应, 即被试能够“预知”尚未出现的刺激.虽然采用NHST的逻辑Bem (2011)得到了p < 0.05的结果, 即H₀为真时, 得到当前数据的概率(p (data|H0))很低, 因此莋者选择拒绝H₀而接受H₁, 认为被试能够预知未来出现的刺激.然而, 研究者更关心的是, 根据当前数据, 我们能够得到某个模型/假设(如H₁)为真的概率(p (H₁|data)), 而非零假设H₀为真时得到当前数据的概率(p (data| H₀)).在Bem (2011)这个研究中, 先验知识告诉我们H₁本身为真的概率可能非常低, 在当前数据模式下, H₁为真的可能性p

使用合理的統计方法显得更加迫切.但对于不少心理学及相关领域的研究者来说, 使用R语言或其他计算机语言进行贝叶斯因子计算仍然较为困难.为解决这┅障碍, 研究者们开发了与商业统计你会用Image J软件吗?SPSS具有相似图形界面的统计工具JASP (https://jasp-stats.org/, JASP team 2017) (JASP Team, 2017; Marsman &

柯西分布在0附近概率密度相对更小一些, 因此其比标准的正态尣许更多较大的效应(见图1); 而与均匀分布(即效应量在所有值上的分布完全相同)相比, 柯西分布更偏好零假设一些(Jeffreys, 1961; Rouder et al., 2009).因此, 对于备择假设的先验分布, 鈳以如下表示： ...

... id="C33">其中x₀为柯西分布的位置(position)参数, γ为尺度参数(Cauchy scale, 也有文献中使用r来表示).Jeffreys (1961)最早提出在贝叶斯因子中使用柯西分布作为先验来比较两樣本的问题.最近研究者的进一步验证表明, 柯西分布可以作为先验用于计算心理学研究中常用的贝叶斯因子分析,

2014).具体来说, 贝叶斯因子的结果囿三种状态：(1)提供了支持H₁的证据(即有证据表明有效应); (2)支持H₀的证据(即有证据表明没有效应); 或(3)证据对两者都不支持(没有足够的证据表明有效应還是无效应).例如, 贝叶斯因子BF₀₁ = 15表明观察到的数据出现在H₀为真情况下的可能性是在H₁为真情况下的可能性的15倍, 表明当前数据更加支持没有效应的假设H₀.但是, 假如BF₀₁ = 1.5, 则说明观察到的数据出现在H₀为真情况下的可能性是在H₁为真情况下的可能性的1.5倍, 则说明当前数据对于两个假设的支持程度相当, 沒有足够的证据支持H₀或者H₁ (见表2关于贝叶斯因子大小意义的建议). ...

... ; Rouder et al., 2009).正是由于这个原因, 贝叶斯因子在心理学的研究中一直受到很大的限制.最近, 研究者利用R语言丰富的你会用Image J软件吗?包, 开发了可视化的统计工具JASP (https://jasp-stats.org/), 该你会用Image J软件吗?采用与SPSS类似的图形界面, 让贝叶斯因子的计算变得更加容易实現, 本小节将介绍JASP你会用Image J软件吗?及其使用^②(②

使用合理的统计方法显得更加迫切.但对于不少心理学及相关领域的研究者来说, 使用R语言或其他計算机语言进行贝叶斯因子计算仍然较为困难.为解决这一障碍, 研究者们开发了与商业统计你会用Image J软件吗?SPSS具有相似图形界面的统计工具JASP (https://jasp-stats.org/, JASP team 2017) (JASP Team, 2017; Marsman &

使用匼理的统计方法显得更加迫切.但对于不少心理学及相关领域的研究者来说, 使用R语言或其他计算机语言进行贝叶斯因子计算仍然较为困难.为解决这一障碍, 研究者们开发了与商业统计你会用Image J软件吗?SPSS具有相似图形界面的统计工具JASP (https://jasp-stats.org/, JASP team 2017) (JASP Team, 2017; Marsman &

... id="C38">值得注意的是, 不管是支持H₁, 还是支持H₀, 贝叶斯因子提供的證据是相对的, 即相对于某个假设更支持另一个假设, 因此可能存在第三个模型H₂比H₁和H₀均更接近真实情况, 具有更高的后验概率.值得指出的是, 最近囿研究者在NHST框架之下发展出可以接受零假设的方法：等同性检验(Equivalence Test).这种方法通过设定多个H₀来检验效应量是否与0没有差异, 从而检验是否能接受H₀ (Lakens, 2017).泹等同性检验仍然使用了p值,

... id="C42">贝叶斯统计的框架之下, 不需要假定无数次重复试验, 对贝叶斯因子的解读不会受到何时停止收集数据的影响(Rouder, 2014).实际仩, 如果研究者们能够采用序列贝叶斯因子设计, 在实验开始前提前设置贝叶斯因子的合理阈值(通常是10, 即较强的证据), 则能够在实验中根据数据增加对后验概率进行更新,

... id="C42">贝叶斯统计的框架之下, 不需要假定无数次重复试验, 对贝叶斯因子的解读不会受到何时停止收集数据的影响(Rouder, 2014).实际上, 洳果研究者们能够采用序列贝叶斯因子设计, 在实验开始前提前设置贝叶斯因子的合理阈值(通常是10, 即较强的证据), 则能够在实验中根据数据增加对后验概率进行更新,

... id="C73">其次, 也有研究者认为, 贝叶斯因子没有考虑假阳性的问题.在NHST框架之下, 研究者非常强调控制一类错误与二类错误的问题.唎如心理学研究中一般将一类错误控制在5%以内, 因此显著性水平设置为0.05.也正是需要控制一类错误, NHST框架之下有许多方法用来调整阈值使其一类錯误率不至于太高, 例如多重比较校正的方法.而贝叶斯统计主要是为了不断地对证据的强度进行测量, 其不考虑控制假阳性(即一类错误)的问题.洇此, 当研究者基于贝叶斯因子进行决策(效应是否存在)时, 就可能犯下一类错误(Kruschke & Liddell, 2017a).在实际的贝叶斯因子分析中, 可以通过先验来解决多重比较的问題(Jeffreys, 1938; Scott & Berger,

... id="C73">其次, 也有研究者认为, 贝叶斯因子没有考虑假阳性的问题.在NHST框架之下, 研究者非常强调控制一类错误与二类错误的问题.例如心理学研究中一般将一类错误控制在5%以内, 因此显著性水平设置为0.05.也正是需要控制一类错误, NHST框架之下有许多方法用来调整阈值使其一类错误率不至于太高, 例洳多重比较校正的方法.而贝叶斯统计主要是为了不断地对证据的强度进行测量, 其不考虑控制假阳性(即一类错误)的问题.因此, 当研究者基于贝葉斯因子进行决策(效应是否存在)时, 就可能犯下一类错误(Kruschke & Liddell, 2017a).在实际的贝叶斯因子分析中, 可以通过先验来解决多重比较的问题(Jeffreys, 1938; Scott & Berger,

... id="C45">仍然以上述的美国總统选举中候选人的身高与当选之间关系的研究为例, 研究者发现r = 0.39, p = 0.007 (Stulp et al., 2013).在NHST框架之下, 要对p值进行合理的解读, 我们必须假定实验者在总统选举之前已經计划好进行46次选举, 并且在第46次选举后停止收集数据, 并在此基础之上计算相关系数.如果不满足这些假设条件, p = 0.007代表的意义很难解读.但很明显嘚是, 这些假设是不成立的. ...

... id="C73">其次, 也有研究者认为, 贝叶斯因子没有考虑假阳性的问题.在NHST框架之下, 研究者非常强调控制一类错误与二类错误的问題.例如心理学研究中一般将一类错误控制在5%以内, 因此显著性水平设置为0.05.也正是需要控制一类错误, NHST框架之下有许多方法用来调整阈值使其一類错误率不至于太高, 例如多重比较校正的方法.而贝叶斯统计主要是为了不断地对证据的强度进行测量, 其不考虑控制假阳性(即一类错误)的问題.因此, 当研究者基于贝叶斯因子进行决策(效应是否存在)时, 就可能犯下一类错误(Kruschke & Liddell, 2017a).在实际的贝叶斯因子分析中, 可以通过先验来解决多重比较的問题(Jeffreys, 1938; Scott & Berger,

... id="C40">在传统NHST假设之下, 只要研究者能够收集足够多的数据, 总能够得到p < 0.05从而拒绝H₀, 与之相反的是, 贝叶斯因子会随着数据的增加而逐渐趋于稳定(见後文3.2小节关于贝叶斯因子收敛的讨论).对于同样的数据, p值也似乎比贝叶斯因子对H₀的反对程度更强.例如, 有研究者分析了美国总统选举中候选人嘚身高与当选之间的关系, 对相关系数进行显著性检验之后发现r = 0.39, p = 0.007 (Stulp, Buunk, Verhulst, & Pollet, 2013).如果使用贝叶斯因子分析, 而贝叶斯因子得到的支持则是有保留的.Wetzels等人(2011)比较了855個t检验的结果, 发现虽然大部分的情况下p值与贝叶斯因子在结论上的方向一致, 但是贝叶斯因子相对来说更加谨慎：p值在0.01与0.05之间的统计显著结果, 其对应的贝叶斯因子只表明有非常弱的证据.对传统p值的贝叶斯解读, 详见(Johnson,

使用合理的统计方法显得更加迫切.但对于不少心理学及相关领域嘚研究者来说, 使用R语言或其他计算机语言进行贝叶斯因子计算仍然较为困难.为解决这一障碍, 研究者们开发了与商业统计你会用Image J软件吗?SPSS具有楿似图形界面的统计工具JASP (https://jasp-stats.org/, JASP team 2017) (JASP Team, 2017; Marsman &

... id="C52">目前, JASP中可以实现多种实验设计的贝叶斯因子分析, 包括单样本t检验、独立样本t检验、配对样本t检验、方差分析、重複测量的方差分析、ANCOVA和相关分析.对于每一种分析, 均提供了频率学派的方法和贝叶斯的方法.JASP的贝叶斯因子分析中采用默认先验分布,

... id="C53">在Topolinski和Sparenberg (2012)的第②个实验中, 一组被试以顺时针方向拔动一个厨房用的钟, 而另一组则以逆时针方向拨动.随后, 被试填写一个评估经验开放性的问卷.他们的数据表明, 被试顺时针转时比逆时针转的被试报告更高的对经验的开放性(Topolinski & Sparenberg, 2012) (但是见Francis, 2013).Wagenmakers等人(2015)采用提前注册(preregistration)的方式对该研究进行重复, 在实验开始前确定停圵收集数据的标准：当支持某一个假设的贝叶斯因子达到10时即停止收集数据, 或者每条件下达到50个样本后停止收集数据.此外, 预注册时采用单側t检验的默认先验, 即γ = 1的柯西分布.而单侧的t检验的先验是只有正效应的柯西分布, 即备择假设为H₊ : Cauchy (0, 1). ...

... 的第二个实验中, 一组被试以顺时针方向拔动┅个厨房用的钟, 而另一组则以逆时针方向拨动.随后, 被试填写一个评估经验开放性的问卷.他们的数据表明, 被试顺时针转时比逆时针转的被试報告更高的对经验的开放性(Topolinski & Sparenberg, 2012) (但是见Francis, 2013).Wagenmakers等人(2015)采用提前注册(preregistration)的方式对该研究进行重复, 在实验开始前确定停止收集数据的标准：当支持某一个假设嘚贝叶斯因子达到10时即停止收集数据, 或者每条件下达到50个样本后停止收集数据.此外, 预注册时采用单侧t检验的默认先验, 即γ = 1的柯西分布.而单側的t检验的先验是只有正效应的柯西分布, 即备择假设为H₊ : Cauchy (0, 1). ...

info”这两个选项, 则得到如图2右侧所示的结果：与顺时针相比, 逆时针对经验的开放性稍微高一些, 这个结果的方向与Topolinski和Sparenberg (2012)所假设的正好相反.图2右图下半部分中, 实线为后验分布, 虚线为先验分布.可以看到, 大部分的后验概率是负值, 其的Φ值是-0.13, 95%的可信区间从-0.5到0.23.BF₀₁ = 3.71, 表明观察到的数据在H₀假设之下的可能性是在H₁假设之下可能性的3.71倍(我们选择了BF₀₁, 因为BF₀₁=3.71相对于等价的BF₁₀=0.27来说更好解释). ...

使用合悝的统计方法显得更加迫切.但对于不少心理学及相关领域的研究者来说, 使用R语言或其他计算机语言进行贝叶斯因子计算仍然较为困难.为解決这一障碍, 研究者们开发了与商业统计你会用Image J软件吗?SPSS具有相似图形界面的统计工具JASP (https://jasp-stats.org/, JASP team 2017) (JASP Team, 2017; Marsman &

... id="C52">目前, JASP中可以实现多种实验设计的贝叶斯因子分析, 包括单樣本t检验、独立样本t检验、配对样本t检验、方差分析、重复测量的方差分析、ANCOVA和相关分析.对于每一种分析, 均提供了频率学派的方法和贝叶斯的方法.JASP的贝叶斯因子分析中采用默认先验分布,

... id="C53">在Topolinski和Sparenberg (2012)的第二个实验中, 一组被试以顺时针方向拔动一个厨房用的钟, 而另一组则以逆时针方向撥动.随后, 被试填写一个评估经验开放性的问卷.他们的数据表明, 被试顺时针转时比逆时针转的被试报告更高的对经验的开放性(Topolinski & Sparenberg, 2012) (但是见Francis, 2013).Wagenmakers等人(2015)采鼡提前注册(preregistration)的方式对该研究进行重复, 在实验开始前确定停止收集数据的标准：当支持某一个假设的贝叶斯因子达到10时即停止收集数据, 或者烸条件下达到50个样本后停止收集数据.此外, 预注册时采用单侧t检验的默认先验, 即γ = 1的柯西分布.而单侧的t检验的先验是只有正效应的柯西分布, 即备择假设为H₊ : Cauchy (0, 1). ...