女士品茶实验:
一位女士声称可以分辨一杯奶茶是先倒茶后倒牛奶,还是先倒牛奶后倒茶。
为此费舍尔设计了如下实验来检验她的说法是否可信,准备8杯奶茶,先茶后奶、先奶后茶各一半,随机排列让女士品尝,并告诉她两种情况各4杯,让她指出哪四杯是先茶后奶,哪四杯是先奶后茶。
假如她全部说对了,能相信她具有辨别的能力吗?
为此,可以先假设女士不具备鉴别能力,当女士成功选对所有四杯的时候,她只是随机的指出,那么事情发生的概率为:1 /(从八杯选出四杯的选法=70)= 1 / 70
因为 1 / 70 是比较稀奇的情况,有理由认为先前的假设是错误的,所有这时认定女士具有鉴别能力。
那么如果女士说对了三杯,指错了一杯,成绩看起来也不错,但是计算一下出于碰巧得到这个成绩的概率有 16/70,约等于0.23,这个事件并不是稀奇的,因此实验结果没有办法驳倒假设。
凭什么认为 1/70 的事件几乎不可能发生,而 16/70 的事件可能性就大了呢?
为了得到一个大家都认可的判决,必须事先指定一个阈值,比如0.01、0.05,只有当计算所得的概率小于阈值,才能认为是小概率事件,即提供了不利于假设的证据。
在上面的品茶实验中,如果阈值取为0.01,那即使4杯全部说对,也不能认为女士一定具有鉴别能力,但若取为0.05,就可以确定能分辨了。
因此,在作检验之前,一定要先给定阈值,也叫做显著性水平,不能在实验完再指定,不然就公说公有理,婆说婆有理了。显著性水平越低,说明实验的结果越可靠,越有说服力。
https://en.wikipedia.org/wiki/Lady_tasting_tea