查看原文
其他

工具&方法丨老姚趣谈如何理解假设检验的逻辑

姚耀军 数据Seminar 2021-06-03

推荐语

大数据时代还要不要学统计推断?

答案显然易见,正如海量的大数据资源无法完全取代抽样调查,统计推断仍然是所有有志于实证研究的经济学学子需要掌握的基本统计方法。本文构思精巧,巧妙地用一个简单法律案例将假设检验中各基本概念作了精准形象的说明。最后再类比到经济学实证研究,并特别强调理论机制分析在实证研究中的重要性,非常值得一读!

                                   ——杨奇明




法官的判决:漫谈假设检验的逻辑


经济学是一门实证科学,涉及到统计学和计量经济学工具的大量应用。开展严谨的实证研究或者正确理解实证研究结果,均离不开对假设检验基本原理的透彻理解。假设检验与法治社会中的法律判决具有相通之处。本文通过一个简单的法律案例,阐释了假设检验的逻辑。


我们构想这样一个法律案例

👇


      某日凌晨两点左右,A小区发生一起失窃案,事主家中的电视机被盗。此小区暂时未安装监控,而与其紧邻的B小区装有监控。由警方采集的监控录像信息显示,在当日凌晨三点,张三抱着一台电视机从B小区大门口匆匆而过。基于此证据,检方作为控方,在法院对犯罪嫌疑人张三提起公诉。 


     任何人在未经依法判决有罪之前应视其无罪,故法官首先按照无罪推定原则,假定张三无辜,此乃原假设。相应的,张三有罪就成为备择假设。接下来,法官开始检视证据。按照“谁主张谁举证”原则,证据已由控方提交至法庭。问题是,监控录像证据是否对张三构成了有力的指控呢?作为专家证人,一位统计学家表示:如果原假设为真,那么无辜的张三在凌晨三点抱着一台电视机出现在监控录像中的概率仅为1%,而这是一个很小的概率。小概率事件原本不容易发生,但现在居然发生了,法官认为其很难用偶然性来解释,于是由此认定:原假设被呈堂证据有力反驳,张三有罪。



       小概率事件并不意味着一定不会发生。因此,有罪判决可能是对张三的错判。在假设检验中,错判就是弃真错误,亦称第一类错误,其概率就是前述小概率事件发生的概率。显然,如果所谓的小概率远低于1%,那么错判的可能性就更小了,法官因而对有罪判决就更有信心。

       张三不服判决,坚称自己是拾荒者,在那一个时点恰好抱着一台从垃圾堆中拾来的电视机路过。基于张三是一位拾荒者这一新信息,统计学家提出新的证言:若张三是一位无辜的拾荒者,则其出现在监控录像中的概率是30%。张三没有义务自证清白,提交证据证明自己所言属实。如果检方没有反驳张三的辩护意见,那么法官会改判张三无罪,毕竟30%不应算作小概率。此时,法官是鉴于呈堂证据存疑而作出无罪判决的。所谓证据存疑,是指证据不具有决定性,原假设与备择假设均可以合理解释证据。在本文的案例中,具体是指,无论张三是无辜者还是案犯,均有不小的可能性出现在监控录像中。当然由此而判张三无罪,可能错放了真犯。按照假设检验的术语,错放就是取误错误,亦称第二类错误。


      基于统计学家的证言,对错判的可能性,法官心里“有谱”。但一谈到错放的可能性,法官就心里“没谱”了,因为统计学家很难对此说点什么。为什么呢?答案是,虽然在概念上非常明确,错放的概率就是作为案犯的张三有多大可能出现在监控录像中,但出庭作证的统计学家是研究普通人而非案犯的行为规律的专家。若张三无辜,则他就是千万个普通人中的一员,其行为服从普通人的行为统计规律。但若张三是案犯,则他就显得比较特殊了,其行为究竟服从何种行为统计规律呢?统计学家并不十分清楚。从数学上看,假设体系的一般形式是:原假设为“某一参数等于xx”;备择假设为“该参数不等于xx”。与原假设为真的情况不同,当备择假设为真时,参数具体取值的信息并不明朗,结果使得统计学家很难推演出一种具体的概率分布,并计算错放的概率。

       错判概率确定,错放概率不确定,不过给定证据,两类错误发生的概率却是此消彼涨的。曾经叫嚣“宁可错杀一千,不可放过一人”的国民党反动派,看来非常明白此道理。当对两类错误的控制存在冲突时,法治社会坚持疑罪从无原则,“宁可错放,不可错判”。然而,“宁可错杀一千,不可放过一人”,却是与法治原则背道而驰的。从表面上看,疑罪从无原则仅关乎两类错误的取舍,但实际上深刻体现了“让证据说话”的法治思想——在本文的案例中,张三有罪与否,就完全取决于检方能否提供具有决定性的证据。有趣的是,对该思想最生动的诠释,莫过于摇滚之王迈克尔·杰克逊(Michael Jackson)在作品《尖叫(Scream)》中写下的一句歌词——


你说我是错的,那你最好证明你是对的。

You tell me I'm wrong. 

Then you'd better prove you're right.



       有必要强调,“张三犯罪的证据不足”并不是“张三没有犯罪的证据”,正如英谚曰,“证据的缺失不是不在场的证据(Absence of evidence is not evidence of absence)”。基于“张三犯罪的证据不足”,而不是基于“张三没有犯罪的证据”,法官作出无罪判决,成为错放发生的重要根源。那么,法律判决为什么不取决于“张三没有犯罪的证据”呢?答案是,按照“谁主张谁举证”原则,提供“没有犯罪的证据”以自证清白并非被告的法律义务。虽然没有自证清白的义务,但有自证清白的权利。若张三能够提供证据证实,该天夜里自己一直在家蒙头睡大觉,而出现在监控录像中的只是一貌似者,则检方的指控就被有力反驳,法律天平就向张三一方倾斜。顺便提及,控方承担举证责任而被告毋须自证清白,有利于保护弱者,维护司法正义。这是因为,至少在刑事案件中,被告一般是个人,控方一般代表政府。相对于政府,个人往往处于弱势地位。

       由于司法资源有限,完全杜绝判决错误以实现实体正义,是过于理想化的。现实中的法律判决追求程序正义,容许错误的可能发生,完全符合经济学的效率原则。但无论如何,错判错放都应该得到有效的控制,而要实现这一点,关键在于增强证据的说服性。一般而言,证据越丰富,则越具有说服性。在本文的案例中,监控录像证据属于孤证。如果检方为了增加指控力度,补充诸如张三在案发现场留有指纹等证据,形成了证据链条,那么错判的概率将大幅降低。而作为案犯的张三,也难逃法网,被法官错误地无罪开释。因此,证据越丰富,错判与错放两类错误发生的概率就越小。在统计学中,孤证问题就是样本信息不足问题。补充证据就是通过扩充样本容量等方式,增加样本信息,以提高假设检验的功效。


       从假设检验视角看,法律判决与科学评判遵循相同的逻辑,均体现“让证据说话”的思想。在法律判决中,当指控犯罪的证据因存疑而不具有决定性时,法官根本不会顾忌错放风险,而是按照疑罪从无原则,作出无罪判决。在科学评判中,新理论假说一般被置于备择假设地位。相应的,已有理论假说就成为了原假设。若两种竞争性理论假说均与证据相吻合,则证据不具有决定性,支持新理论假说的证据不足。此时,纵然面临取误风险,原假设仍被维持,而新理论假说作为备择假设被拒绝。

       对于任何科学进展宣称,我们都应该秉持健康的怀疑态度。特别的理论,需要特别的证据。特别的证据就是决定性的,具有甄别作用的证据——只有在新的理论假说而不是在已有理论假说下,这些证据才能够得到合理的解释,从而形成对两种理论假说的甄别。那么,怎样获得这些证据呢?统计学提供的一个标准建议是,扩充样本容量。但对于经济学实证研究,此建议一般不具有可行性,原因是,由于样本数据主要来自研究者的被动收集,而不是通过实验主动生产出来的,增加样本容量的难度可能很大。


       在经济学实证研究中,若要提供具有甄别度的证据,一个有效的途径是,在深入分析理论机制基础上,形成各种各样的预测,然后再进行实证检验。特别的预测来自特别的理论假说。若某一假说与其他竞争性假说相比,不但能够提供相同的预测,而且还能够提供独特的预测——换言之,它既可以解释其他竞争性假说可以解释的现象,还可以解释其他竞争性假说无法解释的现象,则相应的经验证据就具有很强的甄别度。由此看来,理论机制分析与进一步的识别,乃经济学实证研究的重心所在。






作者简介 · 耀军

姚耀军,男,湖北利川人,1976年1月生,浙江大学管理学博士,浙江工商大学金融学院教授,浙江省首期之江青年社科学者行动计划入选人,浙江省“151人才工程”第三层次培养人员,杭州市“十三五”哲学社会科学应用经济学学科组评审专家、长期从事金融发展理论与实证研究,在《China & World Economy》《Frontiers of Economics in China》《金融研究》《数量经济技术经济研究》《财贸经济》《中国农村经济》等学术刊物上发表论文多篇,部分成果被《新华文摘》《高等学校文科学术文摘》《人大复印资料(金融与保险)》《人大复印资料(农业经济研究)》全文转载。主持教育部人文社科项目、浙江社会科学基金重点项目、浙江省自然科学基金项目等省部级纵向课题多项。荣获中国制度经济学年会优秀论文奖、全国金融硕士教学案例大赛优秀案例奖、浙江省高校优秀科研成果一等奖、《财经研究》创刊60周年优秀论文一等奖等荣誉。担任《金融研究》《财经研究》《金融论坛》《浙江学刊》《浙江社会科学》《农业经济问题》等CSSCI学术期刊的审稿专家。 


往期推荐

数据呈现 | Stata+R+Python:拨开数据迷雾,窥探可视化之“美”(工具书推荐,附PDF资源链接)

工具&方法 | 小刘老师“再”出新招:JSON数据转为面板数据

特别推荐 | 专利引用数据,可以用来做哪些研究?

数据呈现 | Stata+R+Python:一文帮你解决Paper、PPT中的数据可视化问题

工具技巧 | 用Python3处理数据:“import”可以这样自由地调度函数?(内附代码)




数据Seminar

这里是大数据、分析技术与学术研究的三叉路口


作者:姚耀军

推荐:企研数据 · 威武哥

编辑:青酱



    欢迎扫描👇二维码添加关注    



    您可能也对以下帖子感兴趣

    文章有问题?点此查看未经处理的缓存