很高兴有这样一个机会，我能与大家在这里做一些关于统计学与大数据的交流，与大家分享一些观点。
在讲大数据之前，我们首先来看看什么是数据。很长一段时间里，大家对数据的理解，可能只是停留在阿拉伯数字这个层面。近些年来，大家开始讲大数据。结果有人就开始好奇了：这个大数据和我们之前说的数据有什么关系呢？
阿拉伯数字是不是数据呢？当然是数据。大数据是不是数据呢？当然也还是数据。不过，现在我们对数据的理解要广泛得多了。凡是可以被数据化的信息载体，我们都可以认为是数据。
现在我们来说一下统计学，统计学是什么呢？首先，从学科定位上说，统计学已经被列为一级学科了。这一点和数学、法学等都一样了。
下面，我主要回答一个问题：在大数据时代，我们究竟是否需要基于抽样的统计学？
有些人认为，现在计算机科学非常发达，可以收集海量的数据。为了特定的研究目的，我们现在甚至有能力通过计算机技术收集与特定的研究目的相关的全部数据。今天，基于抽样的统计学就没有那么重要了，甚至都不在被需要了。事实真的是这样吗？
既然统计学被认为是一门收集数据、分析数据的科学和艺术。我们暂时不谈科学，先来看看统计学为什么被认为是一门收集数据的艺术。
我们来看第一个案例。这个案例是希望调查15个国家的国民的诚实情况。调查人员想要知道，哪些国家的国民最倾向于撒谎，哪些国家的国民很诚实。
如何利用统计学方法来收集数据呢？这就需要统计学的智慧了。调查人员设计了两组实验。
调查人员先从每一个国家找1000人参与测试，15个国家一共找了15000人，找这么多不同国家的人来面对面调查，这是非常困难的，所以调查人员通过互联网找到了这15个国家共计15000人。两组实验都是在互联网上进行的。
在第一组中，他们先做了一个测试，请受调查者在家里抛硬币，硬币有正反两面，调查者事先规定，受调查者抛硬币之后要告诉我结果，如果硬币正面朝上，我就奖励你十块钱，如果反面朝上，我就不给你奖励。
第一组的实验有价值，但是它也不一定能够全面反映真实的情况，所以调查人员还有第二组实验。
第二组实验，是要求受调查者回答五个问题。这五个问题在回答之前，需要受调查者承诺，他不能为了答题去查阅任何资料，不能去寻求任何帮助，也就是说，看了这五个问题之后，受调查者需要立即给出答案。
而这五个问题中，其中有三个问题特别简单，类似于像1+1等于几这种问题。另外两个问题则非常生僻。如果受调查者不去查阅资料或咨询他人的话，基本是不太可能回答出来的。
然后统计人员通过这两组实验结果，互相验证。这两组数据收集的过程都非常恰当地体现了统计学在收集数据方面的智慧。
所以说，即使在大数据时代，不是说有了计算机，有了爬虫技术，我们就能收集到适合研究目的的所有数据。统计学是一个收集数据的艺术，针对特定的研究目的，设计非常漂亮的数据收集方案，就是一个非常艺术的收集数据的过程了。
我们再举一个例子。这是最近美国麻省理工刚刚完成的一个实验，大致在2018年左右完成的，实验结果也公布出来了，目的是想了解大家目前的婚姻观念，100人受到邀请来到一个封闭的场所参与这个实验。
在这里统计人员采取了一点小花招，就是当受访者进门的时候，把编号贴在受访者后背上，受访者知道自己有编号，但是不知道自己的编号是多少，不过他能够看到别人后背上的编号。实验规则说，允许100人中的任何两个人进行交谈，除了不能告诉对方他的后背编号是多少，其他话题都可以谈。
然后实验者把这100人带到一个很小的一个房间里，宣布给大家5分钟时间，在这5分钟内，大家自行配对，每人只能配一名异性。5分钟结束之后，如果配对成功了，两个人背后的数字加起来乘以十，就是两人能够拿到的奖金。
实验人员之所以把100人故意安排在非常拥挤的小房间内，就是考虑到，一方面要让大家能够很快速地看到一些人的编号，另一方面又能保证一个人不可能看到所有人的编号。在人挤人的情况下，有些编号是肯定看不到的。
实验开始了。
一些人很快就发现，自己连续跟别人配对三四次，大家都拒绝他。这很可能说明，自己后背的编号数字不够大，别人不感兴趣。
另外还有一些人，虽然他不知道自己后背的编号，但是他发现有很多人过来找他，所以他很快就意识到，自己后背的编号很可能很大，但具体多大，他并不知道。而且要尽可能让两个人组合出来的数字变得很大。
这个实验的结果是，编号99的男性并没有与编号100的女性配对成功。那位编号100的女性，找到的是编号八十几的一位男性。那些数字在中间的人，大体都配对了跟自己差不多的另一个人。
这个数据的收集过程也是非常漂亮的。
统计本身是一门收集数据的科学，但是数据是不是越多越好呢？很难说。
历史上有一个非常有名的例子。大约500年之前，丹麦有一个天文学家叫第谷，他从当时的丹麦国王那里要了一笔钱，建了一个实验室。第谷天天去观察每颗行星的运动轨迹，并且每天记录下来。于是第谷观察了20年，记录了大量的数据。不过，这个数据太多了，第谷花了大量时间、精力来分析这个数据，但没有发现任何规律。
这时候，一个叫开普勒的人出现了。开普勒认为，第谷每天去观测，一年365天每一颗行星都会有365个数据，这样20年观测记录积累下来，要分析处理的数据就太多了，而且那个时候的数据分析只能依靠手工计算，这个处理工作量实在太大了。
从这个天文学上的著名案例，我们可以看出来，数据太多可能会导致信息量变得巨大，反而增加寻找到规律的难度。从而需要通过科学的方法简化数据。
关于这方面的案例还有不少。比如说美国总统富兰克林·罗斯福，他是美国历史上唯一一位连任四届的总统。1932年的时候他第一次当总统，当时美国和许多国家正在遭受经济危机，罗斯福面临的压力也很大。
而当时还有一个机构，准确地说是一个年轻人，叫盖洛普，他的预测结果跟文学文摘的预测正好相反。起初盖洛普做这类调查统计，是因为他的母亲要竞选众议员，他是给他母亲帮忙，于是就在经费不多的情况下做了对较小人群的相关调查，然后这个调查结果很成功，他母亲当上了众议员。
结果罗斯福果然成功连任总统，盖洛普的预测胜利了。
这个选举结果出来之后，对《文学文摘》杂志的声誉造成了巨大的冲击：毕竟文学文摘调查了240万人，最后却发布了一个错误的预测，而盖洛普只调查了5000人，发布的预测却是正确的。结果，文学文摘因为这个事情后来就关门倒闭了。而那个年轻人盖洛普，就此成立了一个民意调查公司，也就是现在的盖洛普咨询公司。
这是事情的结果。那么为什么调查了5000人的预测，要比调查240万人的结果更准确呢？我们先不说240万这种海量数据，它在规模变大以后会带来计算效率的下降，我们也不提这类海量收集数据会导致成本居高不下的问题。
前面举了一些例子，提醒我们需要非常小心地设计方案收集数据。数据收集上来之后，我们还要做数据分析。按照前面大不列颠百科全书的说法，统计学同样是一门分析数据的艺术。
讲到数据分析，在这里我只讲两个基本概念：相关与因果。为什么讲这两个概念呢？这是因为人们常常混淆这两个概念，常常会把相关关系误以为是因果关系。在许多科学研究和政策问题评价中，我们更关心因果关系。但是，当我们看到了某种形式的相关关系后，常常会误以为这就是我们追求的因果关系了。
比如说，在中世纪的欧洲，很多人相信，虱子对人的健康是有帮助的。这是因为当时人们发现，得病的人身上很少有虱子，而健康人的身上反而是有虱子的。这是长期的观察累积下来，形成的经验。
当时，人们确实观察到虱子的存在与否跟人是否健康构成了相关关系，但是，这是因果关系吗？
也就是说，如果我们观察到一个因素出现了一点点变化，另外一个因素也会随着跟它变化，它们之间可能就有相关关系，但是这种相关关系，并不意味着这两个因素构成因果关系。
如何判断因果关系呢，这就需要我们非常小心，而且要非常艺术地做数据分析了，我们最终还是要回到统计学上来。
这里，我们举一个历史上的疾病案例，这就是小儿麻痹症，也就是脊髓灰质炎。现在大家看到的小儿麻痹症病例比较少，因为现在有相应的疫苗。历史上，脊髓灰质炎曾经是一个让人非常害怕的疾病。
在20世纪50年代，当时美国一所大学的实验室，做出了一种针对这个疾病的疫苗，已经证明它在实验室条件下能够产生有效的抗体。但是他们不知道，如果应用到实际生活中的大规模实验，这个疫苗还会不会有效。
于是就有人提出了第三个方案。因为当时这个疫苗接种，谁也不知道有没有副作用，因此是有一定风险的。所以这个方案就提出，让接种疫苗的孩子们的父母来自行选择。有的家长选择给孩子接种疫苗，有的就不选择接种，这样同一批孩子就会出现不同的对照。
然后是第四个方案。有人提出，只让二年级的学生接种，而一年级和三年级学生不接种。之后再比较接种的跟不接种的学生之间的区别，看他们的发病率会不会有差别。这个方案是当时的一个脊髓灰质炎防治委员会提出的方案。
当时还有第五个方案，也就是最终执行并被采纳了调查结果的方案。这个方案具体来说，就是在征得学生家长同意之后，仍旧会告诉家长：你即使同意接种疫苗，我给你家孩子接种的，也不一定是疫苗，而是一种看起来跟疫苗一模一样的安慰剂，没什么副作用也没有什么效果。
1954年，这个实验大约有74万名小学生参与。最终的实验结果是，如果接种疫苗，孩子罹患脊髓灰质炎的概率大约是十万分之28，如果不接种疫苗，患病概率大约是十万分之77，二者相差一倍多。之后又经过各种努力，脊髓灰质炎疫苗在美国获得了通过。
许多科学结论、政策评价都依赖于因果分析而不是相关分析。统计学能够帮助我们证明那些我们所需要的因果关系。很多时候，真正的因果关系，不能简单地建立在相关关系的基础之上。还有很多科学问题，仍需要我们去发现真正的因果关系，这正是统计学可以提供数据收集以及分析方案的地方，也是统计学的魅力所在。