狐狸看世界

《信号与噪音：为什么很多预测都不成功，但有的却很准》

作者：纳特·西尔弗

数独是非常流行的数字游戏。其拼图为一个九宫格（3格宽×3格高）的正方形，每一格又细分为一个小九宫格。游戏规则很简单：以个别格子里已给出的数字为线索，通过简单或稍微复杂的逻辑思考，填满其余的格子，使得每一个小九宫格、大九宫格的每一列和每一行的数字都是1至9。 因为数字排列方式千变万化，每个具体游戏的难易程度相差很大；但玩过的人都知道，一个稳操胜卷的办法是猜测，即在一个格子中可能的数字里随机先选一个试。比如某个空格既可能是3也可能是5时，先假设3是对的，一气填下去，50%的情况下，答案已经找到了；如果接下来出现了矛盾，则知道5是对的，回头重新填一遍就是了。令人好奇的是，我发现，虽然这个“猜测法”所向无敌，玩熟了以后，却会尽量避免之，而选择用逻辑推理，准确无误地分析出每格的数字。细究起来，大概因为“猜测法”不具美感（九宫格被涂得乱糟糟的），也无挑战性，缺乏那种沉思冥想后豁然开朗、峰回路转的体验。

这跟讨论《信号与噪音》这本书有什么关系呢？

《信号与噪音》是一本关于如何在大量的数据（噪音）中发现信号，“预测未来”的书，于2012年9月出版后，立刻成为纽约时报的畅销书，同年度被亚马逊网购书店评为非小说类第一，并被翻译成多种文字，包括两个汉语版本。

作者西尔弗是芝加哥大学经济学专业2000年的毕业生，但对自己在毕马威国际会计事务所的经济咨询师一职毫无热情。他利用上班空隙及业余时间设计了一套评估美国职业棒球球员未来潜力的概率统计法，获得意外成功，随后辞掉工作，有几年主要靠网上玩牌赌钱维持生计。2007年起，他开始用类似的方法对美国选举中的各种民意调查数据进行统计分析，并建立了一个名为“538”的网站，公布自己的预测结果（网站名字源于美国大选中选举人团的总票数）。在2008年的美国总统大选中，西尔弗预测对了50个州中49个州的投票结果，一举成名。2010年，“538”被《纽约时报》网站收购，西尔弗成为《纽约时报》的政治事务统计师和评论员。在2012年大选期间，“538”提供了《纽约时报》三分之一的访问流量，他的50州投票结果的预测最后是完胜。2014年起，“538”入盟美国最大的体育网站ESPN，西尔弗把自己的预测方法进一步推广到了政治、体育以及娱乐领域（比如奥斯卡得奖预测）。

借“十五分钟名气”的东风，西尔弗写成了《信号与噪音》一书，把自己成功的预测经验和理念介绍给大众。但这本书不是成功励志之作；作者试图从统计学的角度分析为什么大多数预测都归于失败；预测的基本规律是什么，我们该如何把握。

此书的时效性不言而喻。我们生活在所谓的“大数据”时代，信息量爆炸。但如何把信息转化成知识，如何利用知识改善社会和人类自身，却似乎变得越来越不确定。作者推测，一个主要原因在于，进化的结果，人类特别善于从有限的信息中最快地找到规律，并根据这样的规律指导行为。所谓从有限信息中找规律，借一个朋友常用的简单寓言就是，公鸡每天日出而起，发现地上出现米粒，吃饱后开始一天的悠闲生活。日复一日，它就会把日出与早餐挂钩，直到某一天，日出刀落，成为主人的盘中餐。显然不管过去的经历多么精确完美，能够预测的，只是将来的一种可能性，而非必然。西尔弗在书里举了些类似的例子，表明这是人类预测本能的一个必然局限。如今信息量爆炸，找到完美精确的“规律”的机会不是减少，而是极大地增加了，人们自然更容易把假象当真理。所以大数据时代，变成了更无据可依的动荡时代。

作者以实例为证。第一到三章，介绍了美国2008年的房贷危机、棒球选秀及美国政选。这些章节主要关注三个问题：主观偏见，即人常常会去寻找自己愿意相信的“信号”；过去经历的局限性；市场竞争对预测准确性的正负影响。第四到七章介绍所谓的动态系统，天气预报、地震预测、自由市场以及传染病的传播。这些章节强调，因为系统本身的复杂多变，我们对其机理认识有限所造成的预测困难。其中天气预报作为比较成功的例子，说明气象知识的积累加上计算机处理数据能力的提高，极大地提高预测能力是可能的。第八到十章介绍了如何预测球类比赛结果、如何赌扑克牌及国际象棋。这些活动因为规则固定规模有限，相对于前面章节的问题而言比较简单，作者借机介绍了他所推崇的贝叶斯统计学方法，及如何依据这个方法提高预测能力。有了这个基本武器，作者接下来引导大家尝试解决动态复杂的现实问题，那就是本书的最后三章：全球变暖、恐怖主义及泡沫市场。结语是对贝叶斯原理的理念性总结。

每个章节是相对独立的小故事，文字简单流畅，可读性极强。即使看似无趣的话题，也很容易读进去，并获得一个大致的理解。西尔弗当然不是所叙述的绝大多数问题的专家，人也年轻，算不上资深学者；他是通过大量的阅读思考，以及在四年中采访各路专家，博采众议而写成此书的。虽然浅尝辄止，但他有自己的切入点；这本书总的说来信息广、脉路清楚、表达准确。读者可以再根据自己的兴趣，更深入地追踪不同的话题。由于该书这个外行看内行的特点，阅读时我偶尔会联想到幽默游记作家比尔·布莱森（bill bryson）写的《万物简史》（A Very Brief History of Everything），虽然表面上看来，这是两本完全不同的书。同理，这些问题的真正专家对此书会不以为然。

说到博采众议，书中反复引用的“刺猬与狐狸”的说法，源自英国哲学家以赛亚·伯林（Isaiah Berlin）对古希腊残诗里的“狐狸知道很多事，但刺猬只知道一件大事”的著名发挥。这个说法意味深长，而且很容易领悟，读者会不由自主地自我审视、自我定位。西尔弗显然对“狐狸”情有独钟，“538”网站的徽标就是狐狸。

狐狸怎样看世界呢？西尔弗的狐狸用的是贝叶斯定理（Bayes' theorem）。十八世纪英国数学家托马斯·贝叶斯（Thomas Bayes）提出来的这个定理，是一种基于概率的思考方式。它的前提是人接受自己对未来的预测不可能完全准确，带有一定程度的主观性和错误，然后用新的事实证据不断地去测试并调整自己的判断，如此一点点地接近事实。去年九月《纽约时报》科技专栏作家费伊·弗洛姆著文，以蒙提霍尔问题（Monty Hall problem）为例深入浅出地介绍了贝叶斯法的原理：

以“让我们来做一笔交易！”的节目主持人蒙提·霍尔（Monty Hall）命名的三门问题是这样的：参赛者看见三扇关闭的门，其中一扇的后面是一辆汽车，如果选中那扇门就可赢得汽车，另外两扇门后面则各藏有一只山羊。参赛者选定了一扇门后，霍尔开启剩下两扇门的其中一扇，露出一只山羊，然后会问参赛者要不要换选另一扇仍然关着的门？

这里，“起始的主观判断”是猜对有车那扇门的概率：三分之一；“新的事实”是主持人打开了第二扇门。应用贝叶斯法，就能够算出换一扇门是否能够增加赢车的概率（答案是应该换）。

贝叶斯定理的理论构架符合人类循序渐进的认知规律；具体到实践中，则有一个直观的量化公式用以计算。贝叶斯统计法为人诟病之处在于它要求一个起始的“主观判断”，显得不够客观中立，因此现代科研中使用的标准统计学原理是所谓的频率法，即完全通过随机频率来计算概率。近年来，由于发现绝大多数的科学结论无法重复，实质上是把噪音误作了信号，人们开始质疑频率法的有效性或客观性，最近甚至有期刊禁止其使用。西尔弗认定产生这么多假信号（false positives）的原因就是因为科学家不按照贝叶斯法分析问题。实际情况当然没有这么简单，毕竟统计分析只是任何科研课题的一个方面，沿袭既定理论进行推导也是非常标准的实践；但了解贝叶斯法的原理并有意识地加以应用，应该对科研工作有所帮助。

另一方面，虽然贝叶斯法有起始的主观判断，但并不执着于它的正确性，而是通过新的事实或数据不断地修正它；修正后的判断又成为新的“起始判断”，如此周而复之。换句话说，使用贝叶斯法的人不会守护一个坚定不移的“信仰”。这就是为什么西尔弗自我定位是“知道很多事的狐狸”。在跟朋友讨论时，我意识到“刺猬型”的读者本能地会对此书嗤之以鼻。表面上作者仅仅是在介绍一种简单直观的统计学方法或思考方式，但这个方法的实质，是一种基于现实的理性思考与取舍，而这似乎涉及到人生哲理中一些更高深的东西。

这就回到本文开头的数独解题方式。“猜测法”运用的其实就是一种类似的简单原理，即用数据去测试自己的预测，然后不断修改预测而找出正确答案。这种办法所向无敌，可以解答所有的数独，而且不费心力。但如前所述，它缺乏挑战性，也不具美感，真正热爱数独的人会尽量避免应用。从这个微不足道的领悟推而广之，就能猜出“刺猬哲学”的吸引力。刺猬们的内心有自上而下的主导，生命有意义有目标；眼里的世界井然有序，而不是一团乱麻、骰子乱飞。因此，从最高层面上看，“狐狸哲学”是空洞的、功利性的；即使如西尔弗所言，他的囊中绝技能够更好地解答日常生活中大大小小的问题，却更凸显其琐碎小气的特征，而刺猬们是不看重这些的。

狐狸怎么回答呢？它会说，这样的人生哲学自有其壮美之处。面对强大无情的自然，无助的人类，就是借助这一丁点认知能力，从一个卑微的开始，试验纠错，纠错试验，创造出了一片属于自己的天地（人类文明）。事实上，这个哲学太成功了，人类面临的挑战已经变成了如何约束自身，如何善待自然。

这似乎有点离题万里，但贝叶斯当初发展他的理论时，恰恰就是为了解答哲学问题。所以，这本书至少可以从两个层面读，学习各个章节的大大小小问题，增长知识，把握预测的基本原理，并期望在实际生活中运用之；在这些实际问题的尘嚣之中，发现哲理，做一些自省和思考。

1. F. Flam: Odds, Continually Updated. http://www.nytimes.com/2014/09/30/science/the-odds-continually-updated.html?_r=2