信号与噪声查看源代码讨论查看历史
 |
内容简介
从海量的大数据中筛选出真正的信号，
“黑天鹅”事件也可提前预知！
“本书将成为未来十年内最重要的书籍之一。”——《纽约时报》
“对于每一个关心下一刻可能会发生什么的人来说，这都是本必读书。”——理查德•泰勒
《华尔街日报》2012年度10本最佳非虚构类图书之一
《经济学人》杂志2012年度书籍
亚马逊网站2012年度10本最佳非虚构类图书之一
长踞《纽约时报》畅销书排行榜达6个月之久
天气预报说降水概率为60%，你出门会带伞吗？
被雷电击中的概率到底有多大？
地震发生之前，我们真的无法预测吗？
中情局为什么会忽略“9.11”恐怖袭击发生的信号？
禽流感为何会突然爆发，又突然消失？
为什么大数据时代的预测更容易失败？
人类每时每刻都需要对未来进行预测并制定相应的策略，如此国家、企业乃至个体才能持续发展，因此我们对于“下一刻会发生什么”倍加关注。
在信息爆炸的大数据时代，随着我们的生活节奏变得越来越快，我们所要做出的预测的速度和数量都在不断增加。一个不容忽视的事实是，现实世界中的很多预测都失败了，由此付出了巨大的社会代价。“9.11”恐怖袭击事件、2008年金融危机、卡特里娜飓风、2011年日本大地震、禽流感肆虐，这些“黑天鹅”事件的发生在很大程度上应归咎于糟糕的预测，也就是说预测者们被众多信息中的噪声干扰，而忽视了其中真正的信号。
作者最为美国最具影响力的预测专家之一，检视了从飓风到地震、从经济到股市、从NBA到政治选举在内的众多领域的预测事例，旨在回答一个问题：如何才能从繁杂的海量数据中筛选出真正的信号，从而做出接近真相的预测。
真正优秀的预测者会用概率的方法思考问题，他们谦虚而且勤恳，他们能清楚地区分什么是不可预测的、什么是可预测的，他们注重能带领他们接近真相的成千上百个小细节，他们能辨识出什么是噪声、什么是信号。
从全球经济的健康到战胜恐怖主义，都依靠预测的质量。这本书可以给你想要的答案。
媒体与专家推荐
人们喜爱统计学，但统计学并不总能回馈给人们同样的爱。西尔弗的这本书带给我们一场睿智的、优雅的、科学与艺术交叉的预测之旅，从中我们可以领略到当大数据遇到人类本性时将会发生什么。在棒球比赛、天气预报、地震预测、经济预测和竞选投票等领域，西尔弗发现，糟糕的预测往往源自偏见、既定的利益和过度自信。在今天这样一个指标泛滥的世界，这本书给了我们一记及时的提醒：只有正确运用统计学工具的人，才能做出好的预测。——亚马逊网站
这本书对大众的精神启迪意义不亚于像约翰•肯尼斯•加尔布雷斯（曾引发对经济政策的讨论）这样的公共知识分子和像沃尔特•克朗凯特（曾改变对越南战争的看法）这样的社会名人，它将会成为未来十年内最重要的书籍之一。——《纽约时报》书评版
西尔弗轻松随性的语言风格让哪怕是最艰涩的统计资料都变得简单易懂。更重要的是，他的论据和案例都来自于费尽苦心的研究。——《华尔街日报》
西尔弗是统计学界的科特•柯本（美国已故著名摇滚歌手），他写作的这本新书既是一本实践指南，也是一部哲学宣言，通过一系列案例研究——从飓风到职业扑克牌手到恐怖主义，集中论述了一个主题：预测。对于那些想对未来做出更好预测的人和想验证他人预测正确与否的人来说，这本书都极具价值。——《波士顿环球报》
西尔弗以令人难以置信的轻松语言，写了一本关于如何做预测的入门读物，每个人都应该读一读。——《华盛顿邮报》
这本书就像一座宝库，里面有数不尽的宝藏：贝叶斯定理与概率论，运气和性格，扑克牌手对生活的看法，等等。然而最重要的是，它是帮助我们区分繁杂数据中哪些是噪声、哪些是信号的“测试仪”，是我们当下最需要的基本工具；它有时还能帮助我们正确评估那些我们不熟悉却必须了解的信息的价值。——《时尚先生》
统计学或预测是让很多人望而却步的话题，而本书就是关于这个话题的一本有趣的普及读物，棒球比赛、职业扑克牌手、政治选举等例子足以勾起读者的好奇心，甚至会让他们废寝忘食地阅读，而且其中潜藏着帮你做出正确预测的能量。——《石板》杂志
这本书与畅销书《黑天鹅》的观点有异曲同工之妙。西尔弗认为，人类对自己的预测能力往往过度自信，以至于他们排斥用概率的方法思考问题，也不允许自己的预测模型中存在不确定性。——《经济学人》
西尔弗剖析了我们对股市、风暴、体育等并非一成不变的事物所做的预测。——《连线》杂志
对于身处大数据时代的每一个企业、每一场运动赛事和每一个政策制定者来说，这本书都不可不读。——《福布斯》
非常棒的一本书，而且充满阅读的乐趣。西尔弗用这本书给我们制造了一个愉悦的信号。——蒂姆•哈福德，《金融时报》专栏作家
预测很难，特别是对于未来的预测。在这本重要的著作中，西尔弗解释了为什么专家的预测有时正确，有时却一无是处；也分析了为什么我们必须未雨绸缪。对于每一个关心下一刻可能会发生什么的人来说，这都是本必读书。——理查德•泰勒，《助推》作者
在大数据时代做预测可能跟你想象的完全不同。这本观点新鲜且原创的书，为我们区分关于未来的预测中哪些是主观现实、哪些是客观现实，提供了意想不到的启发性视角。作者还指出，只要我们明智地从糟糕的预测中吸取教训，那我们一定会在科学、技术和政治的预测方面取得进步。——洪博培，前美国驻华大使
在你读完这本书后，你一定会更了解为什么有些预测模型有效，而有些毫无用处。你也会更加注意接下来一周的天气预报，而对一周以后的天气预报则毫不在意。西尔弗将一个复杂的、艰涩的话题变成了有趣的、轻松的和亲切的。——皮特•奥斯扎格，前美国国家管理及预算办公室主任
西尔弗并没有提出一个如何做出好预测的综合性理论，但他的这本著作的确有利于帮助人们在诡谲多变的商业世界中做出正确的预测。——克里斯•威尔逊，谷歌公司开发大使
作者简介
纳特•西尔弗，统计学家、作家和《纽约时报》政治性网站538.com的创始人。2008年美国大选期间他成功预测出49个州的选举结果，2012年大选期间更是成功预测出全部50个州的选举结果，被称为“神奇小子”。2009年，《时代》周刊将他评选为全球100位最具影响力的人物之一。
原文摘录
预测时，我们需要在好奇和怀疑之间寻求平衡。这两者是可以相互协调和融合的。我们越是渴望检验自己的假设，就越愿意承认我们关于世界的知识存在很多不确定，越愿意承认不可能做出完美的预测，越不会陷入失败的恐慌中，也会有更多的自由让思维驰骋。对自己不了解的事物作进一步的了解，我们也许就能做出更多准确的预测。
书评
Nate Silver如今俨然美国权威的政治观察分析家。这位纽约时报（New York Times）广受关注的政治选举预测分析博客FiveThirtyEight 的作者，准确预测了2012美国总统大选所有50个州的结果，超越了自己在2008年总统大选中49个州结果预测正确的记录。但是如果Silver也出错了呢？恐怕最惊讶的应该是Silver自己本人。这也是《信号与噪音》这本探讨了从德州扑克到气候变暖这样广泛的书，为什么如此有用和重要的原因。
纵观人类历史，人们总是认为那些能够预测未来的人，都拥有极其特别甚至是神圣的能力。从古希腊德尔菲神庙的神谕、中国古代传统中运用易经占卜，直到今天在金融危机前提出警告的Nassim Taleb所认为的，“黑天鹅”事件远比我们所认为的要多。
现代世界中，人类对预知未来的渴求几乎成为一种心魔。生活中有无数“今后会怎么样”的问题萦绕其间：禽流感究竟会不会大流行？气候变暖影响的程度会有多大？我退休后社保基金够不够支付我的养老金和医疗费用？下半年到明年A股的大势会怎么样？我们既会不断收到诚实但是不够准确的预测答案，也会受到某些神棍和别有用心的人利用这种心理而达到某种目的的忽悠和恐吓。所以说，Silver的成就是名符其实的，尽管预测选举结果并不是与这些问题相关的体系，但是，之所以他是如此特别的预言家，并不在于他帮助我们更加智慧的预测未来，而是在于他警告我们，对于未来的确定性我们无法全知全能。
在继续探讨之前我们需要先讲讲作者自己的故事。Silver2000年从芝加哥大学经济学专业本科毕业之后的头几年，一直在毕马威会计师事务所做国际税务顾问，工作之余他决定利用自己掌握的统计学知识，构建了一个名叫PECOTA（Player Empirical Comparison and Optimization Test Algrithm）的数学模型，来预测MLB美国职业棒球联盟球员的表现走向。他的模型灵感来源于奥克兰运动家队经理Billy Beane运用的统计思想（Billy Beane带领奥克兰运动家队的传奇事迹后来被Michael Lewis写成书，就是Moneyball，同时被改编成同名电影，非常引人入胜）。后来的一系列事实证明了PECOTA模型的正确，然后Silver将模型卖给了另一家专业从事棒球分析预测的公司，小赚一笔，当然了，PECOTA也不是绝对的百分百正确，一样会有预测失误的时候。2011年底回顾过去六年历史时Silver发现，他的模型能够很好的应用在小联盟运动员进入大联盟比赛后的成功，但是棒球球探的经验分析结果也会比模型做出更好的预测。经历过这些，他在书中不断强调这样的观点：仅仅依靠数据挖掘是不够的，人的经验和决策是无法替代的。
就在完善应用PECOTA模型的同时，Silver还进入了职业赌博的世界，并迅速打入了世界扑克巡回赛（WSOP）。顶级德州扑克赛事的层面上，需要在快速发牌中运用惊人的概率计算能力，以及其他比赛技能，刚开始时Silver收获颇丰。然而，在经受了一连串损失之后，他在2007年彻底放弃了德州扑克，主要在于比赛愈发艰难时他难以持续改进他的方法。他在书中写道：“玩德州扑克比赛那几年教会了我很多，即在尝试理解世界和预测它的未来进程时,概率在我们生活和所带来的错觉妄想中扮演的角色。”
这些并不是我们经常在电视里砖家访谈和经济评论网站上读到的那种耸人听闻故弄玄虚的自传故事。Silver的观点是，我们需要使用概率化方法来思考，而不是在虚幻的确定性中得到满足。他的FiveThirtyEight博客中的预测同样是使用这样的思维方法，在12年美国大选中的不同时点，Silver对奥巴马胜出概率的预测从最低的59%到最高的91%（选民投票前夜），当然了，即便是91%概率胜出的预测也可能失算——好比玩德州扑克你就算拿到一手葫芦牌也可能会输一样。
Silver使用的方法可以总结为两个方面：首先是获取尽可能多的数据，以总统选举预测为例，为各州层面上的选举数据；其次是使用基于贝叶斯方法的统计技术，根据人口统计和其他因素对数据进行均值和校正。运用贝叶斯定律的技术方法，需要对未来做出最优预测，然后在获得新的信息数据后不断修订调整。
《信号与噪音》一书中大部分探讨的领域都与Silver的专业并不相关，从德州扑克到国际象棋，从金融危机到气象预报，但这些都是贝叶斯定律的应用范畴。气象预报的模型已经非常准确和完善，但是根据作者的观点，气象预测仍然受到高水平不确定性的影响。社会科学领域的预测或许是最容易被击败的，例如在2007年末，《华尔街日报》对08年经济形势的一个调查结果显示，经济学家们认为2008年仅有38%的概率进入衰退。事实结果证明，2008年后直至今日，美国经济依然没有走出低谷。
非常令人惊喜的结果是在气象预报领域，可以称之为预测罕有的突破，并且在最近几十年间不断优化进步。就在1980年代，美国国家飓风中心还无法提前一天在100英里精度内预测飓风的登陆地点。但是今天研究者已经对飓风活动建立了精密的模型，能够在同样精度范围内提前三天做出预报，并告知处于飓风威胁区域的人们精确的时间进行疏散。美国国家气象局预报有20%的降水概率时，在那段时间水平里的的确确是有20%的可能会下雨。
优秀的预测有两个主要来源：可提供反馈的大量数据，能让预测者持续根据现实检查和修正他们的模型。这也可以帮助我们理解为什么气象系统能够有效运行。经济学家的预测为什么通常都十分糟糕，关键在于存在海量数据，同时缺乏能够有效解释经济活动运转的可靠模型，这就导致了难以解释数据的真实含义。换句话讲，他们难以从“噪音”中提取出“信号”。Silver这样总结：“信号代表着真实，噪音使我们远离真实。”然而，找出信号，并不简单的是一个技术性难题。比如，在911恐怖袭击发生之前，确实存在一些可以预警的线索和情报，但是国防部和中央情报局的官员却忽视了这种级别的自杀式恐怖袭击，根源在于并没有想象到这种可能性竟然会存在。
“我们可能高估了自己预测未来的能力”，Silver写道。这是一条我们不会从各种深具权威的专家口里听到但又非常重要的观点。预测是一门必要但是危险丛生的艺术。运用自身能力观察世界时应保持谦逊，对待别人的断言应心存怀疑。这些经验和教训，或许极大的提高了本书的信噪比吧！
[1]