#管中窥豹读书计划第 412 本 #《魔鬼统计学》📕真正的 “协同过滤”，因为你的电影评分帮助网飞向其他人进行更好的推荐，而他们的评分又帮助网飞对你做出更好的推荐。互联网是这种服务的完美载体，因为互联网零售商可以用很低的成本跟踪顾客行为，并且自动聚集、分析和展示这种信息，为随后的顾客服务。📕所有这些协同过滤器都属于詹姆斯・索罗维基（James Surowiecki）所说的 “群体智慧”。在一些背景下，集体预测比群体中每个成员能够取得的最佳预测更加准确。通过计算他们的平均估计值，你就可以得到群体智慧。事实反复证明，这个平均估计值很可能比任何个体估计值更加接近真值。📕良好数据分析的简单预测力量可以应用于人们反复做同一件事情的几乎所有活动。超级数据分析可以使商业交易中的某一方获得优势，但是这一方不一定是卖家。随着越来越多的数据日益免费开放，Farecast 和 Zillow 等代表消费者的服务会挺身而出，对其进行分析。📕回归公式具有 “即插即用” 的特点 —— 只要插入指定参数，就会得到预测结果。当然，不是所有预测都具有同等价值。河流不会高于源头，回归预测也不可能克服数据不足的问题。如果你的数据集合太小，任何回归都不会给出非常准确的预测。📕样本大小是关键。如果我们得到足够大的样本，我们就可以相信，得到正面的小组与得到背面的小组具有相同的统计特性。如果我们接下来进行干预，以不同方式对待正面小组，我们就可以测量完全来自干预的效果。超级数据分析师称之为 “处理效应”。它是数字分析领域的因果圣杯。经过随机化处理，两个小组在其他每个维度上具有相同特性。

大部分内容仍是作者《大数据思维与决策》（人民邮电出版社）内容，何帆老师读书俱乐部推荐过。

这本书已经出版十多年了，AI 的火爆就是超级数据分析的胜利。

魔鬼某某学，第一眼就想到了《魔鬼经济学》，后来查了下资料，果然这本书的作者伊恩・艾瑞斯便是《纽约时报》“魔鬼经济学” 博客的专栏作者之一，这本书以《魔鬼经济学》的文风来讲统计学，起名为《魔鬼统计学》，也有向《魔鬼经济学》致敬之意，该书也得到了《魔鬼经济学》作者史蒂芬・莱维特的强烈推荐。既然冠以魔鬼二字，便知道这不会是一本统计学的教科书，而是一本度来饶有趣味的统计学科普性读物。不仅于此，其实，书里几乎不会涉及到什么统计学基础知识，而是通过一个个实际例子，阐述了基于统计学理念和算法逻辑计算结果对于人们实际社会决策的预测和影响。书中开头的一个例子很有意思。上世纪八十年代，经济学家奥利・阿森费尔特给出了一个计算葡萄酒品质的计算公式。公式很简单，仅考虑冬季降水量、生长季平均气温和收获期降水量三个因素，赋予三个因素不同的系数值和公式修正值，加总便得出某批葡萄酒的品质得分。意料之中的，这个公式在当时被诸多葡萄酒评论家抨击，他们除了无法接受自己的专业知识受到挑战外，更觉得用这样一种数字化的定量估计来评价葡萄酒，是极其荒谬可笑的。可是，基于阿森费尔特的公式算出来的葡萄酒品质分数，却与实际情况高度的相符，只是这样的正确在当时并不受人欢迎，但不管如何，阿森费尔特的贡献却并未被磨灭，且确实引起了一部分人对这个数学公式及其应用性的关注。人们的直觉真的靠谱吗？在被一次次的挑战后，这是个很容易回答的问题。我们不得不承认，我们的直觉和经验知识正在一次又一次地输给数据分析。过去，许多决策仅仅依赖于经验和直觉的某种结合。但今天，我们已经更相信数据的客观性。数据本身是不会骗人的，骗人的是数据本身的真实与否以及解读数据的方法。在人类的文明发展中，数据早已一步步地取代了人们的感官判断。时间，让人们更精确化了早中晚；温度，让人们跟明确了冷热关系；速度，让人们不再停留于快或者慢。同样，在数据化的今天，所有的东西，几乎都能被数据化，换句话说，都能用数据来加以衡量。在此基础上，统计预测便孕育而生。回归和概率是统计学的两个基本概念。通俗点说，回归就是把引起一件事物变化的相关因子都换算成数值，并赋予每个因子一个特别的系数，由此形成的这些因子与该事物关系的方程式。基于这样的方程式，我们便能够知道这些因子的变动会导致最终事物结果会发生怎样的变动，再延展到时间推移，变形成了最初的预测模型。所有的预测都是基于这样因子间的互相关联影响通过计算机复杂算法，最终推演得出。基于事物与事物间的相关性，以及同类事物海量的数据收集和经验学习，所以网站能够推荐给你想要看的、想要买的东西，而每一次推荐的成功与否又会不断积累成为新的经验，以进一步优化相关性算法，再进一步精准预测。而概率，简单些说，便是每一个回归预测结果的成功率。所以，回归不仅能做出预测，而且可以告诉你预测的准确度。你也可以基于给出的准确度来做出最适合自己的决策。你有没有发现？现在到医院看病，医生大多都会让你去做一系列的检查，通过机器输出的检查结果来对你做出准确的诊断。有些人说，这是医院想让你花费更多的钱的伎俩，其实，这恰恰却是让以数据驱动决策的先进。书中基于循证医学，做了更进一步发展设想，未来你到医院看病，医生只需要把你的症状输入系统，机器便能自动输出你可能生了哪些病以及相应的准确率，通过系统的输出判断，能大大降低误诊的可能性。这不是梦想，因为有些国家已经这么干了。1997 年上映的一部优秀的美国电影《千钧一发》，便展示了一个在超级预测技术下，对人类道德的践踏。在科学极度发展下，孩子一出生就能够被测算出他未来患上各种疾病的概率以及预计的寿命。有的人的一生，在成为受精卵的那一刻开始，便已然画上了句号。影片的主人公因为天生基因不佳，从小就被父母嫌弃，长大后更无法获得梦想的工作。这是个极好的年代，但同时也是个极坏的年代。同样，书中也给出了几个现实中的公司：eHamony、Perfectmatch 和 True.com，几家公司都致力于研究人与人的和谐关系，并通过算法得出两个的兼容指数，甚至以此来推荐公司会员的终身伴侣。这看来可笑的事情，却着着实实在发生。著名英剧《黑镜》在第四季里，就有个类似的故事。单身男女们通过约会软件寻找真爱，约会软件不仅能帮他们选择约会对象，更能告诉他们最佳的约会时间和约会方式，并全程都有提醒控制。当然，这是个逃离系统控制的自由意志觉醒的故事，但也在提醒着人们，过分的数据化预测可能会遭致违背人伦和道德的后果。与此同时，我们也在反思，在系统预测越来越精准，在你越来越依赖于系统推荐的同时，是否是一次人脑的退化。正如书中第一章的标题：“谁在替你思考？” 是的，系统推荐本就是一把双刃剑，信息全面数据化的前景同样让人激动也让人害怕，虽然书中说对于超级数据预测很多的抵触现象都可以用利己因素解释，但不可否认，人类的隐私和自由意志可能会受到不小的冲击。回头再看书名，称之为 “魔鬼”，似乎又隐隐有了另一种意味。