预测的质量也可以用“胆大”和“胆小”的预测数量来衡量。如果我在第二次世界大战之后的每一次总统选举之前都宣布,民主党获胜的可能性是50%,那么我一半的预测都是正确的,因为正好大约一半的总统是民主党人。但应该没有人会因为我把每次选举都看作一次猜正反面的抛硬币游戏,而称我为天才。
图8.3中圆圈的大小与每种预测的数量成正比。因此,FiveThirtyEight预测图的底部和顶部大圆圈说明,他们做出了更多的“大胆”预测,而不是位于中间的“胆小”预测。而预测市场则稍微不那么“大胆”,尤其是在碰上热门候选人的时候。这可能是由赌博中所称的“冷门偏差”(longshotbias)所致,总有人会对一件不太可能发生的事情下个很小的注,幻想以小博大。这些人几乎总是(概率大于1/20)输钱。
通过计算布莱尔分数(Brier score)①,我和同事亚历克斯发现,在过去的三个选举年中,模型和大众对各州的预测水平相差无几。2012年的大选中,FiveThirtyEight的表现略好于预测市场,当时它做出了一个非常大胆的预测,认为奥巴马是一个明显的热门人选。PredictIt上的能人异士和FiveThirtyEight的模型在2016年总统选举的预测上平分秋色。双方针对绝大多数州给出了相似的判断,同时双方在对特朗普的预测上也不像媒体说的那样错得离谱。
卡尔·迪格勒和他的直觉预测排在第三位,但他的布莱尔分数与前两名的差距不如我想象得那么大。预测2016年各州选举结果的时候,卡尔的布莱尔分数为 0.084,FiveThirtyEight为 0.075,PredictIt 则为 0.070(布莱尔分数越低越好)。在此,我不得不夸赞一下维吉尔·德克萨斯,他并非像菲利普·泰特洛克研究中的投飞镖的黑猩猩那样,是一个差劲的“专家”。
不过 PredictIt 和 FiveThirtyEight的比较存在一个问题。虽然它们都做出较为合理的预测,但这些预测并不是相互独立的。
第二部分 算法想控制我们们的情绪和行为吗?
①布莱尔分数是衡量概率校准的一个参数。
89