概率论的几个悖论

引子 概率论(Theory of Probability)简介

概率论是研究自然科学中随机现象的分布规律的数学分支，最早起源于人们对机会游戏的思考和探索。现代数学体系中的概率论，已经是经过集合论公理化的基本数学工具之一，它可以被称作是一个公理系统，一个将现实中的随机现象通过建模抽象成集合和函数再进行运算得到其“概率(Probability)”的方法系统。
但是今天我们不讨论那些过于抽象的学术问题，就来聊一聊一些概率论中比较有趣的“悖论”，历史上这些悖论也为促进概率论的发展起了很大的作用；也希望尚未学习过概率论的读者可以在阅读本文之后对概率论的相关内容有一定了解，如果这部分读者愿意把它视作一份简单的概率论的入门引导并产生对概率论的学习兴趣那笔者可以说是相当开心了。
本文采用尽可能简单、直观的方式进行说明，但仍然有不少地方涉及到一些简单的定义和定理，对此笔者用简短的文字在下面给出了它们(样本空间、事件、概率等过于基础的除外)。

贝叶斯定理(Bayes’ Theorem)

贝叶斯公式是18世纪英国数学家贝叶斯(Bayes)提出的用来求边缘概率一个的定理。
完整的定理被提出时包括了多个事件的情形，但由于本文只需了解两个事件的情形且对多个事件的情形仅仅是两个事件的情形的数学归纳，所以在此仅对两个事件的情形作较详细的讨论和证明，有兴趣的读者可自行进行深入学习，在搜索引擎搜索关键字“贝叶斯公式”或“贝叶斯定理”就可以很容易地搜索到相关内容。所谓边缘概率也即条件概率(Conditional Probability)，是指一个事件$E$在另一个事件$F$已经发生的情况下的概率。
一般地，我们有以下定理：

设非空集合$S$是一次试验的样本空间，$E,F$是样本空间$S$中的两个随机事件，且$F$不是不可能事件或必然事件，即$0 < P(F) < 1$，则称$P(E|F) = \frac{P(EF)}{P(F)}$为事件$E$在事件$F$已经发生的情况下的边缘概率。

如果我们写事件$F$的对立事件为$\bar F$，则$P(\bar F) = 1 - P(F)$，显然：

$$\begin{aligned} P(E) &= P(EF) + P(E\bar F) = P(E|F)P(F) + P(E|\bar F)P(\bar F) = P(E|F)P(F) + P(E|\bar F)[1 - P(F)] \end{aligned}$$

即事件$E$发生的概率等于在另一个事件$F$已经发生的条件下$E$的条件概率与在$F$已被确认不发生的条件下$E$的条件概率的加权平均，权重就是作为条件的事件$F, \bar F$发生的概率，这就是我们所要说到的贝叶斯定理在两个事件的情形，我们在下文还要用到它的另一个变形：

$$P(E|F) = \frac{P(F|E)P(E)}{P(F)}$$

读者可以由上面给出的第一个形式经过简单的变形得到也可以直接从条件概率的定义式推导得出。

数学期望(期望,Expectation)

概率论中除了概率之外另一个非常重要的量就是期望，它的意义与我们日常生活中所谈及的“期望”是相似的，就是对试验结果的一种预期，它被定义为随机变量的一阶矩(First Moment)，简而言之就是对一个随机变量所有可能取值的一个加权平均，权重就是变量取该值的概率，我们将在下面通过简单的例子展现其计算过程。在这里我们不就矩(Moment)和期望的推理过程进行过多的讨论而只给出其定义，有兴趣的读者可以自行进行更进一步的了解。
为了说明期望的计算过程，骰子可谓是不二之选了，几乎每本概率论的入门教材都会采用骰子作为例子，本文亦是如此：掷一枚均匀的六面体骰子，显然可能出现点数的值为$X = 1,2,3,4,5,6$，每个值出现的概率都是$\tfrac{1}{6}$，故可能出现点数的期望为：

$$E[X] = \sum\limits_{x = 1}^6 {xP\{ X = x\} } = 1 \times \frac{1}{6} + 2 \times \frac{1}{6} + \cdots + 6 \times \frac{1}{6} = \frac{7}{2}$$

在这里我们还看到，对于一个随机变量，它的期望值可以不等于它的任何可能取值，简单地说，这就好像一组样本的平均值可以不等于任何一个样本的值。

圣彼得堡悖论(St.Peterburg Paradox)

面对充满了不确定性一次的赌博，或者是一次投资，人们常常会用对未来的期望来作出选择，我们似乎可以确定地说期望就是人在面对风险进行决策时的唯一考虑因素了，显然在不进行深思熟虑的情况下几乎没有人会对此提出质疑。
但是在18世纪数学家丹尼尔·伯努利(Daniel Bernoulli)的哥哥尼古拉·伯努利(Nicolaus Bernoulli)就提出了一个悖论彻底地反驳了这种观点，颠覆了人们的认知，这就是后来以圣彼得堡悖论为名广为流传的一个概率论悖论：

假设一名赌徒参加一场这样的赌局，连续抛掷一枚均匀的硬币，如果第$n$次抛掷时出现正面，则赌局结束，赌徒赢得$2^{n-1}$元；如果出现反面，则进行下一次抛掷。那么赌徒赢得钱数的期望是多少？如果你是那个赌徒，你又愿意为了参加这个赌局支付多少钱的门票呢？

这个悖论给我们提出了两个问题，对于第一个问题，我们很容易计算这个期望值是无穷大：

$$E = \frac{1}{2} \times 1 + \frac{1}{4} \times 2 + \frac{1}{2^n} \times {2^{n - 1}} + \cdots = \sum\limits_{n = 1}^\infty {\frac{2^{n - 1}}{2^n}} = \sum {\frac{1}{2}} \to + \infty$$

但在面对第二个问题时，显然我们都是明智的，不会愿意为了参加这个赌局支付价格太高的门票，这就把在上文中提出的那个观点否认了。接下来要考虑的问题是，你可以接受的最高的门票价格具体又是多少呢？2元？10元？20元？

期望效用理论(Expected Utility Theory)

对于这样一个矛盾的事实，丹尼尔·伯努利也就是前面提到的弟弟给出了一个较为合理的解释，人在面对风险进行决策时并不是只看重收益的期望，而是看重不同可能性下效用的期望，但是效用和期望的函数关系并不是线性正相关的，而是边际递减的。伯努利用对数函数作为效用函数来计算这个赌局的期望效用，即：

$$E(U) = \sum\limits_{n = 1}^\infty {\frac{\ln ({2^{n - 1}})}{2^n}} = \ln 2\sum\limits_{n = 1}^\infty {\frac{n - 1}{2^n}} = \ln 2(\frac{1}{2} + \frac{1}{4} + \frac{1}{8} + \cdots ) = \ln 2 < \infty$$

这样一来，对于伯努利来说，他愿意为这个赌局支付的门票价格最多就只有$e^{E(U)} = 2$元。
但事实上我们在选择这一期望效用函数时忽略了一个问题，为什么要选择对数函数作为效用函数呢？对于这一问题我们无法用较少的篇幅进行阐述，事实上在此处应该认为这是一个被假设出来的客观存在(我们几乎无法想象现实中一个投资者在决策时的效用函数具体应该是怎么样的)，而选择一些较简单的函数作为模型只是为了统计学上的方便。
但在此笔者可以给出一个比较简单的解释，绝大多数时候人是风险厌恶的，尤其当你像在做数学题一样考虑这个悖论，而不是在充满噪声的市场面前投资股票。所谓风险(Risk)在此处可以简单地理解为方差，这就像我们在对这一赌局进行考量时总是很自然地把一些概率极小而回报极高的事件(如连续10次出现反面)忽视了，尽管它们对期望值的贡献是等同的。但如果赌局能够以充分大的次数重复进行，显然我们对这些极小概率事件又会有不一样的看法，所以可以想象的是，随着重复次数的增加，所选取的效用函数模型应该越接近于线性(对应风险中性，可以接受更高的门票价格)。

有效市场悖论(Paradox to Efficient Markets Hypothesis, Grossman - Stiglitz Paradox)

从该悖论的英文名上可以看出，这一悖论的提出者提出这一悖论最早是用来否定有效市场假说(Efficient Markets Hypothesis)的，所谓有效市场是指资产价格能够充分反映所有有关、可用信息的市场，这一假设的本质上是说参与市场的投资者都足够理性，能够在短时间内掌握市场的所有信息并对这些市场信息作出合理的反应，反应包括参与市场的投资者的一切行为。
这一悖论在逻辑上是说，搜集市场的信息是需要成本的，如果市场是有效的，那么就没有人会愿意支付成本来搜集信息，那么信息又怎么能有价值而被包含到资产的价格里呢？上面这种表述看上去很深奥，但这个悖论简单说来甚至可以是一个笑话：

一位经济学教授和他的学生走在大街上，突然学生看到地上散落着一些钱，于是马上提醒教授：“老师，地上有钱。”听了学生的话，教授却没有低头去捡钱反而头也不回地继续向前走了。

看到这里可能有人会开始嘲笑教授，有人会开始揣摩教授的思想。显然一位经济学教授不可能像一些人想的那样是个傻瓜，也并不像大多数人所想的那样富有到不愿为了一笔小钱而弯腰，事实上这个笑话中的这位经济学教授是有效市场假说的拥护者。前面已经提到，有效市场的所有参与者都能很快地了解市场中的所有信息，当然包括大街上散落的钱，因此只要钱掉在大街上马上就会被人捡走，根本不可能会发生大街上散落着一些钱这样的事情。
看到这里相信大多数人已经发现了矛盾，如果所有人都像教授这么想，那么大街上真的散落着一些钱又怎么会被捡走呢？这就从逻辑上论证了市场不可能有效。

有效市场理论的实用性

上面给出的悖论已经否定了有效市场的存在，那么是否有效市场理论就一文不值了呢？答案显然是否定的，爱因斯坦的相对论也论证了牛顿经典力学的巨大漏洞，但牛顿经典力学依然有用武之地，作为宏观低速情形下相对论的近似。显然有效市场理论是否实用关键在于有效市场是不是现实中市场一个不错的近似。
相信很多人都有注意到，有效市场假说背后隐含的逻辑是：多人做出的判断要优于个人做出的判断，群体智慧要高于个人智慧。一个证券的价格所反映的是成千上万交易者在多次交易后达成的共识。可能有人很想持有这个证券的期权愿意高价购买，也可能有人急需用钱正在低价出售这个证券的期权，这样的投资者都将破坏市场的有效性；但同时我们也要注意到永远只有极少数人愿意这么做，在这些极少数破坏市场的有效性的交易发生的同时，还有绝大多数投资者正在以正常的价格进行交易，这些正常交易都将巩固市场的有效性。
正像经济学家布莱克(Black)所说的那样，极少数噪声交易者(Noise Trader)和大多数信息交易者(Information Trader)之间时时刻刻正在发生的交易，形成了一个90%的时候有效的市场。

车羊问题(Car and Sheep Behind Three Doors)

相信看过电影《决胜21点》的读者对这个问题都不会感到陌生，所谓车羊问题主要是说：

假设你作为嘉宾参加一档娱乐节目，在一个有奖竞猜环节你面临着三扇关闭的门，其中一扇门后藏着一辆汽车，选中并开启那扇门你就可以赢得该汽车，另外两扇门后则各藏着一只羊。当你选择了一扇门未开启时，主持人开启你未选择的剩余两扇门中的一扇门，开启后露出了一只羊，此时主持人询问你要不要更改选择另一扇未开启的门。

事实上这一问题并不是在电影《决胜21点》中首次出现的原创剧情，在此之前在美国一档娱乐节目Let’s make a deal中便真实出现过，它的真正闻名还得益于美国专栏作者玛丽莲(Marilyn)在杂志《Parade》创办的一个专栏Ask Marilyn，玛丽莲在这个专栏解决读者向她提出的各种问题，玛丽莲当时给出的答案是有必要更改选择，但是这期专栏一经刊出就遭到了各界人士的各种反对，最后她不得不另外制作了两期专栏来说服大家，但从那时起，各大论坛便从来不缺这一问题的讨论者，直到现在仍然可以在一些网络论坛上看到它的身影，因此这一问题又常常被称作“玛丽莲问题”，它确然是专栏Ask Marilyn所有问题中最著名的一个。

两种答案

车羊问题的一个隐含假设是参与嘉宾的目的是为了赢得汽车，因而问题主要在于，更改选择会不会增加赢得汽车的概率。
关于车羊问题的讨论至今没有停止过，一个重要的原因就是在讨论过程中人们通过不同思路可以得到两种不同的答案：

• 主持人打开了一扇门并露出了羊，那么原来三选一的问题就变成了二选一的问题，更改选择和不更改选择分别对应着一扇门，嘉宾赢得汽车的概率都是$\tfrac{1}{2}$，没有必要更改选择；
• 在你选择一扇门之前，该问题是一个三选一问题，此时嘉宾选择的任何一扇门赢得汽车的概率都是$\tfrac{1}{3}$；在主持人打开一扇门并露出了羊之后，主持人所打开那扇门对应的$\tfrac{1}{3}$的概率自然不会凭空消失，嘉宾选择那扇门对应的$\tfrac{1}{3}$的概率依然不变，因此这部分概率是被合并到了另一扇门上，所以此时另一扇门对应的概率变为$\tfrac{2}{3}$，因此有必要更改选择。

枚举法巧妙解决问题

事实上有时候我们对某些问题的复杂印象仅仅是表面上的，这种表面上的复杂只需通过一些简单甚至是无脑的小技巧就可以简单化解，因此对于车羊问题，不妨试试小学数学老师曾经教过我们的枚举法：

• 嘉宾首次选择的门后面藏着汽车(概率为$\tfrac{1}{3}$)，则无论主持人选择的是哪一扇门；嘉宾更改选择都只会开启一扇藏着羊的门；
• 嘉宾首次选择的门后面藏着羊(概率为$\tfrac{2}{3}$)，则主持人选择的门是另一只羊；嘉宾更改选择一定会开启藏着汽车的那扇门。

通过枚举，我们发现，参赛者更改选择后赢得汽车(不更改选择不能赢得汽车)的概率恰好等于首次选择的门后面藏着羊的概率$\tfrac{2}{3}$，参赛者更改选择后不能赢得汽车(不更改选择赢得汽车)的概率恰好等于首次选择的门后面藏着汽车的概率$\tfrac{1}{3}$，因此更改选择会增加赢得汽车的概率，因此有必要更改选择。

概率建模

对上面通过枚举法得到的答案思索片刻，似乎能明白其中的暗藏的玄机了，但似乎仍觉得这样的答案有一些奇怪，这也就是在就此问题的讨论过程中双方都各执一词最终却往往难以得到结论的原因，甚至还出现一些形如“这个问题本就有两个答案”的荒诞说法。这样的说法在数学上显然是站不住脚的，这时候我们不妨采用概率建模检验一下这一答案的正确性：
如果只考虑结果，样本空间由一组事件组成：

• 事件$E$：嘉宾选择的门后面藏着汽车；
• 事件$\bar E$：嘉宾选择的门后面藏着羊。

其中$P(E) = \tfrac{1}{3}, P(\bar E) = \tfrac{2}{3}$，但显然这样的概率建模并不能为我们解决问题带来任何帮助，因为没有把主持人也考虑进去，为此我们还要设：

• 事件$F$：主持人选择的门后面藏着汽车；
• 事件$\bar F$：主持人选择的门后面藏着羊。

根据上面已经推导过的贝叶斯公式，可以得到：

$$P(E|\bar F) = \frac{P(E)P(\bar F|E)}{P(\bar F)}$$

上式左端的$P(E|\bar F)$即对应事件“在主持人选择的门后面藏着羊的情况下嘉宾选择的门后面藏着汽车”的条件概率，注意到“主持人选择的门后面藏着羊”这一事件$\bar F$作为条件等于是减少了一扇门了，因此这时可以说嘉宾是在只有两扇门和们后面藏着的物品所组成的新的样本空间中做出选择，即：

• 如果$P(E|\bar F) < \tfrac{1}{2}$，意味着不更改选择赢得汽车的概率小于更改选择赢得汽车的概率，因此有必要更改选择；
• 如果$P(E|\bar F) \geqslant \tfrac{1}{2}$，意味着不更改选择赢得汽车的概率大于或等于更改选择赢得汽车的概率，因此没有必要更改选择。

又知$P(E) = \tfrac{1}{3}, P{\bar F|E} = 1$，所以解决问题的关键点就落到了等式右边未知的唯一一项$P(\bar F)$的身上，也就是主持人选择的门后面有羊的概率，乍一看似乎应该和嘉宾一样有$P(F) = \tfrac{1}{3}, P(\bar F) = \tfrac{2}{3}$，算之得：

$$P(E|\bar F) = \frac{P(E)P(\bar F|E)}{P(\bar F)} = \frac{\tfrac{1}{3} \times 1}{\tfrac{2}{3}} = \frac{1}{2}$$

似乎又得到了与枚举法相悖的结论，这是因为我们默认了主持人和嘉宾一样不知道车藏在哪一扇门后而随机地选择了一扇门，而关于主持人是否知道门后面的情况也恰恰没有在题目中被提到，但还有最关键的一点没有被注意到，题目提到了主持人选择的那扇门开启后露出一只羊，这就意味着事实上无论主持人是否知道门后面的情况，他都选择了一扇后面藏着羊的门，应该取$P(\bar F) = 1$，应该算得：

$$P(E|\bar F) = \frac{2}{3} > \frac{1}{2}$$

这样得到的才是正确的结论，上面$P(F) = \tfrac{1}{3}, P(\bar F) = \tfrac{2}{3}$的情况对应的应该是主持人不知道门后面的情况且选择的门未被开启的情况，并不符合问题原义。
此外还有不少网友设计了程序来检验这一答案的正确性(由于版权原因在此不给出，有兴趣的读者可以通过搜索引擎得到)，结果都表明更改选择是正确的结论。

总结

这些悖论看起来诚然是有趣的，另一方面在于它们背后也在影射着深刻的自然科学发展的哲学原理：矛盾是促进发展的原动力。寻求真理的过程本质就是在寻求现在的理论无法解释的一些悖论，这样朴实，这样简单，这样有趣。