数据要素五论：信息、权属、价值、安全、交易

布的信息，而不是事件本身的含义_。

1. 熵的基础性质

类似于信息量，熵也有一些比较基础的性质 给定随机变量X，其可能的取值为 $\{ \mathsf { x } _ { 1 } , \mathsf { x } _ { 2 } , \mathsf { . . . } , \mathsf { x } _ { \mathsf { n } } \}$ ，记

$$
p _ { i } = P ( X = x _ { i } ) \ ; H _ { n } ( p _ { 1 } , p _ { 2 } , \cdots , p _ { n } ) = H ( X )
$$

那么熵有如下基本性质：

（1）连续性 H（X）应该是连续的，即概率较小的扰动也只会导致熵的少量变化

（2）对称性 如果对事件结果 ${ \mathrm { . } } { \mathrm { } } { \mathrm { } } { \mathrm { } } { \mathrm { } } { \mathrm { . } } { \mathrm { } } { \mathrm { } } { \mathrm { } } { \mathrm { . } } { \mathrm { } } { \mathrm { } } { \mathrm { } } { \mathrm { . } } { \mathrm { } } { \mathrm { } } { \mathrm { } } { \mathrm { . } } { \mathrm { } } { \mathrm { } } { \mathrm { } } { \mathrm { . } } { \mathrm { } } { \mathrm { } } { \mathrm { } } { \mathrm { . } }$ 重新排序，熵应该保持不变 即

$$
H _ { n } ( p _ { 1 } , p _ { 2 } , \cdots , p _ { n } ) = H _ { n } ( p _ { i _ { 1 } } , p _ { i _ { 2 } } , \cdots , p _ { i _ { n } } )
$$

其中， $i _ { 1 } , i _ { 2 } , . . . , i _ { n }$ 是1，2，…，n的一种重排_。

（3）最大性 所有结果的概率相等的情况下熵最大，即对于任意一种事件概率 $( { \mathsf p } _ { 1 } , \ { \mathsf p } _ { 2 } , \ . . . , \ { \mathsf p } _ { \mathsf n } )$ ，有可以通过琴生不等式加以证明

$$
H _ { n } ( p _ { 1 } , p _ { 2 } , \cdots , p _ { n } ) \leqslant H _ { n } { \Big ( } { \frac { 1 } { n } } , { \frac { 1 } { n } } , \cdots , { \frac { 1 } { n } } { \Big ) }
$$

（4）对于等概率事件，熵应该随着结果的数量而增加：

$$
H _ { n } \Big ( \frac { 1 } { n } , \frac { 1 } { n } , \cdots , \frac { 1 } { n } \Big ) < H _ { n + 1 } \Big ( \frac { 1 } { n + 1 } , \frac { 1 } { n + 1 } , \cdots , \frac { 1 } { n + 1 } \Big )
$$

（5）可加性 给定一个由n个均匀分布的元素组成的集合（总系统），若将这些元素分成k个盒子（子系统），每个盒子（盒子系统）有 $\mathrm { b } _ { 1 } , \ldots , \mathrm { b } _ { \mathrm { k } }$ 个元素，那么整个总系统集成的熵应该等于子系统的熵与盒子系统熵的概率加权和，即

$$
H _ { n } \bigg ( \frac { 1 } { n } , \frac { 1 } { n } , \cdots , \frac { 1 } { n } \bigg ) = H _ { k } ( b _ { 1 } , \cdots , b _ { k } ) + \sum _ { i = 1 } ^ { k } \frac { b _ { i } } { n } H _ { b _ { i } } \bigg ( \frac { 1 } { b _ { i } } , \frac { 1 } { b _ { i } } , \cdots , \frac { 1 } { b _ { i } } \bigg )
$$

1. 熵的更多数学性质

香农熵还具有以下属性，这些属性对于理解熵（通过揭示随机变量X的值而消除的不确定性）是有用的

（1）添加或删除概率为零的事件对熵没有影响：

$$
H _ { n } ( p _ { 1 } , p _ { 2 } , \cdots , p _ { n } ) = H _ { n + 1 } ( p _ { 1 } , p _ { 2 } , \cdots , p _ { n } , 0 )
$$

Cover T M，Thomas J A. Elements of information theory [M]. New York：John Wiley &Sons，1991.

（2）考虑（X，Y）（同时进行试验X和Y）所揭示的信息量（熵）等于通过进行两次连续试验所揭示的信息 比如，首先进行试验Y，然后基于Y的信息进行试验X（需要计算条件熵），反之亦可 ：

$$
H ( \ X , Y ) = H ( Y ) + H ( X \mid Y ) = H ( \ X ) + H ( \ Y \mid X )
$$

（3）若 $\therefore Y = f ( X )$ ，即Y与X有确定性的关系，那么自然有H（f$( \mathsf { X } ) \ \left| \mathsf { X } \right. = 0$ 利用（2），可以得到

$$
H ( { \boldsymbol { \cal X } } , { \boldsymbol { \cal Y } } ) = H ( { \boldsymbol { \cal X } } ) + H ( f ( { \boldsymbol { \cal X } } ) { \boldsymbol { \cal \vert \cal X } } ) = H ( f ( { \boldsymbol { \cal X } } ) { \boldsymbol { \cal ) } } + H ( { \boldsymbol { \cal X } } | f ( { \boldsymbol { \cal X } } ) { \boldsymbol { \cal \Lambda } } )
$$

进一步，自然有H $( { \textsf { f } } \left( \mathsf { X } \right) ) \leqslant { \mathsf { H } } \left( \mathsf { X } \right)$ ，即随机变量的熵在进行函数映射后会减小_。

（4）如果X和Y是两个独立的随机变量，那么Y的信息不会影响X值的信息（独立性）：

$$
H ( X \mid Y ) = H ( X )
$$

Cover T M，Thomas J A. Elements of information theory [M]. New York：John Wiley &Sons，1991.

（5）两个同时发生的事件的熵不超过每个单独事件的熵之和，即H$( \mathsf { X } , \mathsf { Y } ) \leqslant \mathsf { H } ( \mathsf { X } ) + \mathsf { H } ( \mathsf { Y } )$ ，当且仅当两个事件独立时相等 注

五 机器学习中的数据价值

机器学习是大数据时代的热点，为人们所熟知的“大数据杀熟”、人脸识别系统均以机器学习的模型算法作为基础。机器学习算法是一类自动分析数据获得规律，并利用规律对未知数据进行预测的算法，其中涉及大量的统计学理论，与统计推断联系尤为密切，因此机器学习也被称为统计学习。如今，机器学习已经成为大数据公司的重要组成部分，其广泛应用于数据挖掘、计算机视觉、自然语言处理、生物特征识别、搜索引擎、医学诊断、检测信用卡欺诈、证券市场分析、DNA测序、语音和手写识别、战略游戏和机器人等领域。

机器学习能够从原始数据要素中提取社会经济所需要的信息，进而指导相关决策，提高经济活动的效率，完成从要素到价值的转化。机器学习是连接数据要素与价值的重要桥梁；机器学习模型能从无序的数据要素中寻找联结现实的有序规律，总结知识，创造价值。因此，数据要素的估值与机器学习模型是密不可分的，在这一过程中探索数据的价值是十分有效的，结合机器学习的具体模型，就是数据要素借助不同学习模型所创造出的价值大小。在对这一较为特殊的数据价值进行探讨之前，我们先对机器学习进行概述。

（一）机器学习与机器学习中的数据价值

从出生开始，人们就一直在学习。随着身体机能的成熟，从行动到语言，从生活到工作，人们不断丰富、完善自 己。学习的过程也是试错的过程，比如在靠近火的时候，人会因为过热而远离，进而明白要和火焰保持距离。

机器学习，顾名思义，就是让机器像人一样进行试错，使其拥有和人接近的判断能力。利用机器高效的计算能力，将其应用到图像识别、自动驾驶等场景中，而提升机器判断能力的过程也就是机器学习。每个数据点都是机器学习进行的一次尝试，每个数据点又会将尝试的结果反馈给机器，在不断循环迭代中，算法不断捕获有效信息，提升判断能力。

机器学习总体而言可以分为四大类：有监督学习、无监督学习、半监督学习、强化学习。

（1）有监督学习

有监督学习是从给定的训练数据集中学习出一个函数，当新的数据到来时，可以根据这个函数预测结果。“有监督”指机器的学习过程是有数据指导、有目标的，在训练过程中，计算机可以通过训练集的给定数据判断模型预测的结果正确与否，从而对模型进行调整。因此，训练集要求包括输入和输出，也可以说是特征和目标。训练集的目标是由人标注的，是人类认为“正确的”判断。常见的监督学习算法包括回归分析、分类（包括逻辑回归、随机森林、支持向量机、神经网络等模型）。

（2）无监督学习

无监督学习与有监督学习相比，训练集没有被标注的标签信息，即在训练过程中，机器不能得到指导。有监督学习和无监督学习的差别就是训练集目标是否被人标注。它们都有训练集且都有输入和输出。常见的无监督学习算法有生成对抗网络（GAN）、聚类分析等。

（3）半监督学习

半监督学习介于有监督学习和无监督学习之间，通常解决由成本导致的标注数据较少的问题。在训练集中，有一部分数据被人标注而另一部分没有，一般来说，无标签数据比有标签数据多很多。半监督学习使用有标签的数据作为初始，结合图的结构与数据间的关系对无标签的数据进行标注，并将标注后的一部分数据也加入训练集中，二者结合最终完成对任务的预测。主要的半监督学习方法有自训练算法、基于图的半监督算法、半监督支持向量机等。

（4）强化学习

强化学习也是机器学习的一个重要分支，它的想法来自多臂老虎机问题，通常被用来解决决策优化的问题。决策优化问题是指面对特定状态（State）采取什么行动（Action）方案，才能使收益（Reward）最大化。生活中的很多场景都涉及决策优化问题，比如下棋、投资、课程安排、驾车路线等。强化学习是为了达成最优回报，随着环境的变动，会逐步调整模型的行为，并评估每一次行动所得到的回馈是正向的还是负向的，从而逐步调整行为策略。强化学习常用的算法有蒙特卡洛法、SARSA、Q-Learning等。围棋中人工智能算法AlphaGo就是强化学习应用的例子。

上面列举了机器学习的主要分类，可以看到，所有算法都遵循从数据到价值的模式。在大数据时代，数据集的规模飞速增长，既提高了算法精度，也为数据管理提出了更高的要求。在机器学习模型中，每个数据点对机器学习的模型预测的价值不尽相同，比如一些数据由于采样误差、记录误差而与现实情况偏离较大，往往对模型拟合有副作用，不适合加入模型。因此，需要对数据集中每个数据点的重要性进行衡量，甚至标定价值。这不仅有助于优化模型的性能，也为数据治理、数据交易提供了先决条件。

（二）评估机器学习中数据价值的方式

1. 不确定性减小的收益

managerial economics under uncertainty[M].New York：McGraw-HillBook Company，1959.

Value of Information（VoI）分析是一种评估利用一定形式的数据收集实验（如药物试验、基因测序）来减少不确定性所带来的预期收益的方法。VoI起源于雷法和施赖弗在哈佛大学关于统计决策理论的工作。

在统计学中，收集数据可以让人们对事物的认识更加清晰，但与此同时，收集数据也需要成本。数据带来了更准确的估计，这也是数据的价值。VoI进行的就是这种收益与成本的评估。因此，它可以用来评估一些待开展研究项目的成本效益，例如对新药额外进行100次临床试验是否值得（从减少的不确定性带来的收益和进行额外试验的成本来分析）。

VoI从根本上是基于贝叶斯统计框架，其中的概率表示对参数估计值的置信度，而不是事件发生的长期相对频率（频率学派的观点）。对于一个未知事物，人们可以利用一些已知分布对其进行猜想性的描述，这就是先验分布。贝叶斯分析的关键就是利用贝叶斯公式，从采样数据（其分布就是似然函数）中抽取先验分布中的参数最有可能的取值，以此更新先验分布的参数。因此，贝叶斯分析也被称为后验分析。VoI需要基于先验分布预测样本的似然函数，并以此生成预期的后验分布。通俗地说，数据收集实验（比如临床试验）是根据既有的知识设计的。这些实验数据再与当前的知识相结合，在收集数据后再进一步分析，更新知识的状态。

比如在一些医药公司中，VoI就常常被用来评估药物是否需要进一步试验。这种数据价值的衡量有助于引导未来的研究、实验工作，使人们在有限的禀赋（资金）条件下，实现预期回报最大化。VoI的计算使得研究人员可以比较额外试验的成本和额外试验给未来带来的边际收益，以此确定应该设计的最优试验样本量。与厂商理论中的利润最大化条件概念类似，最佳点显然是边际成本等于边际收益时的样本数量。

上面谈到的回报涵盖的范围是比较宽泛的，例如利润、产出、收入，也可以是比较抽象的概念，例如幸福、福利、效用。同样，实验可以针对任何减少收益不确定性的东西。具体来说，假设一家医疗用品公司追求利润最大化。它希望投资新的制造设施，以提高产量，进而扩展自 己的市场。然而，只有其产品的需求足够大时，产能的扩张才有意义。如果外界需求低于预期，产能扩张后的销售量将不足以使投资赢利。这种情况下，企业优化的目标函数是利润，其中的不确定因素就是需求量。企业面临的决策问题就是投资新设施，或者延迟投资（维持目前的产出水平）并进行市场研究以减少需求的不确定性，然后再做出投资决策。“延迟和研究”策略的预期成本是研究本身的成本加上立即投资带来的任何预期利润增长。该策略的预期收益是通过降低做出“错误”投资决策的可能性带来预期损失的减少。

同样的逻辑也适用于个人决策。假设一个着眼于效用最大化的消费者在酒吧面临对啤酒的选择。第一，消费者现在可以选择随机购买一种。第二，他可以对每种啤酒进行采样（类似于药物研究中的试验），根据这次获得的新数据再做出决定。第二种研究的成本是延迟享受啤酒与采样的成本，但好处是减少了随机选择啤酒的不确定性，从而识别最优啤酒的可能性更高，实现最大化效用。

在这两个例子中，问题与其解决思路是相同的：额外获得数据的价值是否超过其成本？在前者中，即是研究后再投资的策略的预期收益是否超过了现在投资决策的预期收益；在后者中，则是先大面积采样再做决定的预期效用是否超过了在没有采样的情况下随机选择一种啤酒的预期效用。

VoI研究框架中的几个关键度量是完美信息期望价值（Ex-pected Value of Perfect Information，EVPI）、抽样信息期望值（Ex-pected Value of Sample Information，EVSI）、抽样期望净收益（Expected Net Gain of Sampling，ENGS）、完美参数信息的期望值（Expected Value of Perfect Parameter Information，EVPPI）。下面结合一个具体例子来对这几个量进行说明。

Wilson E C F.A practical guide to value of informationanalysis[J].PharmacoEconomics，2014，33（2）：105-121.

如果决策面临两个行动方案A和B，很容易通过计算两个方案的预期收益的差值来辅助决策。比如，计算方案B的预期收益减去方案A的预期收益，收益可以是现金、利润、效用等。定义这一差值为增量净收益（Incremental Net Benefit，INB），为叙述方便，假设图3-3为增量净收益的概率密度分布，下文将INB记作 $\Delta \mathsf { B }$ 。 注

期望收益差值E $\Delta B = + 3 0 0$ ，因此理论上应该采用B方案。所以如果试验中产生的 $\Delta \mathsf { B } { > } 0$ ，则会没有损失，即为0，反之就会产生损失。曲线下阴影面积的比例是在决策后有损失的概率。

由于不确定性，利用期望进行决策（选择B方案）有可能是错误的，如阴影区域所示。如果事实上， $\Delta \mathsf { B } \mathrm { = } \mathrm { - } 2 5 0$ ，选择B方案就是错误的决定，即使用A方案，收益会高出250英镑；因此，损失（称为机会损失）为250英镑。同样，如果 $\Delta \mathsf { B } \mathsf { = } \mathsf { - } 5 0 0$ ，则机会损失就为500英镑。

因此，机会损失在图3-3上为辅纵轴上的-∞到0的- $- 4 5 ^ { \circ }$ 直线。如果$\Delta \mathsf { B } \mathrm { = } 1 0 0$ ，或者其他任何正值，则不会有机会损失。因此，损失函数会在原点转折，在大于0时与横轴重合。

（1）完美信息期望价值（EVPI）

简单来说，“错误”的概率乘以错误的平均后果（机会损失）就是与不确定性相关的预期损失，也可以理解为完全消除不确定性的预期收益，即完美信息期望价值（EVPI）。

假设问题面临的决策空间为D，d∈D代表从决策空间中选出的决策。X为随机变量，代表问题中不确定的状态，x为状态的每一个真实取值，p（x）代表随机变量X的先验概率密度函数。U（d，x）代表在状态为x的情况下，做出d决策所带来的效用。那么，EVPI可以表示为

$$
\mathrm { E V P I } = \int _ { X } \operatorname* { m a x } _ { d } U ( d , x ) p ( x ) \mathrm { d } x - \operatorname* { m a x } _ { d \in D } \int _ { X } U ( d , x ) p ( x ) \mathrm { d } x
$$

通俗地讲，如果人们能知道完美的信息，就能在每个随机状态x下做出最优的抉择，也就是第一项，而人们通常只能根据现有数据计算期望，达到期望意义上的最优，这二者的差距就是目前获得的完美信息期望价值。

在实际中，人们使用一个离散分布来辅助说明这一概念。如果现在的信息分别是如图3-4所示的离散分布，随着统计样本的增加，该分布会逐步逼近连续分布，如图3-4（a）、图3-4（b）、图3-4（c）三个图的递进情况所示。