数据要素五论：信息、权属、价值、安全、交易

在图3-4（a）中，现有信息是两个点的离散收益分布，而完美信息则是知道何时会发生最优的情况（上帝视角），计算收益与损失如下：23%的概率会导致500的损失，77%的概率导致500的收益。因此，预期收益（INB的期望）为0.23× $( - 5 0 0 ) + 0 . 7 7 \times 5 0 0 { = } 2 7 0$ ，预期损失（EVPI）为 $0 . 2 3 { \times } 5 0 0 { = } 1 1 5$ o

在图3-4（b）中，相同的决策问题的收益则满足-750、-250、250、750这四个数值的离散分布，分别具有2.3%、20.4%、46.5%、30.8%的概率。由此，预期的INB即为0.023×（-750） $+ 0 . 2 0 4 \times ( - 2 5 0 ) + 0 . 4 6 5 \times 2 5 0 + 0 . 3 0 8 \times 7 5 0 = 2 7 9$ ，预期损失（EVPI）为 $0 . 0 2 3 \times 7 5 0 + 0 . 2 0 4 \times 2 5 0 = 6 8 . 2 5$ 。在图3-4（c）中，该随机变量被进一步细分，比如可以计算298的期望INB和52的EVPI。这种细分是观察到的样本点的增多带来的，离散分布在无穷细分的状态下会无线趋近于图3-3所示的连续分布（INB=300，EVPI=52）。可以看到，随着样本的增加，EVPI在逐渐变小，说明距离完美信息状态已经越来越近，也就是数据带来了信息价值。接下来，将使用抽样信息期望值（EVSI）对其进行衡量。

（2）抽样信息期望值（EVSI）和抽样期望净收益（ENGS）假设针对决策可以开展一些研究活动，以减少INB的不确定性（减少决策的不确定性）。对于问题的研究，采用贝叶斯框架研究首先是研究对于INB的先验信息，其中包含INB的期望、标准差等统计量。当获得新的样本，这些样本数据就能与先验信息结合，得到关于INB的后验分布。如果先验信息与样本偏差较大（研究初期），研究就可以修正认知；如果先验信息与预测样本结果比较一致，这时就能减小目标参数的标准差。在第二种情况下，比较形象的表示就是“收紧”分布，如图3-5所示。

可以看到，分布“收紧”了，这实际上降低了做出错误决策的概率，该概率的大小也就等于先验分布函数下所示的阴影比例。

由此，样本减少了与不确定性相关的预期损失（在这种情况下，前后均值是基本不改变的）。那么，这部分收益也就是样本带来的数据价值——EVSI。下面用数学符号表示EVSI。

$$
\prod _ { i = 1 } ^ { n } p \left( z _ { i } \mid x \right)
$$

假设问题面临的决策空间为D， $\mathsf { d } \in \mathsf { D } ^ { \mathsf { \Lambda } }$ 代表从决策空间中选出的决策；X为随机变量，代表问题中不确定的状态，x为状态的每一个真实取值；$( z _ { 1 } , \ z _ { 2 } , \ . . . , \ z _ { n } )$ 是研究/实验的n个新样本点； $\textsf { p } \left( \times \right)$ 代表随机变量X的先验概率密度函数， $p ( z _ { \mathrm { i } } | \times )$ 表示样本 $\mathrm { \cdot } z _ { \mathrm { i } }$ 的条件先验分布，则所有样本的联合分布为 $p ( z | x ) =$ （假设样本是独立同分布的）；U（d，$\times )$ 代表在状态为x的情况下，做出d决策所带来的效用。

首先可以得到仅基于先验分布，没有进行任何进一步观察的最优决策的效用：

$$
E [ \boldsymbol { U } ] = \operatorname* { m a x } _ { d \in D } \int _ { X } \boldsymbol { U } ( \boldsymbol { d } , \boldsymbol { x } ) p ( \boldsymbol { x } ) \mathrm { d } \boldsymbol { x }
$$

如果决策者在获得样本后进行决策，那么此时的最优后验效用是：

$$
E \big [ U | z \big ] = \operatorname* { m a x } _ { d \in D } \int _ { X } U \big ( d , x \big ) p \big ( x | z \big ) p \big ( x \big ) \mathrm { d } x
$$

其中，后验概率p（x|z）可以通过贝叶斯公式进行计算：

$$
p ( \boldsymbol { x } | \boldsymbol { z } ) = \frac { p ( \boldsymbol { z } | \boldsymbol { x } ) p ( \boldsymbol { x } ) } { p ( \boldsymbol { z } ) }
$$

$$
p ( z ) \mathrm { = } \int _ { X } p \big ( { z } | x \big ) p \big ( { x } \big ) \mathrm { d } { x }
$$

因为不知道获得一个样本的实际情况，所以必须对所有可能的样本求平均值，以获得给定样本的预期效用：

$$
E \big [ U | S I \big ] = \int _ { z } E \big [ U | z \big ] p \big ( z \big ) \mathrm { d } z = \int _ { z } \operatorname* { m a x } _ { d \in D } \int _ { X } U \big ( d , x \big ) p \big ( z | x \big ) p \big ( x \big ) \mathrm { d } x \mathrm { d } X .
$$

这样，抽样信息期望值（EVSI）就可以定义为获得样本后的效用与原始效用的差值：

$$
{ \begin{array} { r l } & { { \mathrm { E V S I } } = E { \left[ \ U \mid S I \right] } - E { \left[ \ U \right] } } \\ & { \qquad = \int _ { Z } \displaystyle \operatorname* { m a x } _ { d \in D } \int _ { X } U ( d , x ) p ( z \mid x ) p ( x ) { \mathrm { d } } x { \mathrm { d } } z - \operatorname* { m a x } _ { d \in D } \int _ { X } U ( d , x ) p ( x ) { \mathrm { d } } z } \end{array} }
$$

不难想到，小规模的研究（较少观测样本）会产生较小的EVSI，而较大规模的研究（大量观测样本）会产生较大的EVSI。但大规模研究也意味着更多的花费，因此需要权衡是否要以高成本的代价完成大规模研究以产生较大的EVSI。一个自然的想法是计算EVSI和研究成本的差，将其定义为抽样期望净收益（ENGS）。根据定义自然得到最大化ENGS的样本量并且会最大化预期投资回报，由此就可以确定最优的研究规模。

（3）完美参数信息期望值（EVPPI）

除上述情况之外，对于目标函数的参数，可能只会获得部分参数的信息，因此这时候要对部分参数的信息价值进行估计。由此定义完美参数信息期望值（EVPPI），即消除目标函数的部分（一个或多个）输入参数的不确定性带来的价值。

一般来说，假设状态x是一个向量，且其状态可以分为两部分，即x=（ϕ，ψ），其中一部分参数是人们感兴趣的，可以通过研究得到额外的信息参数（比如ϕ），而另一部分参数ψ是剩下的冗余参数（Nuisance Parameters），人们对其不感兴趣或者无法获得其信息。

在这种情况下，与EVPI类似，人们感兴趣的是ϕ中的完美信息的价值是多少，我们将其定义为EVPPI。为了计算EVPPI，首先需要计算基于ϕ的每种取值的最优决策的净收益（先利用期望排除ψ的随机性） 注

$$
E \left[ U \mid \phi \right] = \int \operatorname * { m a x } _ { \phi } \int _ { \psi } U ( d , \phi , \psi ) p ( \phi , \psi ) \mathrm { d } \psi \mathrm { d } \phi
$$

所以，类似地，定义其与未获得信息时的最优决策的预期效用的差值为

$$
\begin{array} { r l } & { \mathrm { E V P P I } = \displaystyle \int _ { \phi } \operatorname* { m a x } _ { d \in D } \int _ { \psi } U ( d , \phi , \psi ) p ( \phi , \psi ) \mathrm { d } \psi \mathrm { d } \phi - \operatorname* { m a x } _ { d \in D } \int _ { \phi , \psi } U ( d , \phi , \psi ) p ( \phi , \psi ) \mathrm { d } \psi \mathrm { d } \phi } \\ & { \quad \quad \quad p ( \phi , \psi ) \mathrm { d } \psi \mathrm { d } \phi } \end{array}
$$

1. 机器学习中数据点的影响

随着计算机硬件算力的发展和理论的推进，机器学习的影响力逐步扩大。机器学习的模型越来越复杂、参数越来越多：从最简单的线性模型、广义线性模型到支持向量机、随机森林，再到深度神经网络、卷积神经网络。更复杂的模型提高了精确率，但同时对模型进行解释也越发困难。

Amershi S，Chickering M，Drucker S M，et al. Modeltracker： redesigning performance analysis tools for machine learning [C]//Proceedings of the 33rd Annual ACM Conference on Human Factors in Computing Systems，April，2015：337-346；Shrikumar A，Greenside P，Kundaje A.Learning important features through propagating activation differences[C]//34th International Conference on Machine Learning， 2017：4844-4866.

在机器学习领域，一个关键问题经常被提及：“为什么机器学习系统做了这一预测？”人们不仅想要高性能，而且希望它可以解释。通过了解为什么模型能做到这些预测，一些学者希望进一步改进模型，并借此注发现新的科学知识，以及提供对影响机器学习行为的解释。

然而，在很多领域中表现最好的模型（例如用于图像和语音识别的深度神经网络 ）是十分复杂的黑盒模型，其预测行为是难以解释的。现有的一些工作对这些黑盒模型的解释集中在理解一个特定的模型如何注产生特定的预测。比如，在测试点的邻域局部拟合一个更简单的模型；通过扰乱对测试的数据点进行一些扰动，以查看模型预测的变化情

况 。这些工作更多的是辨析模型影响预测结果的方式，但是预测的结果在很大程度上取决于数据的本质特征。每一个训练集的数据点都对最后的预测工作做出了贡献，也就是这一个点提供的数据价值。

为探究每个点提供的数据价值，先来回顾一下机器学习的整体流程。首先人们会提出一个适合具体问题的学习模型，进而利用训练样本估计模型参数。在训练过程中，数据点将信息通过损失函数传递给模型，通过最优化算法（拟牛顿法、随机梯度下降等）更新模型中的参数。由此可见，数据点对参数的影响最终将体现在每步迭代的梯度上。

如果反过来思考这一流程，即从损失函数反推数据点的影响，就能探索数据的价值。为了形式化一个训练点（用来训练模型的数据点）对预测的影响，可以提出一个与学习过程相反的问题：如果没有这个训练点，或者如果这个训练点的值发生了轻微的变化，会对训练结果产生什么影响？一个自然的想法是，可以扰动数据，然后进一步对模型进行重新训练，进而观察结果的变化。但在模型复杂时，重复训练模型的计算成本是很高的。

为了解决这个问题，影响函数（Influence Function，IF）是近年来应用于机器学习的一种解决方式。影响函数是一种来自稳健统计的经典技术。 这一函数可以展示出当一个训练数据点的权重增加一个无穷小的量时，模型参数的变化情况。影响函数可以在单次训练的过程中找出数据点的影响，而且对于数据点的影响可以找到相对显式的表达。下面就来具体介绍影响函数。

$$
{ \frac { 1 } { n } } \sum _ { i = 1 } ^ { n } L ( z _ { i } , \theta )
$$

考虑一个输入来自空间X（比如图像），输出到空间Y（比如标签）的预测问题（例如图像分类问题）。训练集数据点为 $z _ { 1 } , ~ z _ { 2 } , ~ . . . , ~ z _ { \mathsf { n } }$ ，其中 $z _ { \mathrm { i } } = ~ ( { \sf x } _ { \mathrm { i } } , ~ { \sf y } _ { \mathrm { i } } ) ~ \in \sf X \times \sf Y$ 。对于一个要预测的数据点z和模型参数 $\theta \in \Theta$ 令L（z，θ）是其预测的损失，是模型的训练损失函数。参数估计即要最小化损失函数：

$$
\widehat { \theta } \stackrel { \mathrm { d e f } } { = } \underset { \theta \in \Theta } { \operatorname { m i n } } \frac { 1 } { n } \sum _ { i = 1 } ^ { n } L ( z _ { i } , \theta )
$$

在这里，假设损失函数L是二次可微的，在θ上是严格凸的。

目标是了解训练点对模型预测的影响。通过相反的思路来形式化这个目标：如果没有这个训练点，模型的预测将如何改变？

$$
\hat { \theta } _ { - z } \hat { \theta } _ { - z } - \hat { \theta } ,
$$

从简单情形入手，先考虑从训练集中移除一个数据点z，接下来推导其导致的模型参数的变化。假设移除z的模型参数是，那么参数变化自然为其中

$$
\widehat { \theta } _ { - z } \stackrel { \mathrm { d e f } } { = } \arg \operatorname* { m i n } _ { \theta \in \Theta } \sum _ { z _ { i } \neq z } L ( z _ { i } , \theta )
$$

$$
\hat { \theta } _ { - z }
$$

Koh P W，Liang P. Understanding black-box predictions via influencefunctions [J]. arXiv：1703.04730，2020.

然而，如果逐一计算，则需要对每删除一个点的模型再次进行训练，
这一过程将非常缓慢。幸运的是，影响函数给出了一种方法对此进行注
了有效的近似。

$$
\widehat { \theta } _ { \epsilon , z }
$$

其思想是如果该数据点没有被删掉，而是发生了一点微小的权重变化，那么也能计算其参数，记作，其中：

$$
\widehat { \theta } _ { \epsilon , z } \stackrel { \mathrm { d e f } } { = } \arg \operatorname* { m i n } _ { \theta \in \Theta } \left( \frac { 1 } { n } \sum _ { i = 1 } ^ { n } L ( z _ { i } , \theta ) \ + \epsilon L ( z , \theta ) \right)
$$

库克和韦斯伯格 给出的经典结果，记 ${ \mathsf { I } } _ { \mathsf { U p } }$ （z）为增大数据点z的权重对参数 的影响，其数值由下式给出：

params

$$
\begin{array} { c } { { \displaystyle \left. I _ { \mathrm { u p , p a r a m s } } ( z ) \ \stackrel { \mathrm { d e f } } { = } \frac { d \widehat { \theta } _ { \epsilon , z } } { d \epsilon } \right| _ { \epsilon = 0 } = - H _ { \widehat { \theta } } ^ { - 1 } \nabla _ { \theta } L ( z , \widehat { \theta } ) } } \\ { { \displaystyle H _ { \widehat { \theta } } ^ { \mathrm { ~ \tiny ~ d e f ~ } } \frac { 1 } { n } \sum _ { i = 1 } ^ { n } \nabla _ { \theta } ^ { 2 } L ( z _ { i } , \widehat { \theta } ) \_ \displaystyle - \frac { 1 } { n } } } \end{array}
$$

其中，是海瑟矩阵，而且根据问题的假设，其是正定的。从本质上看，对于损失函数，在 附近对其进行了二次逼近，并采取了牛顿法的单步步长。容易看出，由于去掉一个点相当于将它的权重增加，可以通过计算对因删除数据点z而引起的参数变化进行线性逼近，而无须重新训练模型。

$$
\widehat { \theta } _ { - z } - \widehat { \theta } \approx - \frac { 1 } { n } I _ { \mathrm { u p , p a r a m s } } ( z )
$$

进一步，通过参数的变化，还可以推导模型预测结果因为参数变化而发生的改变。利用链式法则可以计算数据点z权重变化对训练损失函数的影响：

$$
\begin{array} { r l } & { I _ { \mathrm { u p , l o s s } } ( z , z _ { \mathrm { t e x } } ) \mathrel { \stackrel { \mathrm { d e f } } { = } } \frac { d L ( z _ { \mathrm { t e x } } , \hat { \theta } _ { \epsilon , z } ) } { d \epsilon } \Bigg | _ { \epsilon = 0 } } \\ & { = \nabla _ { \theta } L ( z _ { \mathrm { t e x } } , \hat { \theta } ) ^ { \mathrm { r } } \frac { d \hat { \theta } _ { \epsilon , z } } { d \epsilon } \Bigg | _ { \epsilon = 0 } } \\ & { = - \nabla _ { \theta } L ( z _ { \mathrm { t e x } } , \hat { \theta } ) ^ { \mathrm { T } } H _ { \theta } ^ { - 1 } \nabla _ { \theta } L ( z , \hat { \theta } ) } \\ & { - \frac { 1 } { \pi } I _ { \mathrm { u p , l o s s } } ( z , z _ { \mathrm { t e x } } ) } \end{array}
$$

由此就能得到模型预测结果的变化约。

不仅是更改训练数据的权重，如果对训练数据点进行微小的扰动，采用类似的思路也能推导出该扰动的影响力。

$$
z _ { \delta } \stackrel { \mathrm { d e f } } { = } ( x + \delta , y ) \hat { \theta } _ { z _ { \delta } , - z } \hat { \theta } _ { \epsilon , z _ { \delta } , - z }
$$

对于一个数据点 $\boldsymbol { z } = \mathbf { \Psi } \left( \mathbf { \textsf { x } } , \mathbf { \Psi } \right)$ ，定，即在此数据点上施加了扰动 $| \delta .$ 。考虑这一扰动过程（训练中使用 $\mathsf { Z ^ { \prime } }$ 代替 $\dot { \bf \langle { z } _ { \delta } \rangle }$ ），定义变化后的模型拟合参数为。为了计算过程中的近似，定义为删掉 $\spadesuit$ 权重的数据点z，增加相应权重 后的模型参数变化，即 $\dot { . } \bar { \delta }$