数据要素五论：信息、权属、价值、安全、交易

$$
\widehat { \theta } _ { \epsilon , z _ { s } , - z } \stackrel { \mathrm { d e f } } { = } \arg \operatorname* { m i n } _ { \theta \in \Theta } \left( \frac { 1 } { n } \sum _ { i = 1 } ^ { n } L ( z _ { i } , \theta ) \ + \epsilon L ( z _ { \delta } , \theta ) { - } \epsilon L ( z , \theta ) \right)
$$

类似上面的推导，有

$$
\begin{array} { r l } & { \frac { d \widehat { \theta } _ { \epsilon , z _ { \delta } , - z } } { d \epsilon } \bigg \vert _ { \epsilon = 0 } = I _ { \mathrm { u p , p a r a m s } } ( z _ { \delta } ) - I _ { \mathrm { u p , p a r a m s } } ( z ) } \\ & { \qquad = - H _ { \theta } ^ { - 1 } ( \nabla _ { \theta } L ( z _ { \delta } , \widehat { \theta } ) - \nabla _ { \theta } L ( z , \widehat { \theta } ) ) } \end{array}
$$

与上面的方法相同，可以进行线性近似：

$$
\widehat { \theta } _ { z _ { \delta } , - z } - \widehat { \theta } \approx \frac { 1 } { n } ( I _ { \mathrm { u p , p a r a m s } } ( z _ { \delta } ) - I _ { \mathrm { u p , p a r a m s } } ( z ) )
$$

这就给出了 $z _ { \mathrm { \check { \Gamma } } } { } z _ { \delta }$ 对模型参数影响的显式表达。同样应用链式法则，就能得出其对模型最终预测的影响：

$$
\begin{array} { r l } & { I _ { \mathrm { p e r t , l o s s } } \left( z , z _ { \mathrm { t e s t } } \right) \stackrel { \mathrm { d e f } } { = } \nabla _ { \boldsymbol { \delta } } L \left( z _ { \mathrm { t e s t } } , \widehat { \theta } _ { z _ { \boldsymbol { \delta } } , - z } \right) \mid _ { \boldsymbol { \delta } = 0 } } \\ & { \qquad = - \nabla _ { \boldsymbol { \theta } } L \left( z _ { \mathrm { t e s t } } , \widehat { \theta } \right) ^ { \mathrm { T } } H _ { \widehat { \boldsymbol { \theta } } } ^ { - 1 } \ \nabla _ { X } \nabla _ { \boldsymbol { \theta } } L ( z , \widehat { \boldsymbol { \theta } } ) } \end{array}
$$

下面将介绍影响函数的一些实际应用。

（1）解读机器学习模型的预测行为

当给定训练集和对应的响应（Response）变量，IF能够洞察出模型对训练集的依赖和训练方式。比如，在一个图像二分类问题中，可以使用两种不同的模型进行预测。不同模型的损失函数与训练方式不尽相同，这代表着它们对实际问题的解读方式有较大差距。在训练模型后，通过IF可以得出每个数据点对该预测任务的影响力。这其实反映了模型对问题的理解。

在黑盒模型中，找到数据点IF高或低的数据，有利于总结该模型的得失。贡献高的点往往是模型从中学习到了有用的信息，抓住了核心特征。基于这些核心特征，可以有针对性地优化模型。而数据点IF较低很可能说明该数据模型无法分辨，有可能是图片中的干扰较大，模型没抓住关键特征，可以据此添加一些特征提取方式；也有可能该数据点出现了标注错误，可以据此清理数据集。

（2）改进模型正确率与应用范围

如前文所说，在模型预测后，可以计算IF，再将数据点排序。一些贡献小的点，如果从训练集中删去，就有可能改进模型的预测效果——这些点可能是异常值点或标签有误。

Ben-David S，Blitzer J，Crammer K，et al.A theory of learning fromdifferent domains[J].Ma-chine learning，2010，79（1/2）：151-175.

在一般的模型训练中，训练集的数据分布往往与测试集是相同的。但有时也会出现域不匹配的情况——训练集分布与测试集分布差异较大，这会导致训练精度高的模型在测试数据上表现不佳。 而影响函数的计算可以反映这一差异，也就是说，通过删去模型中影响力较差的数据点可以改进训练集的分布，使其更接近于测试集，改进模型在测试集上的表现。反映到实际中，如果拥有内部的数据集，需要对一些外部任务进行预测，IF就可以针对不同任务修正训练集的数据分布，从而在每个数据集上达到不错的效果。

（3）对抗学习样本

机器学习的长足发展使其在人们生活中的应用越来越广泛，特别是模式识别，比如门禁中的人脸识别、指纹识别。

模式识别从人出生的那一刻就在进行，贯串人的一生。人们在学习周边事物的过程中，常常要总结事物与现象之间的异同，并根据一定逻辑把相似但细节不同的事物或现象归为一类。比如手写的汉字，同一个汉字因不同人的书写风格会有观感上的区别，但其本质都属于同一类别。人脑具有较强的模式识别和推广能力，能够慢慢学习到这些汉字都是同一类别的。

利用机器进行模式识别，能在身份验证等应用场景上节约人力、提高效率。但由于机器学习是纯数据驱动，其深层逻辑受限于训练数据，可能存在一定漏洞，即机器学习很容易被对抗样本

（Adversarial Examples）所迷惑。所谓对抗样本，就是指一些为这些识别任务精心打造的故意混淆和误导检测任务的样本。比如说一个图片识别任务，对抗样本可以按照像素级别来扰动这个图片，这样一来，人眼看不出问题，但是机器却会识别失败。具体来说，在一个鱼和狗的图像二分类问题中，对狗的图片施加像素级别的变动，可以让模型将其预测为鱼。

Huang L，Joseph A D，Nelson B，et al.Adversarial machine learning[C]//Proceedings of the 4th ACM Workshop on Security and Artificial Intelligence，October，2011：43-58.

Goodfellow I J，Shlens J，Szegedy C. Explaining and harnessing adversarial examples[J]. arXiv preprint arXiv：1412.6572，2014.

在流量很大的门禁、指纹等识别任务中，这样的漏洞构成了很大的安全风险。一些攻击者可以利用这些漏洞威胁真实世界的安全。 最近也有很多研究工作生成了对抗图像，人可以轻松分辨这些图像，但它们可以完全骗过分类器。 而人们同样可以利用影响函数来制造这样的样本。这就是说，在训练集的图片上施加微小的扰动，会使训练出的模型在测试集上完全失效。

那么，如何做到这一点呢？在上面的推导中，可以得到对数据点施加扰动的影响 $\mathsf { I } _ { \mathsf { p e r t } } ~ ( \boldsymbol { z } , ~ \mathsf { z } _ { \mathsf { t e s t } } )$ ，这告诉人们如何修改训练点可以最大限度地增加测试的损失。基于这一思路，对于一个目标测试图像 $: Z _ { \mathrm { t e s t } }$ ，可以针对性地构造（修改）其对抗样本 $z _ { \mathrm { i } }$ 。首先初始化这个对抗样本 $z _ { \mathrm { i } }$ （一个原始训练集样本），接下来按照下面的方法逐步迭代：

_，loss

$$
z _ { i } \colon = P r o j \left( z _ { i } + \alpha \mathrm { s i g n } \big ( I _ { \mathrm { p e r t , l o s s } } \big ( z _ { i } , z _ { \mathrm { t e s t } } \big ) \big ) \right)
$$

其中α为迭代步长，sign为符号函数，Proj表示将变化后的图像投影到8比特规范图像的空间。在每次迭代之后，重新训练模型，最终就能达到构造对抗样本的效果。

1. 数据贡献的价值分配

随着新兴服务业的快速发展，互联网与国民经济的各个行业相互渗透并融合。数字经济深刻改变了传统行业，新型消费行为、经济形态不断涌现，为服务经济的发展注入新动能。2020年3月30日，中共中央、国务院出台《关于构建更加完善的要素市场化配置体制机制的意见》，首次将数据作为生产要素，代表着数据成为推动技术和经济增长的燃料。这尤其体现在主流的互联网平台上，数据与每个生产环节息息相关，形成了全新的“数据价值链条”，如图3-6所示：

图3-6中，左端代表互联网平台的参与者，右端特指平台的服务对象，这二者在实际中很可能是同一群体；中间则为平台内部的运转、决策过程。平台首先会收集平台参与者的大量数据，这些数据经过平台的预处理、使用机器学习工具进行挖掘之后，会生成对厂商与决策者有用的信息，以辅助其决策。

随着数据化的推广，平台获得的数据愈发详尽，这帮助平台做出了更优质的决策，从而获得了超额利润，这就是数据的价值所在。比如，网约车平台根据用户需求的时空分布调度车辆，改善供需错配，减少等待时间；在线医疗平台根据用户描述，利用机器学习快速分诊、推荐合适的医生，提高平台效率。

从平台利益角度考虑，数据来源于不同的参与者，而参与者的数据质量是存在差异的，这往往体现在用户的活跃度和参与度（用户的数据详细程度、用户发表评论等）上。因此，平台需要将利润即数据产生的价值以合理方式分配给用户，从而适当激励用户，吸引更多的用户加入平台。

而从社会的角度考虑，个人产生的数据作为新形式的生产要素，与劳动力和资本有相似之处。随着数据权属、数据税等与数据相关的法律体系逐渐完善，为数据使用付费自然而然会成为未来的发展趋势。例如，在医疗保健和广告商市场中，一些学者建议应该为个人的数据提供补偿。

综合来看，这两方面的核心问题都是如何量化算法预测和决策中的数据价值，即为算法中的数据分配适当的贡献。由于信息产生于数据挖掘的过程，因此需要将机器学习与利润分配结合起来，进而找到适当的利润分配方式。而数据沙普利值（Data Shapley Value，DSV）就解决了这个问题，可以实现数据贡献的公平分配。

首先来介绍一下沙普利值，沙普利值法（Shapley Value Method）由2012年诺贝尔经济学奖得主劳埃德·沙普利（Lloyd S. Shapley）提出，主要用于解决在合作博弈中各方的利益分配问题，防止“有难能够同当，有福不知如何分配”的尴尬情况。

下面用形象的方式介绍一下沙普利值。例如，有A、B、C三个人进行一项纸牌游戏，三个人是合作者。游戏允许不同的组合参与游戏，不同的组合会得到不同的收益，如图3-7所示。

资料来源：Michael Sweeney. Game theory attribution：

the model you've probably never heard of[EB/OL].（2020-11-25）[2022- 07-22]. https://clearcode.cc/blog/game-theory-attribution/.

如果三人合作，共同进行一次游戏会得到19美元的收益，此时需要将收益合理地分配给三个人。可以从“边际贡献”的角度入手，即一个人加入一个组合后能多带来多少收益，这就是这个人的贡献。但加入的组合有很多，需要考虑从无人参加到所有人参加的进入游戏的不同次序，如图3-8所示。

图3-8中展示了所有六种进入游戏的顺序（6=3！），且标注出每种进入顺序的边际贡献。可以据此计算A、B、C三人各自的平均边际贡献。如图3-9所示，A的平均贡献为16（7+7+10+3+9+10）=7.7。类似地，可以计算出B的贡献为3.3，C的贡献为8。

图3-9 沙普利值图示（3）

资料来源：Michael Sweeney. Game theory attribution： the model you've probably never heard of[EB/OL].（2020-11-25）[2022- 07-22]. https://clearcode.cc/blog/game-theory-attribution/.

接下来，使用符号语言对其进行严格的定义。

Shapley L S.A value for n-person games[M]//Kuhn H W，Tucker AW.Contributions to the theory of games（AM-28），Volume Ⅱ.Princeton：Princeton University Press，2016；Gul F.Bar-gaining foundations ofshapley value[J].Econometrica，1989，57（1）：81-95.

假设玩家集合为D，存在一个游戏，可以令D的任意子集S⊆D参加，并获得V（D）的回报。游戏的回报规则体现在如下函数的映射V：$2 _ { \mathsf { N } } { } \mathsf { R } , \mathsf { \Pi } | \mathsf { D } | { = } \mathsf { N } , \mathsf { \nabla } \mathsf { V } \mathsf { \Omega } ( \phi ) = 0$ 。那么按下面的公式定义玩家i在游戏（V，D）（由全集和回报规则确定一个游戏，回报规则决定贡献，全集影响分配方式）中的贡献为 $\phi _ { \mathrm { { i } } } \ \mathrm { { ( V ) } }$ ，即沙普利值。 注

$$
\varphi _ { i } ( V ) = { \frac { 1 } { | D | ! } } \sum _ { k } \ [ V ( P _ { i } ^ { R } \cup \left\{ i \right\} ) - V ( P _ { i } ^ { R } ) ]
$$

P R |D|!

[7+7+10+3+9+10]/6=

A 7.7

在这里，R表示N个参与者进入游戏的顺序一共有种，表示在R这个排序中排在元素i前面的元素集合，该公式也可以变形为

$$
\varphi _ { i } ( V ) = { \frac { 1 } { n } } \sum _ { s \subseteq D \backslash i } { ( C _ { n - 1 } ^ { \mid s \mid } ) ^ { - 1 } ( V ( S \cup \{ i \} ) - V ( S ) ) }
$$

在机器学习中，可以将上面博弈游戏的概念替换为机器学习。假设数据集合为D，存在一个机器学习任务，可以是预测、分类等，使用D的数据子集 $S \subseteq \mathsf { D }$ 进行机器学习训练，从而达到V（D）的训练结果（根据不同的任务，可以是MSE、AUC、Recall、Precision、Kolmogorov-Smirnov统计量等），即训练获得的回报，体现在函数上，其构成如下函数的映射V： $2 _ { \mathsf { N } } { } \mathsf { R } , \mathsf { \Pi } | \mathsf { D } | = \mathsf { N } , \mathsf { \nabla } \mathsf { V } \mathsf { \Pi } ( \phi ) = 0$ O

同样地，可以定义数据点i在机器学习任务（V，D）（由数据全集和模型确定一个机器学习任务，模型决定贡献，数据集影响分配方式）中的贡献为 $\phi _ { \mathrm { i } } \ \mathrm { ~ ( V ) ~ }$ ，即数据沙普利值：

$$
\varphi _ { i } ( V ) = { \frac { 1 } { | D | ! } } \sum _ { R } \ [ V ( P _ { i } ^ { R } \cup \left\{ i \right\} ) - V ( P _ { i } ^ { R } ) ]
$$

沙普利值法体现了合作各方对合作总目标的贡献程度，避免了分配上的平均主义，比任何一种仅按资源投入价值、资源配置效率及将二者相结合的分配方式都更具合理性和公平性，也体现了合作各方相互博弈的过程。而将其应用于机器学习中，利用分配的思想确定数据的价值，是比较恰当和可行的。

应用

数据沙普利值（DSV）与影响函数（IF）类似，都可以对数据价值进行排序，二者有一定的相似性，但也有不同。体现在应用中，排序这一点使得这两种方法都可以用于数据样本修正、改进模型的预测正确率、修正数据以适应更多数据分布。其不同点在于，IF根植于梯度信息，其对模型本身的理解更深刻，因此对抗样本训练是无法通过DSV完成的，但利用IF可以。而DSV可以将全部训练贡献分配到每个数据点上，即满足

$$
V ( D ) = \sum _ { i \in D } \ \varphi _ { i } ( V )
$$

该性质使得DSV可以用于数据交易市场的机制构建，即可以将数据产生的价值公平地分配给各个数据提供方。一些学者将DSV算法应用于联邦学习的利益分配 、持续学习中的经验回放 、数据市场的构建等实际应用场景 中。