6.6.1 机器学习的一般过程
读者一定用过电子邮件，电子邮件这种低成本的信息传输渠道，在为我们的工作和生活带来极大便利的同时，也被广告商甚至诈骗分子用来传递各种垃圾信息。所以，今天的电子邮件服务商除了注重速度、容量和稳定性这些性能指标之外，也会关注如何为用户过滤掉垃圾邮件，最大限度地避免用户受到骚扰。不过这并非一个容易解决的问题，虽然人类可以轻易地区分出一封邮件是有意义的还是无意义的，但是很难总结出一个垃圾邮件的评判准则，这种很难摸索出规律却可以轻易进行统计的问题，就很符合用统计机器学习方法来解决问题的特征。
在此实战中，将设计一个基于机器学习的邮件过滤系统，这个系统要通过分析一系列事先已经被用户标注为非垃圾邮件或垃圾邮件的记录，得到一个邮件的判别模型，这个模型可以分辨出新收到的邮件是否属于垃圾邮件。如果应用前面米切尔教授对机器学习要素的定义的话，这个机器学习过程的任务、度量和经验分别定义如下：
T（执行任务）：判别是否垃圾邮件。
P（性能度量）：成功过滤出垃圾邮件的邮件百分比，以及非垃圾邮件被误判的百分比。
E（历史经验）：一组事先已经被用户标注为垃圾邮件的记录。
总体来说，机器学习中所说的训练判别模型，是指从真实世界的一系列历史经验中获得一个可以拟合真实世界的，能够对事物进行分类、预测、决策等的模型。这个过程通常包括如图 6-5 所示的若干个步骤，我们会按照机器学习模型的训练过程逐一讲解各个步骤要解决的问题。
训练的第一步是处理如何从传感器中取得数据、如何过滤噪声这些问题，在实际工程中，这些都是不可或缺的工序，不过我们的实战不会涉及这方面的内容，因为这只是工程数据采集和数据统计方面的重点，并非机器学习理论的主要关注点。我们将聚焦在“挑选哪些数据的特征属性来建立模型”“根据何种策略选择模型”“如何优化模型参数”以及“如何测试模型”这样的问题上。
184
第三部分 第三波高潮