机器学习是人工智能与统计学、数据挖掘结合而发展出来的一门分支学科，目前的机器学习与统计学、数据挖掘仍有大量的概念、思想和算法是互相重叠或者存在继承关系的。许多时候，我们甚至习惯于把机器学习三大基本方法中的无监督学习和数据挖掘中的数据分析技术混为一谈，二者都是研究数据的结构、模式、分布特征方面的问题，如数据聚类、主成分分析等。不过，当前机器学习领域中更显热闹（更被大众所关注）的是另外两种基本学习方法，即研究智能模型输入数据与输出结果中隐含的关联关系的监督学习，以及研究环境反馈对智能模型行为影响的强化学习。
有好几位人工智能的先驱都曾提出过机器学习的定义，其中最早的很可能是那位写出了第一个拥有机器学习能力的跳棋程序的 IBM 第一代程序员塞缪尔，他认为只要不用程序员显式地给机器编程就能够实现某些功能便是机器学习<sup>○一</sup>。而第一个在学术上符合今天机器学习思想的定义，是由司马贺在 1959 年所提出的<sup>○二</sup>：
“如果某个系统可以从经验中改进自身的能力，那这便是学习的过程。”
这句话十分简洁却极为有力，直接揭示了机器学习最本质的特征：“从经验中改进自身。”但是它还不够具体：什么是经验？什么是改进？怎样改进？如何度量改进了多少？这些要素并没有得到明确的解释，仍然要依赖人类的语言和自身的思想见识去诠释，所以在研究中其实不太好操作。
1998 年，卡内基梅隆大学的汤姆·米切尔（Tom Mitchell，1951—）教授在他撰写的《机器学习》一书中，对司马贺的定义进行了一系列补充，增加了几个具有可操作性的辅助描述符号，笔者将其英文原文部分摘录如下：
第 6 章 机器学习概览
173
○一 塞缪尔关于“机器学习”定义的原话为：“机器学习是不使用确定性编程算法为计算机提供学习能力的研究领域。”
○二 资料来源：https://www.cis.upenn.edu/\~cis519/fall2014/lectures/01\_introduction.pdf。