对于不熟悉模型的人,只需记住这几行代码,就可以完整地跑出这个模型。代码中并没有多少需要理解的部分或者需要预先掌握的知识,基本都是sklearn的预设格式。实际上,sklearn可以用于绝大多数传统机器学习模型,并且只需在这几行代码上稍作改动。
5.7.3 Spark MLlib
Apache的 Spark MLlib是一个具有高度拓展性的机器学习库,在Java、Scala、Python甚至R语言中都非常有用,因为它使用Python和R中类似NumPy这样的库,能够进行高效的交互。MLlib可以很容易地插入Hadoop工作流程中。它提供了机器学习算法,如分类、回归、聚类等。这个强大的库在处理大规模的数据时,速度非常快。SparkMLlib的官网地址是 https://spark.apache.org/mllib/。
SparkMLlib的优点是,对于大规模数据处理来说,非常快,可用于多种语言;缺点是,陡峭的学习曲线,仅Hadoop支持即插即用。
第5章 模型
163