登录社区云，与社区用户共同成长
邀请您加入社区
MLlib（Machine Learning Library）是Spark的机器学习库，旨在简化机器学习的工程实践，并能够方便地扩展到更大规模的数据。本篇文章介绍Spark MLlib机器学习，包括用于特征预处理的数理统计方法。
SparkMl使用的不多，一两年前业务上需要就用了一下，之后就没再使用了，最近又有需求了，使用SparkMl做了一下时序预测，先在这一篇笔记里记录一下之前使用SparkMl的简单应用。这个案例使用的是随机森林模型。
1.背景介绍聚类是一种无监督学习方法，它可以帮助我们在数据中发现隐藏的结构和模式。在大数据时代，Spark MLlib库提供了一系列的聚类算法，可以帮助我们更高效地处理大规模数据。本文将介绍Spark MLlib中的聚类算法，以及如何使用它们进行聚类任务。聚类算法的主要目标是将数据点分为多个群集，使得同一群集内的数据点之间的距离较小，而同一群集之间的距离较大。聚类算法可以用于许多应用，如图...
1. 确定目标 | 想做什么菜（红烧肉/沙拉） | 明确任务 (分类/回归/聚类)分类判断邮件是垃圾邮件吗？| 逻辑回归、决策树 | 垃圾分类（干/湿/有害）回归预测房价 | 线性回归、随机森林回归 | 根据经验估算装修费用。3. 设计食谱 | 决定烹饪步骤和调料 | 选择算法和模型设计。2. 准备食材 | 买菜、洗菜、切菜 | 数据收集与预处理。4. 试做并尝味道 | 调整火候和调味 | 模型训
