代码之家 › 专栏 › 技术社区 › Hussain Asghar

是否将文本数据转换为SVMFile格式以用于垃圾邮件分类?

apache-spark-mllib bigdata machine-learning apache-spark

Hussain Asghar · 技术社区 · 7 年前

如何将文本数据转换为LibSVM文件格式,以训练垃圾邮件分类模型。 SVMFiles是否已标记?

1 回复 | 直到 7 年前

user9179787 7 年前

SVM格式既不是必需的,也不是有用的。在Apache Spark ML示例中使用它,只是因为它可以直接映射到所需的格式。

SVMFiles是否已标记?

不一定,但Spark只能读取标记的变体。

实际上,您应该使用 org.apache.spark.ml.feature 用于从数据中提取相关特征的工具。

你可以跟随 the documentation 还有一些问题。,

推荐文章

Arlo Clarke · 如何以自动化方式导出大型Neo4j数据集进行分析

6 年前

RefiPeretz · SPARK聚合基于一列的所有列[重复]

6 年前

Gyanendra Dwivedi · 在清管器v0.15中设置队列名称

6 年前

Parth Mittal · MPI和MapReduce之间有什么区别?[已关闭]

6 年前

yzhan · Hadoop可写读字段EOFEException

6 年前

Gideok Seong · 显示读取java中mapreduce程序的CSV文件时出错

6 年前

vikash · scala中数组上的Distinct返回空字符串

6 年前

Nav · 黑斑羚有自己的执行引擎,还是在Hadoop生态系统中的MapR上工作?

6 年前

TomG · 在Spark cluster中运行Scala编写的Spark代码

6 年前

pylearner · python到pyspark,在pyspark中转换枢轴

6 年前