代码之家 › 专栏 › 技术社区 › raul

将列表unicode值的rdd列表转换为字符串

python-unicode rdd pyspark python-2.7

raul · 技术社区 · 7 年前

我有一个spark rdd,它的值以unicode作为列表:

ex_rdd.take(5)
[[u'70450535982412348', u'1000000923', u'1'],
 [u'535982417348', u'1000000923', u'1'],
 [u'50535929459899', u'1000000923', u'99'],
 [u'8070450535936297811', u'1000000923', u'1'],
 [u'5937908667', u'1000000923', u'1']]

unicode error .如何将它们转换为字符串并在pyspark中高效地写入文件?hdfs输出文件应如下所示-

 70450535982412348,1000000923,1
 535982417348,1000000923,1

等等

1 回复 | 直到 7 年前

A.M. 7 年前

您可以使用Python的 join map 和 saveAsTextFile pyspark上的操作。RDD对象(请参阅文档 here ).

ex_rdd.map(lambda L: ','.join(L)).saveAsTextFile('/path/to/hdfs/save/file')

如果我没有弄错的话,即使是PySpark的早期版本(>=1.0),也应该可以使用它。

我不知道你说的是什么意思“ unicode error “。这是Python中的异常吗?还是Java内部的异常?

推荐文章

Vasu Mistry · 如何用字符串值解析yaml文件

2 年前

user13643099 · Python2.7使用子流程。Popen向kubectl exec发送了一封不工作的吊舱

2 年前

kopew · 索引器:列表索引超出api的范围

2 年前

Atefeh Hedayati · 如何使用矩阵乘法简化循环?

2 年前

Sachin Verma · 如何使用sqlbuilder使用聚合函数(平均、计数、最大、最小)。智能SQL

2 年前

wayoh22 · 检查部分值和返回全部值的列表

2 年前

Samy Mostakim · chrome正常工作,但firefox给我这个erorr

2 年前

XManit · 无法在python2上安装pyinstaller。7.18

2 年前

arwind mohan kmm · Python中的图像拆分器

2 年前

Cranjis · 网址。解析Python2。7相当于

6 年前