在python中为Hadoop映射Reduce创建自定义可写的键/值类型?

在Pydoop, 明确的 仍然支持自定义Hadoop类型 WIP . 换言之,现在我们并不是让用户轻松地完成任务,但只需要一点工作就可以完成。几个指针:

• PydoPoP已经包含自定义Java代码,与Python包一起自动安装为 pydoop.jar . 我们根据需要把这个额外的罐子传给Hadoop。添加更多的Java代码是将源放在 src/ 把它列在 JavaLib.java_files 在里面 setup.py

• 在Python方面,新类型需要反序列化程序。例如,请参见 LongWritableDeserializer 在里面 pydoop.mapreduce.pipes .

希望这有帮助。