代码之家 › 专栏 › 技术社区 › sree

从网站hadoop检索数据

bigdata flume hadoop

sree · 技术社区 · 8 年前

过去,我可以使用开发者API从twitter检索数据。

现在我想从网站检索数据。它不是点击流数据,而是网站中更新的实际数据。例如,我想检索每天在cricinfo等板球网站上更新的比赛详情。

有人能帮我怎么做吗。

谢谢斯里

1 回复 | 直到 7 年前

Amit 8 年前

看看吧 this 。也许你也可以尝试使用 RSS Feeds 为此,espncricinfo.com提供。

推荐文章

Arlo Clarke · 如何以自动化方式导出大型Neo4j数据集进行分析

6 年前

RefiPeretz · SPARK聚合基于一列的所有列[重复]

6 年前

Gyanendra Dwivedi · 在清管器v0.15中设置队列名称

6 年前

Parth Mittal · MPI和MapReduce之间有什么区别?[已关闭]

6 年前

yzhan · Hadoop可写读字段EOFEException

6 年前

Gideok Seong · 显示读取java中mapreduce程序的CSV文件时出错

6 年前

vikash · scala中数组上的Distinct返回空字符串

6 年前

Nav · 黑斑羚有自己的执行引擎,还是在Hadoop生态系统中的MapR上工作?

6 年前

TomG · 在Spark cluster中运行Scala编写的Spark代码

6 年前

pylearner · python到pyspark,在pyspark中转换枢轴

6 年前