![]() |
1
1
有一个 document 解释mapreduce for java的一些概念。尽管它是不完整的,但它与python版本共享了大部分架构。在该文档中,还有一个指向 complete java sample mapreduce app ,从数据存储中读取。
为了编写结果,您可以指定
另一种选择是,无论何时编写一个实体,都会将另一个条目写入/更新到EntityDistinct数据模型。 如果您计划执行复杂的报告,并且您现在可以预测所有需求,我建议您再次查看Big Query。BigQuery非常强大,可以在非常庞大的数据集上完美地工作。您可以检查 http://code.google.com/p/log2bq/ 这是一个python项目,使用mapreduce将日志加载到Big Query中。或者,您还可以有一个cron作业,它每隔一段时间就会获取所有新实体并将它们移动到Big Query中。 与摩擦有关,请记住,这是一个无sql数据库,因此有一些优点,但有些地方与sql本质上不同。记住,你可以随时使用 Google Cloud SQL ,假设您的数据集大小有限,但您会失去复制和容错功能。 |