我从哪里开始使用分布式计算?

也许您可以先阅读一些与MapReduce和分布式计算相关的论文,以便更好地理解它。以下是一些我想建议的:

• MapReduce:大型集群上的简化数据处理, http://www.usenix.org/events/osdi04/tech/full_papers/dean/dean_html/

• Bigtable:用于结构化数据的分布式存储系统, http://www.usenix.org/events/osdi06/tech/chang/chang_html/

• DRYAD:来自顺序构建块的分布式数据并行程序, http://pdos.csail.mit.edu/6.824-2007/papers/isard-dryad.pdf

• 并行计算研究的前景:伯克利的观点, http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.67.8705&rep=rep1&type=pdf

另一方面,如果您想更好地了解Hadoop,也许可以开始阅读Hadoop MapReduce框架源代码。

现在,我会去看看书。- Hadoop A Definitive Guide . 它的作者是汤姆·怀特,他在Hadoop工作了很长一段时间,和DougCutting(Hadoop的创造者)一起在Cloudera工作。

同样在自由的一面,来自UMD的吉米·林写了一本书,名叫: Data-Intensive Text Processing with MapReduce . 这里有一个链接到最终的预生产版本(链接由作者在他的 website )

Hadoop不一定是解决所有分布式计算问题的最佳工具。尽管它很强大,但它的学习曲线和拥有成本也相当陡峭。 您可能希望澄清您的需求,并在Java世界中寻找合适的替代品,例如 HTCondor , JPPF 或 GridGain (我向那些我没有提到的人道歉)。

以下是雅虎的一些资源!开发者网络

教程:

http://developer.yahoo.com/hadoop/tutorial/

介绍性课程(需要Siverlight,Sigh):

http://yahoo.hosted.panopto.com/CourseCast/Viewer/Default.aspx?id=281cbf37-eed1-4715-b158-0474520014e6

万有hadoop播客 http://allthingshadoop.com/podcast 有一些好的内容和好的客人。很多都是为了开始分布式计算。

MIT 6.824 是最好的东西。仅仅阅读与Hadoop相关的谷歌论文是不够的。如果你想更深入地学习,就需要有系统的课程学习。

如果你想学习一个比Hadoop简单的分布式计算平台,你可以试试Zillabyte。您只需要知道一些Ruby或Python就可以在平台上构建应用程序。

正如罗洛所说,Hadoop是一个强大的解决方案,但从一开始可能很难。

学习分布式计算的材料 http://ocw.mit.edu/courses/electrical-engineering-and-computer-science/6-824-distributed-computer-systems-engineering-spring-2006/syllabus/ . 课程还推荐了几种资源。