当我做SEO时,学习机器人是如何工作的有帮助吗?

假设你所说的机器人就是网络蜘蛛,也就是爬虫,那么它工作原理的细节对于搜索引擎优化并不是特别有用——它遵循的是链接,本质上,与你的目的没有太多的关联!

当然,您需要了解事实上的标准:编写robots.txt文件以从某些页面中排除爬行器,编写良好的 sitemaps 如何 increase your crawl rate 使用 webmaster tools , landing page optimization 等等——所有的技能都与理解蜘蛛的内部工作方式大不相同。

是和否。你需要了解一些事情:

• robots.txt
• <a rel="nofollow" ...>
• stemming
• sitemaps
• 可能 Pagerank .

注意,我假设你是指一个标准的网络爬虫,而不是YouTube之类的。pagerank假设你关注的是Google,这通常是个好主意。;)

但是,你不应该关心代码,噪音太大了。词干背后的算法与SEO无关。爬虫如何处理超时并不是非常有用的。你可以忽略如何批量获取网页的细节——大规模并行数据处理可能是一个棘手的话题,你不需要知道所有这些。

查看面向SEO的博客、工具和网站。或者你可以搜索搜索引擎优化;如果最好的答案不在那里,那么他们就做错了什么。;)

我建议你看看seomoz的 search engine ranking factors page . 这是一个有组织的调查,搜索引擎优化专业人士的意见50左右的因素。它提供了大量的信息,可以让你更快地了解相关内容。