代码之家 › 专栏 › 技术社区 › Marcelo Cantos

robots.txt:不允许机器人访问给定的“url深度”

noindex robots.txt

3

Marcelo Cantos · 技术社区 · 15 年前

我想要谷歌&co-to-spider在URL中包含一个标记的所有链接,但不包含包含两个或更多标记的URL。

目前我使用html元标记 "robots" -> "noindex, nofollow" 解决这个问题。

是否有robots.txt解决方案(至少对某些搜索机器人有效),或者我是否需要继续使用“noindex,nofollow”并使用额外的流量?

1 回复 | 直到 7 年前

1

MarkusQ 15 年前

我认为你不能用robots.txt来做。 The standard 非常窄(没有通配符,必须在顶层,等等)。