代码之家 › 专栏 › 技术社区 › Kyle Piira

robots.txt中的“允许:/$”是什么意思

robots.txt web-crawler

Kyle Piira · 技术社区 · 9 年前

当挖掘 Google robots.txt 我注意到一行我不熟悉的字。

下面的代码在机器人的上下文中意味着什么。txt文件?

Allow: /$

“$”的意思是否从简单的说

Allow: /

2 回复 | 直到 9 年前

Community Mohan Dere 5 年前

您可以使用美元符号($)匹配字符串的结尾。例如,要阻止以.asp结尾的URL:

用户代理:Googlebot
不允许:/*.asp$

看起来它有点像正则表达式。

ketilkn 9 年前

一些机器人理解模式匹配。 $ 在正则表达式中用于标记行尾。因此,该规则应允许 / 但不是 /foo .

我没有消息来源 机器人.txt 尽管如此。

推荐文章

user8073054 · 机器人。txt格式不允许所有子URL,但不允许根URL本身

8 年前

zython Hiery Nomus · 为什么Chrome需要机器人。txt?

8 年前

Kyle Piira · robots.txt中的“允许:/$”是什么意思

9 年前

Jimmy Pelton · Magento robots.txt 404s

11 年前

Ryan Printup · robots.txt不允许空白PHP页面并包含?[已关闭]

11 年前

Maximus · 如何正确拆分网站?

12 年前

bernie · 阻止链接在Opencart中建立索引

12 年前

Thomas Jensen · 在nginx中回退到默认/共享文件

13 年前