代码之家 › 专栏 › 技术社区 › user1176783

如何确认使用了正确的Robots.txt文件?

robots.txt mod-rewrite .htaccess

user1176783 · 技术社区 · 6 年前

我有不同的stag和dev领域的一个项目,我的工作,并最终将有实际的生产环境。我创造了两个 robots.txt 文件夹:

robots-nocrawl.txt

第一个当然是我想在产品上运行的标准文件,允许google爬行。我不想我的dev和stag域被索引,所以我想在访问这些域时激发,此文件仅具有 Disallow / .

我已经添加了所需的代码 .htaccess

RewriteCond %{HTTP_HOST} ^stag\.mollywade\.([a-z\.]+)$ [OR]
RewriteCond %{HTTP_HOST} ^dev\.mollywade\.([a-z\.]+)$ [OR]
RewriteRule ^/robots\.txt$  /robots_nocrawl.txt [L]

1 回复 | 直到 6 年前

MrWhite 6 年前

要检查它是否按预期工作,只需提出必要的请求。例如:

example.com/robots.txt 应该返回 robots.txt .
stag.example.com/robots.txt 应该返回 robots_nocrawl.txt
dev.example.com/robots.txt 应该返回 机器人\u nocrawl.txt

但是,在当前的应用程序中有几个关键错误 .htaccess 阻止此操作的文件:

RewriteRule 图案 ^/robots\.txt$ 不会在每个目录中匹配 .htaccess访问 上下文。不应该有斜杠前缀。这应该是 ^robots\.txt$ .
你有 OR

因此,这些指令应写成:

RewriteCond %{HTTP_HOST} ^(stag|dev)\.mollywade\.([a-z.]+)
RewriteRule ^robots\.txt$  /robots_nocrawl.txt [L]

您不妨将这两个条件合并为一个条件,然后可以删除全部标记。在字符类中使用时,不需要转义文字点。尾随 $ 是多余的,因为正则表达式在默认情况下是贪婪的。

这个文件只是 Disallow /

我想这只是你问题中的一个输入错误,因为你漏了一个字母 : . 应该是的 Disallow: /

推荐文章

Community wiki · 如何保持干净的url显示在浏览器中,而不是脏的重定向url?

1 年前

Priya Patel · .htaccess重定向问题具有多个。htaccess文件

2 年前

Coolen · 通过htaccess重定向并删除部分链接

2 年前

Ahnaf · 添加。php扩展,如果路径不是包含的文件夹。htaccess

2 年前

Hasnaa · 隐藏使用将域名重定向到其他DN的子文件夹。htaccess或其他任何东西

2 年前

ArabianMaiden · 如何从“example.com/products/123/title of this product”这样的干净url获取['id']?

2 年前

Sebastian · 带有PHP菜单的干净/漂亮URL

6 年前

Ricky · Facebook调试器:在反向代理重写后更改规范URL值

6 年前

cespon Tom · Laravel强制www和HTTPS错误:重定向到索引。php

6 年前

imagina · 合并两个。htaccess指令整合为一个

6 年前