代码之家 › 专栏 › 技术社区 › user8073054

机器人。txt格式不允许所有子URL,但不允许根URL本身

robots.txt seo

-2

user8073054 · 技术社区 · 7 年前

我的应用程序URL如下所示

现在我想阻止所有这些URL爬行,但不是 http://example.com/app 我怎样才能用机器人做到这一点。txt文件

1 回复 | 直到 7 年前

user7045690 user7045690 7 年前

将以下内容添加到您的机器人中。txt文件

Disallow: /app/

推荐文章

user8073054 · 机器人。txt格式不允许所有子URL,但不允许根URL本身

7 年前

zython Hiery Nomus · 为什么Chrome需要机器人。txt?

7 年前

Kyle Piira · robots.txt中的“允许:/$”是什么意思

8 年前

Jimmy Pelton · Magento robots.txt 404s

10 年前

Ryan Printup · robots.txt不允许空白PHP页面并包含?[已关闭]

10 年前

Maximus · 如何正确拆分网站?

11 年前

bernie · 阻止链接在Opencart中建立索引

11 年前

Thomas Jensen · 在nginx中回退到默认/共享文件

12 年前