代码之家  ›  专栏  ›  技术社区  ›  Marcelo Cantos

robots.txt:不允许机器人访问给定的“url深度”

noindex robots.txt
  •  3
  • Marcelo Cantos  · 技术社区  · 16 年前
    内容过于久远，请刷新稍后重试
    1 回复  |  直到 7 年前
        1
  •  1
  •   MarkusQ    16 年前
    推荐文章
    user8073054  ·  机器人。txt格式不允许所有子URL,但不允许根URL本身
    7 年前
    zython Hiery Nomus  ·  为什么Chrome需要机器人。txt?
    7 年前
    Kyle Piira  ·  robots.txt中的“允许:/$”是什么意思
    9 年前
    Jimmy Pelton  ·  Magento robots.txt 404s
    11 年前
    Ryan Printup  ·  robots.txt不允许空白PHP页面并包含?[已关闭]
    11 年前
    Maximus  ·  如何正确拆分网站?
    11 年前
    bernie  ·  阻止链接在Opencart中建立索引
    12 年前
    Thomas Jensen  ·  在nginx中回退到默认/共享文件
    12 年前
    关于  
    代码之家 - 一站式码农服务社区
    沪ICP备11025650号