代码之家  ›  专栏  ›  技术社区  ›  dade

如何在删除机器人.txt

  •  1
  • dade  · 技术社区  · 14 年前

    现在我已经完成了网站,我删除了机器人.txt我希望我的网站会出现在谷歌上,因为机器人.txt他走了!

    但这不会发生!我已经移除了机器人.txt现在已经有3到4周的时间了,但网站仍然没有出现:(

    还是说我不够耐心?

    5 回复  |  直到 14 年前
        1
  •  3
  •   thevilledev    14 年前

    你可以添加你的网站来爬行 here.

        2
  •  1
  •   ChrisLively    14 年前

    创建一个站点地图文件并提交给google、bing和其他人。对于谷歌,你可以使用他们的网站管理员工具。

        3
  •  1
  •   Ken Struys    14 年前

    User-agent: *
    Disallow: 
    

    也注册谷歌网站管理员工具和设置网站地图文件。这可能有助于谷歌认识到事情已经发生了变化。

        4
  •  1
  •   ankitjaininfo    14 年前

    作为第一步得到网站管理员工具验证。所以你可以看到谷歌爬虫访问和拒绝的原因。

    http://www.google.com/support/forum/p/Webmasters/thread?tid=671635798b0e75ba&hl=en