如何对自己的网站进行爬网?

我继承了一个旧的经典ASP网站进行修改。虽然没有事先要求,但我想删除一些旧的“孤立”页面。

出于某种原因,老开发人员决定创建多个文件实例,而不是使用源代码管理(例如 index-t.asp, index-feb09.asp, index-menutest.asp )

我想知道是否有人知道一个程序或网站,可以为我自己的网站爬行?它可能需要能够对公共站点进行爬行,因为有很多包含文件。另外,有些URL是相对的,有些是绝对的。