如何从远程服务器检索文件目录?

如果Web服务器启用了目录浏览,它将返回一个包含所有文件链接的HTML文档。您可以解析HTML文档并提取所有链接。这将为您提供文件列表。

你可以使用 HTMLParser 类来提取您感兴趣的元素。类似这样的方法会奏效:

from HTMLParser import HTMLParser
import urllib

class AnchorParser(HTMLParser):
    def handle_starttag(self, tag, attrs):
            if tag =='a':
                    for key, value in attrs.iteritems()):
                            if key == 'href':
                                    print value

parser = AnchorParser()
data = urllib.urlopen('http://somewhere').read()
parser.feed(data)

你为什么不使用 curl wget 递归下载给定页面,并将其限制为1级。你将省去写剧本的所有麻烦。

wget -H -r --level=1 -k -p www.yourpage/dir