在学校的Unix服务器上运行时,url.openstream()非常慢。

我正在使用 URL.openStream() 为我正在编写的爬虫程序下载许多HTML页面。该方法在我的Mac上本地运行很好,但是在我的学校Unix服务器上,该方法非常慢。 但只有在下载第一页时。

以下是下载页面的方法:

public static String download(URL url) throws IOException {
    Long start = System.currentTimeMillis();
    InputStream is = url.openStream();
    System.out.println("\t\tCreated 'is' in "+((System.currentTimeMillis()-start)/(1000.0*60))+"minutes");
    ...
}

以及调用它的主要方法:

LinkedList<URL> ll = new LinkedList<URL>();
ll.add(new URL("http://sheldonbrown.org/bicycle.html"));
ll.add(new URL("http://www.trentobike.org/nongeo/index.html"));
ll.add(new URL("http://www.trentobike.org/byauthor/index.html"));
ll.add(new URL("http://www.myra-simon.com/bike/travel/index.html"));
for (URL tmp : ll) {
    System.out.println();
    System.out.println(tmp);
    CrawlerTools.download(tmp);
}

局部输出 (注:均为快速) :

http://sheldonbrown.org/bicycle.html 0.00475分钟后创建“is”

http://www.trentobike.org/nongeo/index.html 在0.0050833333333333333分钟内创建“is”

http://www.trentobike.org/byauthor/index.html 在0.00238333333333333333332分钟内创建了“is”

http://www.myra-simon.com/bike/travel/index.html 0.00405分钟后创建“is”

学校机器服务器上的输出 (注:除第一个外,其他都很快。不管第一个站点是什么,第一个站点都很慢) :

网址:http://sheldonbrown.org/bicycle.html 在3.2330666666666668分钟内创建“is”

http://www.trentobike.org/nongeo/index.html 在0.016416666666666666分钟内创建了“is”

http://www.trentobike.org/byauthor/index.html 在0.0022166666666666667分钟内创建“is”

http://www.myra-西蒙.com/bike/travel/index.html 在0.0095333333333333333分钟内创建“is”

我不确定这是否是Java问题(Java代码中的问题)或服务器问题。我有什么选择?

在服务器上运行时,这是time命令的输出:

real    3m11.385s
user    0m0.277s
sys     0m0.113s

我不确定这是否相关…我该怎么做来隔离我的问题….