提高crawer4j的性能

我需要写一个网页刮擦器,它可以刮擦大约1M个网站,并将它们的标题、描述和关键字保存到一个大文件中(包含刮擦的URL和相关单词)。URL应该从一个大文件中提取。

我在1M URL文件上运行了Crawler4j,并使用以下命令启动了网络爬虫程序: controller.start(MyCrawler.class, 20) .20是任意数。每个爬虫程序将结果字传递到阻塞队列中,以便单个线程将这些字和URL写入文件。为了不同步文件,我使用了1个writer线程。我将爬网深度设置为0(我只需要爬网我的种子列表)

运行了一晚之后,我只下载了大约20万个URL。我使用有线连接在一台机器上运行刮刀。由于大多数URL来自不同的主机,我认为礼貌参数在这里没有任何重要性。

编辑

我尝试使用非阻塞启动启动Crawler4j,但它被阻塞了。我的Crawler4j版本是:4.2。这是我正在使用的代码:

CrawlConfig config = new CrawlConfig();
List<Header> headers = Arrays.asList(
        new BasicHeader("Accept", "text/html,text/xml"),
        new BasicHeader("Accept-Language", "en-gb, en-us, en-uk")
);
config.setDefaultHeaders(headers);
config.setCrawlStorageFolder(crawlStorageFolder);
config.setMaxDepthOfCrawling(0);
config.setUserAgentString("testcrawl");
config.setIncludeBinaryContentInCrawling(false);
config.setPolitenessDelay(10);

PageFetcher pageFetcher = new PageFetcher(config);
RobotstxtConfig robotstxtConfig = new RobotstxtConfig();
RobotstxtServer robotstxtServer = new RobotstxtServer(robotstxtConfig, pageFetcher);

BlockingQueue<String> urlsQueue = new ArrayBlockingQueue<>(400);
controller = new CrawlController(config, pageFetcher, robotstxtServer);

ExecutorService executorService = Executors.newSingleThreadExecutor();
Runnable writerThread = new FileWriterThread(urlsQueue, crawlStorageFolder, outputFile);

executorService.execute(writerThread);

controller.startNonBlocking(() -> {
    return new MyCrawler(urlsQueue);
}, 4);

File file = new File(urlsFileName);
try (BufferedReader br = new BufferedReader(new FileReader(file))) {
    String url;
    while ((url = br.readLine()) != null) {
        controller.addSeed(url);
    }
}

编辑1-这是MyCrawler的代码

public class MyCrawler extends WebCrawler {
    private final static Pattern FILTERS = Pattern.compile(".*(\\.(css|js|gif|jpg|png|mp3|mp3|zip|gz))$");
    public static final String DELIMETER = "||||";
    private final StringBuilder buffer = new StringBuilder();
    private final BlockingQueue<String> urlsQueue;

    public MyCrawler(BlockingQueue<String> urlsQueue) {
        this.urlsQueue = urlsQueue;
    }

    @Override
    public boolean shouldVisit(Page referringPage, WebURL url) {
        String href = url.getURL().toLowerCase();
        return !FILTERS.matcher(href).matches();
    }

    @Override
    public void visit(Page page) {
        String url = page.getWebURL().getURL();

        if (page.getParseData() instanceof HtmlParseData) {
            HtmlParseData parseData = (HtmlParseData) page.getParseData();
            String html = parseData.getHtml();
            String title = parseData.getTitle();

            Document document = Jsoup.parse(html);
            buffer.append(url.replaceAll("[\n\r]", "")).append(DELIMETER).append(title);
            Elements descriptions = document.select("meta[name=description]");
            for (Element description : descriptions) {
                if (description.hasAttr("content"))
                    buffer.append(description.attr("content").replaceAll("[\n\r]", ""));
            }

            Elements elements = document.select("meta[name=keywords]");
            for (Element element : elements) {
                String keywords = element.attr("content").replaceAll("[\n\r]", "");
                buffer.append(keywords);
            }
            buffer.append("\n");
            String urlContent = buffer.toString();
            buffer.setLength(0);
            urlsQueue.add(urlContent);
        }
    }

    private boolean isSuccessful(int statusCode) {
        return 200 <= statusCode && statusCode < 400;
    }
}

所以我有两个问题:

1. 有人能提出任何其他方法来缩短这个过程的时间吗?也许可以通过某种方式调整爬虫线程的数量?也许还有其他优化?我更喜欢一个不需要多台机器的解决方案,但如果你认为这是扮演角色的唯一方式,有人能建议怎么做吗?也许是一个代码示例?
2. 有什么方法可以让爬虫程序开始处理某些URL,并在爬虫过程中不断添加更多URL?我看过 crawler.startNonBlocking 但似乎效果不太好

提前谢谢