代码之家 › 专栏 › 技术社区 › Titi Wangsa bin Damhore

在java中使用多个IP进行抓取

web-scraping java

-3

Titi Wangsa bin Damhore · 技术社区 · 14 年前

基本上我有一个刮削应用程序。它每分钟刮取大约n个项目。目前我只有一个IP。

我正在抓取的站点每个IP允许3个连接。

我在考虑换一个IP。

所以我可以得到6个连接。

理论上,我应该能够在40秒内获得n个项目,或多或少。

目前我正在使用java(commons httpcore)来完成这项工作。

我不确定这是java问题还是操作系统问题。

我的机器有IP 1和IP 2 我如何连接到,比如说,www.microsoft。通用域名格式, 使用IP1和IP2? 如何指定要使用哪个ip进行连接?

1 回复 | 直到 14 年前

sfussenegger 14 年前

// requires HttpComponents Client 4.*
DefaultHttpClient httpclient = new DefaultHttpClient();
httpclient.getParams().setParameter(
  ConnRoutePNames.LOCAL_ADDRESS, 
  InetAddress.getByName("10.10.10.10")
);

见: http://hc.apache.org/httpcomponents-client/httpclient/apidocs/index.html

推荐文章

Omega500 · AttributeError:ResultSet对象没有属性“find\u all”

2 年前

Christina Norwood · 我需要什么Python技术来获取二进制边距数据?

2 年前

mexicanRmy · Selenium Select不处理下拉元素

2 年前

yash agarwal · Python Selenium-如何基于span标记内的文本提取元素?

2 年前

Amar · 漂亮汤错误:“NoneType”对象没有属性“find\u all”

2 年前

Fadi Ft Ftena · 基于类名的Web抓取

2 年前

Amen Aziz · 熊猫中的数据被覆盖

2 年前

Amen Aziz · csv文件中的数据不提供任何信息

2 年前

Jensen Holm · 在非常大的字符串中查找链接时遇到问题

2 年前

Yungi Jeong · 在使用selenium进行web抓取后,我在csv文件中得到了奇怪的结果。。内容不是特定的内容,而是html代码

2 年前