代码之家 › 专栏 › 技术社区 › alexn

C屏幕刮刀-处理长URI

screen-scraping c#

alexn · 技术社区 · 15 年前

我正在构建一个HTML屏幕scraper,它解析URL,然后将其与一组其他URL进行比较。

比较是通过uri.absoluteuri或uri.host完成的。

我的问题是,当我创建一个新的URI(new uri(url))时,当URL太长或包含多个斜杠时,会抛出一个uriformatException。

由于我的预定义URL集包含多个(到)长的URL,所以我不能只使用子字符串来获取URL的一部分。

最好的方法是什么?

谢谢

1 回复 | 直到 15 年前

Espo 15 年前

你可以使用 Uri.TryCreate 在您之前检查URI是否有效 new 它。

你不应该在一个网址上得到一个例外,这是这么短。以下程序在VS2008上运行良好:

static void Main(string[] args)
{
    Uri uri = new Uri("http://stackoverflow.com/questions/1298985/c-screen-scraper-handle-long-uris/c-screen-scraper-handle-long-uris/c-screen-scraper-handle-long-uris/c-screen-scraper-handle-long-uris/c-screen-scraper-handle-long-uris/c-screen-scraper-handle-long-uris/c-screen-scraper-handle-long-uris/c-screen-scraper-handle-long-uris/");
    Uri uri2 = new Uri("http://stackoverflow.com/questions/1298985/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/1/");
    Console.ReadLine();
}

推荐文章

Stphn · 使用Python将多个URL中的不同变量刮到一个CSV文件中

6 年前

Alok Mishra · 如何自动点击“内容”按钮

6 年前

Stphn · 使用BeautifulSoup(在其他两个标记之间)从<a>中删除一系列链接

6 年前

sudonym · 内存泄漏在哪里?如何在python中的多处理过程中超时线程?

6 年前

sudonym · 如何使用仅XPath正则表达式模式刮取无ID的网站元素

7 年前

Ike · Python Selenium错误-当webdriver

7 年前

ilyas · 使用网站查询获取数据[已关闭]

7 年前

David Norway · 使用python在网站上清除所有使用过的Javascript

7 年前

tanee · 通过rvest获取web抓取中的电子邮件地址

7 年前

Hassang · 如何使用JavaScript将html从某个位置提取到另一个位置并向其添加属性?

7 年前