从ASPX页提取数据

我被老板托付了一项愚蠢的任务。

任务是:给定一个返回分页表的web应用程序,做一个“读取并解析它”的软件,因为没有什么比提供原始数据的web服务更合适的了。它就像一个“spider”或“crawler”应用程序来窃取不打算以编程方式访问的数据。

现在的问题是:这个应用程序是用standart aspx webform engine开发的,所以不像标准的url或post,而是一个可怕的postback引擎,里面充斥着javascript和不可访问的html。分页链接调用了臭名昭著的javascript:uu doPostBack(param,param),所以我认为即使我尝试模拟这些链接上的点击,它也不会起作用。

还有一些输入来过滤结果,它们也是postback机制的一部分,所以我无法模拟常规post来获得结果。

编辑:也许我有点不清楚我要实现什么。我必须以另一种格式(比如excel)解析、提取和转换数据,而不仅仅是读取数据。这些东西必须在没有用户输入的情况下实现自动化。我不认为硒会减少它。

编辑:我刚刚在博客上谈到了这种情况。如果有人感兴趣的话,你可以在 http://matteomosca.com/archive/2010/09/14/unethical-programming.aspx 并对此发表评论。