win32.:如何在不使用正则表达式的情况下擦除HTML?

最近的 blog entry by a Jeff Atwood 说您不应该使用正则表达式来解析HTML,但没有给出替代方法。

我要刮取搜索结果,提取值:

<div class="used_result_container"> 
   ...
      ...
         <div class="vehicleInfo"> 
            ...
               ...
                  <div class="makemodeltrim">
                     ...
                     <a class="carlink" href="[Url]">[MakeAndModel]</a>
                     ...
                  </div> 
                  <div class="kilometers">[Kilometers]</div> 
                  <div class="price">[Price]</div> 
                  <div class="location">
                     <span class='locationText'>Location:</span>[Location]
                  </div> 
               ...          
            ...
         </div> 
      ...
   ...
</div> 

...and it repeats

您可以看到我要提取的值[括在括号内]:

• 网址
• 制作模型
• 公里
• 价格
• 位置

假设 我们 接受 解析HTML的前提是:

• 一般来说是个坏主意
• rapidly devolves into madness

怎么做?

假设:

• 本地Win32
• 松散的HTML

假设澄清:

本地Win32

• .NET/CLR不是本机win32
• Java不是本地Win32
• perl、python、ruby不是本机win32
• 假设VisualStudio 2000中的C++编译成本地Win32应用程序

本机Win32应用程序 可以 调用库代码:

• 复制的源代码
• 包含函数入口点的DLL
• 包含COM对象的DLL
• 包含COM对象的DLL,这些对象是托管.NET对象周围的COM可调用包装器(CCW)

松散的HTML

• XML不是松散的HTML
• XHTML不是松散的HTML
• 严格的HTML不是松散的HTML

松散的HTML意味着HTML不是格式良好的XML(严格的HTML也不是格式良好的XML),因此不能使用XML解析器。事实上,我提出了这样一个假设:任何HTML解析器在它接受的HTML中都必须是慷慨的。

澄清(2)

假设 您喜欢将HTML转换为文档对象模型(DOM)的想法,那么如何访问重复的数据结构呢?将如何 你 走过一棵DOM树?我需要一个DIV节点,它是 已用结果容器 ,其子级为 车辆信息 . 但是节点不一定是彼此的直接子节点。

听起来我在用一组正则表达式问题换另一组。如果它们改变了HTML的结构,我将不得不重新编写代码来匹配——就像我对正则表达式所做的那样。假设我们想避免这些问题,因为这些是正则表达式的问题,我应该怎么做呢?

我不会为dom节点编写正则表达式解析器吗?我正在编写一个引擎来解析一系列对象,使用内部状态机和前后捕获。不,一定有更好的方法——杰夫提到的方法。

我故意把原来的问题弄得模糊不清,以免引导人们走上错误的道路。我不想暗示解决方案必然与以下内容有关:

• 在DOM树上行走
• XPath查询

澄清(3)

我提供的HTML示例简化到了重要的元素和属性。我用来减少HTML的机制是基于我使用正则表达式的内部偏见。我自然认为我需要各种各样的 招牌 在我寻找的HTML中。

所以不要混淆整个HTML的呈现HTML。也许其他的解决方案取决于 全部的 原始HTML。

更新4

唯一提出的解决方案似乎包括使用库将HTML转换为文档对象模型(DOM)。接下来的问题是: 然后什么 ?

既然我有了DOM,我该怎么处理它呢?好像我还得带着某种 正则DOM表达式分析器 能够进行正向匹配和捕获。

在这种情况下,我需要 已用结果容器 div 包含以下内容的节点 车辆信息 将节点划分为子级。任何 已用结果容器 DIV不包含的节点 车辆信息 有孩子是不相关的。

是否有具有捕获和前向匹配的DOM正则表达式分析器?我认为xpath不能根据低级节点的条件选择高级节点:

\\div[@class="used_result_container" && .\div[@class="vehicleInfo"]]\*

注: 我很少使用xpath,所以我不能很好地弥补假设的xpath语法。