代码之家  ›  专栏  ›  技术社区  ›  jason m

lxml-从间接URL转换为直接URL

  •  0
  • jason m  · 技术社区  · 6 年前

    我正在使用python和lxml收集一些Web数据。

    如果我有一些元素:

    import requests
    from lxml import html
    
    r = requests.get(url)
    tree = html.fromstring(r.text)
    file_ = tree.xpath('some_xpath')[0]
    url=file_.attrib['href'] #element
    

    它产生了如下的结果:

    ../Document1/Document2.aspx?No=123456
    

    我的基本URL类似于:

    http://www.foo.com/
    

    我可以添加基URL并清除间接的前导句点,但必须有更好的方法。

    谢谢你的意见。

    1 回复  |  直到 6 年前
        1
  •  0
  •   pguardiario    6 年前

    from urlparse import urljoin
    abs = urljoin(base, rel)