用python或

我对我的(微生物学和遗传学)学生提出的一个论点是,“数据”是混乱的,而Python可以帮助解决这个问题(当然其他语言也可以)。因此,这里是一种实用的基于Web的数据收集练习。

我注意到,在自然出现的问题中,有一些人在代表性最高的用户中回答与Python相关的问题:

我希望恢复(最高评级)pythonistas在堆栈溢出时的当前rep和rep增加率,以便预测是或何时 Alex Martelli 将超过 Steven Lott 或 Greg Hewgill ?怎么样 Konrad Rudolph ?是不是因为这些人的增长都是有限的?

更一般地说,在没有用于查询的API(我认为没有)的情况下,除了查看页面的URL以查找模式、使用python加载这些页面然后抓取HTML之外,还有其他选择吗?我知道可能没有一般的方法,但我对人们如何处理这个问题感兴趣。

编辑:@fitzgeraldsteele:一般。所以这真的只是一个(人为的)例子。