存储倒排索引

shelve

目前,我正在使用python pickle模块存储字典并从中加载,但它会立即将整个索引带到内存中(或者会吗?)。

是的,它确实带来了一切。

有问题吗?如果这不是一个实际的问题,那就坚持下去。

如果是问题,你有什么问题?太慢了?太快了?太鲜艳了?内存使用过多?你有什么问题?

我会用 Lucene . 为什么要重新发明轮子?

只需将其存储在如下字符串中:

<entry1>,<entry2>,<entry3>,...,<entryN>

如果 <entry*> 这比同等的腌线小。

如果要加载,只需执行以下操作:

L = s.split(delimiter)

您可以存储字典的repr()并使用它重新创建它。

如果需要很长时间加载或使用太多内存,则可能需要一个数据库。你可能会用到很多;我可能会从 SQLite . 那么您的问题就“简化”;—)为简单地制定正确的查询,以便从数据库中获得所需的内容。这样你只需要装你需要的东西。

我使用任何DMB的目的。Anydbm提供了与dictionary相同的接口,只是它只允许字符串作为键和值。但这不是一个约束,因为您可以使用cPickle的loads/dumps在索引中存储更复杂的结构。