使用太多内存的大量Python整数集

您可以通过编写自己的代码来避免对第三方位数组模块的依赖性--所需的功能非常少:

import array

BITS_PER_ITEM = array.array('I').itemsize * 8

def make_bit_array(num_bits, initially=0):
    num_items = (num_bits + BITS_PER_ITEM - 1) // BITS_PER_ITEM
    return array.array('I', [initially]) * num_items

def set_bit(bit_array, offset):
    item_index = offset // BITS_PER_ITEM
    bit_index = offset % BITS_PER_ITEM
    bit_array[item_index] |= 1 << bit_index

def clear_bit(bit_array, offset):
    item_index = offset // BITS_PER_ITEM
    bit_index = offset % BITS_PER_ITEM
    bit_array[item_index] &= ~(1 << bit_index)

def get_bit(bit_array, offset):
    item_index = offset // BITS_PER_ITEM
    bit_index = offset % BITS_PER_ITEM
    return (bit_array[item_index] >> bit_index) & 1

使用 bit-array

房地产经纪人问题:

• Python equivalent to Java's BitSet

使用一个位数组作为每个整数的标志-所需的内存只有5000万位(大约6 MB)。有几个模块可以提供帮助。本例使用 bitstring bitarray :

from bitstring import BitArray
i = BitArray(50000000) # initialise 50 million zero bits
for x in xrange(100):
    v = random.randint(1, 50000000)
    if not i[v]: # Test if it's already present
        i.set(1, v) # Set a single bit

阵列 模块。

如果整数是唯一的,则使用位。示例:二进制 01011111

它被描述在 one chapter of "Programming Pearls" by Jon Bentley

似乎有 bitarray Emil提到的模块就是这样工作的。

根据您的需求,您还可以考虑 bloom filter