代码之家 › 专栏 › 技术社区 › Toji

分配到itemsize>1的python 3.x缓冲区

pep3118 pybuffer python-c-api python-3.x python

2

Toji · 技术社区 · 14 年前

我试图通过Python3.x缓冲接口公开图像像素信息的缓冲区(32位RGBA)。经过一段时间的玩弄,我终于可以这样工作了:

int Image_get_buffer(PyObject* self, Py_buffer* view, int flags)
{
    int img_len;
    void* img_bytes;

    // Do my image fetch magic
    get_image_pixel_data(self, &img_bytes, &img_len);

    // Let python fill my buffer
    PyBuffer_FillInfo(view, self, img_bytes, img_len, 0, flags); 
}

在python中,我可以这样玩:

mv = memoryview(image)
print(mv[0]) # prints b'\x00'
mv[0] = b'\xFF' # set the first pixels red component to full
mx[0:4] = b'\xFF\xFF\xFF\xFF' # set the first pixel to white

而且效果很好。但是,如果我可以使用完整的像素值(int,4字节)而不是单个字节,那就太好了,所以我修改了缓冲区获取,如下所示:

int Image_get_buffer(PyObject* self, Py_buffer* view, int flags)
{
    int img_len;
    void* img_bytes;

    // Do my image fetch magic
    get_image_pixel_data(self, &img_bytes, &img_len);

    // Fill my buffer manually (derived from the PyBuffer_FillInfo source)
    Py_INCREF(self);
    view->readonly = 0;
    view->obj = self;
    view->buf = img_bytes;
    view->itemsize = 4;
    view->ndim = 1;
    view->len = img_len;
    view->suboffsets = NULL;

    view->format = NULL;
    if ((flags & PyBUF_FORMAT) == PyBUF_FORMAT)
        view->format = "I";

    view->shape = NULL;
    if ((flags & PyBUF_ND) == PyBUF_ND)
    {
        Py_ssize_t shape[] = { (int)(img_len/4) };
        view->shape = shape;
    }

    view->strides = NULL;
    if((flags & PyBUF_STRIDED) == PyBUF_STRIDED)
    {
        Py_ssize_t strides[] = { 4 };
        view->strides = strides;
    }

    return 0;
}

这实际上返回了数据,我可以正确地读取它,但是任何试图给它赋值的尝试现在都失败了!

mv = memoryview(image)
print(mv[0]) # prints b'\x00\x00\x00\x00'
mv[0] = 0xFFFFFFFF # ERROR (1)
mv[0] = b'\xFF\xFF\xFF\xFF' # ERROR! (2)
mv[0] = mv[0] # ERROR?!? (3)

在案例1中,错误告诉我 'int' does not support the buffer interface ,这是一个遗憾和有点混乱(我确实指定缓冲区格式毕竟是“i”),但我可以处理。不过,在第2和第3种情况下,事情变得很奇怪:这两种情况都会给我一个类型错误的读数 mismatching item sizes for "my.Image" and "bytes" (何处) my.Image 很明显是我的图像类型)

这让我非常困惑,因为我传入的数据显然与从该元素中获取的数据大小相同。如果itemsize大于1,则缓冲区似乎只是停止允许赋值。当然,这个接口的文档非常稀少,仔细阅读python代码并没有给出任何使用示例,所以我相当困惑。我是否遗漏了一些说明“当itemsize>1时缓冲区变得基本无用”的文档,我是否做错了我看不见的事情,或者这是python中的一个bug?(根据3.1.1进行测试)

感谢您在这个问题上的任何见解(诚然是先进的)!

1 回复 | 直到 14 年前

1

Justin Peel 14 年前

我在python代码(在memoryobject.c的objects中)的函数memory ass_sub中发现了这个:

/* XXX should we allow assignment of different item sizes
   as long as the byte length is the same?
   (e.g. assign 2 shorts to a 4-byte slice) */
if (srcview.itemsize != view->itemsize) {
    PyErr_Format(PyExc_TypeError,
        "mismatching item sizes for \"%.200s\" and \"%.200s\"", 
        view->obj->ob_type->tp_name, srcview.obj->ob_type->tp_name);
    goto _error;
}

这就是后两个错误的根源。看起来,即使mv[0]的itemsize仍然不等于它本身。

更新

我想是这样的。当您试图在mv中赋值时,它调用objects/memoryobject.c中的memory_ass_sub,但该函数只接受一个pyobject作为输入。然后,使用pyobject_getbuffer函数将该对象更改为内部缓冲区,即使在mv[0]的情况下,它已经是一个缓冲区(以及您想要的缓冲区!)。我的猜测是,此函数接受对象并使其成为itemsize=1的简单缓冲区,而不管它是否已经是缓冲区。这就是为什么你得到不匹配的项目大小,即使

mv[0] = mv[0]

第一次作业的问题,

mV[0]=0xffffffff

我认为这源于检查int是否可以用作缓冲区,而根据我的理解,目前还没有为它设置缓冲区。

换句话说,缓冲区系统目前无法处理大于1的项。看起来不太遥远,但你需要做更多的工作。如果您确实让它工作了,那么您可能应该将更改提交回主python发行版。

另一个更新

第一次尝试分配mv[0]时的错误代码源于调用pyobject_checkbuffer时,int使pyobject_checkbuffer失败。显然,系统只处理来自可缓冲对象的副本。这似乎也应该改变。

结论

目前,python缓冲区系统无法处理itemsize>1的项,如您所料。此外,它不能处理来自非缓冲对象(如int)的缓冲区分配。