Python:defertoThreadXMLRPC服务器-Twisted-Cherrypy?

这个问题与我在这里提出的其他问题有关,主要是关于在内存中对大量数据集进行排序。

基本上这就是我想要/拥有的:

Twisted XMLRPC服务器正在运行。此服务器在内存中保留若干(32)个Foo类实例。每个Foo类都包含一个列表栏(其中将包含数百万条记录)。有一个从数据库检索数据并将其传递给XMLRPC服务器的服务。数据基本上是一个字典,每个Foo实例对应键,值是字典列表,如下所示:

data = {'foo1':[{'k1':'v1', 'k2':'v2'}, {'k1':'v1', 'k2':'v2'}], 'foo2':...}

class XMLRPCController(xmlrpc.XMLRPC):

    def __init__(self):
        ...
        self.foos = {'foo1':Foo(), 'foo2':Foo(), 'foo3':Foo()}
        ...

    def update(self, data):
        for k, v in data:
            threads.deferToThread(self.foos[k].processData, v)

    def getData(self, fookey):
        # return first 10 records of specified Foo.bar
        return self.foos[fookey].bar[0:10]

class Foo():

    def __init__(self):
        bar = []

    def processData(self, new_bar_data):
        for record in new_bar_data:
            # do processing, and add record, then sort
            # BUNCH OF PROCESSING CODE
            self.bar.sort(reverse=True)

问题是,当使用大量记录(比如100K+)在XMLRPCController中调用update函数时,它会停止响应我的getData调用,直到所有32个Foo实例都完成了process_data方法。我原以为延迟线程可以工作,但我想我误解了问题所在。

任何建议。。。如果Cherrypy支持这种必需的行为,我愿意使用其他东西,比如Cherrypy。

编辑

reactor.listenTCP(port_no, server.Site(XMLRPCController)
reactor.run()

就吉尔而言,这是一个可行的改变选择吗 sys.setcheckinterval()