是否可以以编程方式构造一个python堆栈框架并在代码中的任意点开始执行?

标准python发行版中包含的expat python绑定正以编程方式构建堆栈帧。不过,需要注意的是,它依赖于未记录的和私有的API。

http://svn.python.org/view/python/trunk/Modules/pyexpat.c?rev=64048&view=auto

你通常想要的是延续,我看到的已经是这个问题的标签了。

如果您能够处理系统中的所有代码,您可能需要尝试 这样做而不是处理解释器堆栈内部。我不确定这会有多容易被坚持。

http://www.ps.uni-sb.de/~duchier/python/continuations.html

在实践中,我将构建您的工作流引擎,以便您的脚本将操作对象提交给管理器。经理可以在任何时候pickle一组操作,并允许 它们将被加载并再次开始执行(通过恢复提交操作)。

换句话说:创建自己的应用程序级堆栈。

如果您不介意完全转到不同的python发行版,那么stackless python可能是最好的。 stackless 可以序列化 一切 在python中,加上它们的微线程。如果您想继续使用标准的python发行版,那么我将使用 dill ,可以序列化 几乎 任何关于python的东西。

>>> import dill
>>> 
>>> def foo(a):
...   def bar(x):
...     return a*x
...   return bar
... 
>>> class baz(object):
...   def __call__(self, a,x):
...     return foo(a)(x)
... 
>>> b = baz()
>>> b(3,2)
6
>>> c = baz.__call__
>>> c(b,3,2)
6
>>> g = dill.loads(dill.dumps(globals()))
>>> g
{'dill': <module 'dill' from '/Library/Frameworks/Python.framework/Versions/7.2/lib/python2.7/site-packages/dill-0.2a.dev-py2.7.egg/dill/__init__.pyc'>, 'c': <unbound method baz.__call__>, 'b': <__main__.baz object at 0x4d61970>, 'g': {...}, '__builtins__': <module '__builtin__' (built-in)>, 'baz': <class '__main__.baz'>, '_version': '2', '__package__': None, '__name__': '__main__', 'foo': <function foo at 0x4d39d30>, '__doc__': None}

Dill把它的类型注册到 pickle 注册表,所以如果您有一些黑盒代码使用 泡菜 你不能真的编辑它,然后仅仅导入dill就可以神奇地使它在没有monkeyPatching第三方代码的情况下工作。

这里是 dill 整个口译环节…

>>> # continuing from above
>>> dill.dump_session('foobar.pkl')
>>>
>>> ^D
dude@sakurai>$ python
Python 2.7.5 (default, Sep 30 2013, 20:15:49) 
[GCC 4.2.1 (Apple Inc. build 5566)] on darwin
Type "help", "copyright", "credits" or "license" for more information.
>>> import dill
>>> dill.load_session('foobar.pkl')
>>> c(b,3,2)
6

小茴香 也有 some good tools 帮助您理解当代码失败时,是什么导致了酸洗失败。

您还要求在哪里保存解释器状态?

IPython 可以使用 小茴香 将解释器会话保存到文件中。 https://nbtest.herokuapp.com/github/ipython/ipython/blob/master/examples/parallel/Using%20Dill.ipynb

klepto 使用 小茴香 支持内存、磁盘或数据库缓存,避免重新计算。 https://github.com/uqfoundation/klepto/blob/master/tests/test_cache_info.py

mystic 使用 小茴香 通过在进行中保存优化器的状态来保存大型优化作业的检查点。 https://github.com/uqfoundation/mystic/blob/master/tests/test_solver_state.py

还有一些其他的包可以使用 小茴香 保存对象或会话的状态。

您可以通过抛出一个异常并在跟踪中向后退一帧来获取现有的堆栈帧。问题是没有办法在代码块的中间(frame.f_lasti)恢复执行。

_可恢复的异常_是一个非常有趣的语言想法,尽管很难想到一种合理的方式,它们可以与Python现有的_ Try/Finally__和_____块进行交互。

目前,实现这一点的正常方法只是使用线程在其控制器的单独上下文中运行工作流。(或者,如果您不介意编译它们的话,可以使用coroutines/greenlets)。

对于标准的c python,这一点很复杂,因为堆栈中混合了C和python数据。重建调用堆栈需要同时重建C堆栈。这真的把它放在了一个过于困难的篮子里,因为它可能将实现与特定版本的cpython紧密地结合在一起。

Stacklesspython允许微线程被pickle,这提供了开箱即用所需的大部分功能。

我有同样类型的问题要解决。我想知道原来的海报是怎么决定的。

Stackless声称只要没有关联的“累赘的”C堆栈(累赘是我选择的措辞),它就可以腌制微线程。

我可能会使用eventlet并找出某种方式来处理“状态”,但我真的不想写一个显式的状态机。

如何使用 joblib ?

我不太确定这是否是你想要的,但它似乎符合这样一个想法:拥有一个可以持久化阶段的工作流。Joblib的用例似乎是为了避免重新计算,我不确定这是您在这里要做的,还是更复杂的事情?