代码之家  ›  专栏  ›  技术社区  ›  Andres Urrego Angel

如何在python 3.x上获取数据流gcp的apache beam

  •  2
  • Andres Urrego Angel  · 技术社区  · 6 年前

    我对GCP和数据流非常熟悉。但是,我想开始测试和部署一些在GCP上利用数据流的流。根据文档和围绕数据流的所有内容,必须使用Apache项目beam。因此,遵循官方文件 here 支持的python版本是2.7

    老实说,这是相当令人失望的,因为python版本2.x由于没有官方支持而将消失,并且每个人都在使用版本3.x。不过,我想知道是否有人知道如何准备好beam和gcp数据流在python版本中运行。

    我看到了这个 video 还有这个Parson如何完成这个美妙的里程碑,显然它运行在Python3.5上。

    更新 :

    伙计们,我只想提出一个自我在数据流上挣扎以来一直困扰着我的想法。我真的感到非常失望,在这个意义上的挑战是如何着手动手这个工具,无论是版本Java或Python。在python中,有关于版本3的约束,这几乎是当前的标准。另一方面,Java有运行在版本11上的问题,我必须调整一点来运行版本8的My代码,然后我开始与代码中的许多不兼容进行斗争。简言之,如果GCP真的想前进并成为1,那么还有很多需要改进的地方。失望:

    解决办法 :

    我将Java版本降级为JDK 8,安装Maven,现在我的Eclipse版本正在为Apache Beo工作。

    我终于解决了,但是,GCP真的要考虑增强和跨越对Java/Python的最新版本的支持。

    非常感谢

    1 回复  |  直到 6 年前
        1
  •  3
  •   Mattwmaster58    6 年前

    目前有 将python3用于ApacheBeam的方法(您可以为此编写适配器,但毫无意义)。

    python3.x的支持正在进行中,请看一下这个 apache-beam issue .

    在视频中,python 3.5.2是 只有 对于编辑器版本,它不是运行Apache beam的Python。请注意,在bash中,python 2.7正在运行。