代码之家  ›  专栏  ›  技术社区  ›  Evan Zamir

正在尝试在Amazon EMR上安装pandas for Pyspark

amazon-emr pyspark pandas
  •  5
  • Evan Zamir  · 技术社区  · 6 年前

    这个问题实际上可以应用于任何Python包。我有一个在Spark作业之前运行的引导脚本,我假设需要在该脚本中安装pandas。我尝试了许多不同的方法,但似乎没有任何效果(pip安装、easy\u安装、yum安装等)。在Spark pandas无法导入时,所有工作都会失败。我正在运行EMR v5.12.1和Python 3.4。

    1 回复  |  直到 6 年前
        1
  •  7
  •   harmands    5 年前 
    sudo python3 -m pip install pandas

    这是我们在 bootstarp.sh 要安装 pandas 。

    推荐文章
    Mainland  ·  Python数据帧规范化值错误:列的长度必须与键相同
    1 年前
    user026  ·  如何根据特定窗口的平均值(行数)创建新列?
    1 年前
    rpn  ·  如何在列[1]中连续第二次出现“0”时返回列[0]的值
    1 年前
    asmgx  ·  为什么合并数据帧不能按照python中的预期方式工作
    1 年前
    Gtoth  ·  如何分割Pandas DataFrame中包含多个日期的两个时间戳之间的差异
    1 年前
    Domarius  ·  使用loc为多行设置多列值
    1 年前
    Swastik Bhattacharyya  ·  如何在同一类别类型的多列上运行get_dummies()函数?
    1 年前
    DrZoidberg09  ·  如何在字典列表中创建一个新关键字,该关键字是另一个关键字的总和?
    1 年前
    armstrong3701  ·  如何有效地处理熊猫数据框中缺失的数据并计算条件统计?
    1 年前
    msts1906  ·  大熊猫向乳胶的适当多品种出口
    1 年前
    关于   移动版
    代码之家 - 一站式码农服务社区
    沪ICP备11025650号