代码之家 › 专栏 › 技术社区 › Achaius

如何使用IAM服务动态创建气流S3连接

airflow amazon-s3

Achaius · 技术社区 · 6 年前

我的Airflow应用程序正在具有IAM角色的AWS EC2实例中运行。目前我正在使用硬编码访问和密钥创建Airflow S3连接。但我希望我的应用程序从这个实例本身获取这个AWS凭证。

如何做到这一点?

1 回复 | 直到 6 年前

nicor88 6 年前

我们有一个类似的设置,我们的气流实例运行在部署在EC2机器内部的容器中。我们设置了访问EC2机器实例概要文件中S3的策略。您不需要在EC2计算机中获取凭据,因为该计算机具有一个实例配置文件,该配置文件应该具有您所需的所有权限。从气流侧,我们只使用AWS U默认连接,在额外的参数中,我们只设置默认区域,但没有任何凭证。以下是有关维护配置文件的详细文章: https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/iam-roles-for-amazon-ec2.html

推荐文章

Ashu · 在csv文件中使用dataframe交换列-Python

2 年前

Sreenath Kamath · 在airflow上部署dag文件的有效方法

7 年前

aaron · 气流调度器意外关闭

7 年前

Srinivas · 如何通过气流将参数传递给hql管路

7 年前

Tia · 气流集成与BgQuery错误

7 年前

ozw1z5rd · 气流触发器如何更改执行日期

7 年前

jabberwocky · 气流DAG未在catchup=False的指定时间运行

7 年前

Alexander Ershov · 通过UI将参数传递给气流的作业

7 年前

Bovard · 我们需要什么文件格式通过airflow中的管理员上传变量?

7 年前

Alberto C. · 如何在EmailOperator任务的文件名中添加模板变量?(气流)

7 年前