代码之家 › 专栏 › 技术社区 › AngiSen

Azure-实时将文件从本地复制到blob

azure-data-factory-2 azure-eventhub azure

AngiSen · 技术社区 · 6 年前

我正在Azure平台上工作,并使用Azure data Factory v2执行数据集成(ETL)活动。当消息文件被放入外部SFTP路径时,我需要实时解析.txt格式的消息文件。

管道看起来像below:-

源-->SFTP服务器-->Azure Blob-->ADF管道-->数据库

管道应该从SFTP服务器获取文件,并在文件被放入外部SFTP服务器时将其复制到Azure blob。从这里开始,剩下的处理过程就开始了。

有人能让我知道如何使ADF作业实时运行,以寻找新的文件存放在外部SFTP路径?任何关于在Azure中使用不同工具/技术的建议也可以。

1 回复 | 直到 6 年前

Thomas 6 年前

你应该看看 Azure Logic App ,它有一个 SFTP connector :

因此,当一个新文件上载到FTP时,逻辑应用程序将被触发,然后将该文件复制到blob存储中,并触发ADP管道在没有任何代码的情况下运行。

推荐文章

Vincent Doba · azure函数的有效绑定名称是什么?

2 年前

theb · 无法使用带有ActiveDirectoryServicePrincipal的JDBC连接到Azure DB

2 年前

user1610362 · Azure ServiceBus JMS库是否支持托管身份?

2 年前

mitsui · Azure provider中的AWS lambda层等效于什么?

2 年前

Surendar · 扩展azure cosmos数据库吞吐量时禁用保存选项

2 年前

Ben · 无法使用SDK运行AzureML实验-无法为pynacl构建控制盘/退出状态:1

2 年前

hmt1517 · 我们可以使用terraform在关闭状态下部署azure vm吗?

2 年前

Dinesh · 将带有wsHttpBinding的WCF服务迁移到Azure应用程序服务

2 年前

kolek · EWS要求与会者UPNs(主要名称)

2 年前

H. Pauwelyn · 使用密钥库存储ABP框架的默认连接字符串

2 年前