代码之家 › 专栏 › 技术社区 › Raghavendra Narayana

Azure表存储-数据湖文件-通过USQL获取单行Select语句时触发响应时间慢

azure-logic-apps azure-data-lake azure

Raghavendra Narayana · 技术社区 · 7 年前

事务数据库表中的数据被拉入数据湖,约50万条记录,约20列,在数据湖中它是JSON格式的。

通过逻辑应用程序,通过Python->U-SQL函数,触发U-SQL语句来读取特定行,响应速度较慢,寻求提高性能。

1 回复 | 直到 7 年前

hiren 7 年前

与本地执行相比,速度较慢有两个原因 1、集群环境与本地环境不同。在集群上,您只有2个内核和6GB内存。此外,我们还限制操作员每个操作员使用不超过512MB的RAM。这些问题都不会发生在世界各地。 2.当从usql运算符转到python扩展时,会产生封送开销,然后创建数据帧,一旦完成python执行,就会通过usql运算符创建数据帧 3.我们还需要在容器上创建一个环境,该环境将执行python代码,包括复制python运行时

我们将在2018年1月即将发布的版本中解决2和3限制。

推荐文章

user1043144 · u-sql:筛选出空//空字符串(microsoft academic graph)

7 年前

Venkataraman R · U-SQL作业超时:JM没有及时检测信号

7 年前

Richard · 在两者之间加入U-SQL以创建每月结果

7 年前

Siddiqui Mind · 使用按需HD Insight群集从Azure datafactory V2访问datalake

7 年前

Fariha Abbasi · 如何通过Typescript REST调用将文件上载到Azure Data Lake

7 年前

Raghavendra Narayana · Azure表存储-数据湖文件-通过USQL获取单行Select语句时触发响应时间慢

7 年前

Nario · SSIS复制多个表

7 年前

Lee. YunSu · 如何使用Azure Blob存储连接到Azure Data Lake Analysis

7 年前

Chris B. Behrens · 数据湖中的表有什么意义?[已关闭]

7 年前

Anirudh Rayabharam · U-SQL视图并发读写

7 年前