代码之家 › 专栏 › 技术社区 › Little Bobby Tables

从拼花文件创建AWS雅典娜表,并将结构数组作为列

amazon-athena parquet

Little Bobby Tables · 技术社区 · 6 年前

我正在尝试使用以下声明从存储在S3中的拼花文件创建一个AWS雅典娜表,例如:

create table "db"."fufu" (
  foo array<
    struct<
      bar: int, 
      bam: int
    >
  >
)
ROW FORMAT SERDE 'org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe'
WITH SERDEPROPERTIES ('serialization.format' = '1') 
LOCATION 's3://yada/yada/'
TBLPROPERTIES ('has_encrypted_data'='false');

我始终得到以下错误:

line 3:11: mismatched input '<' expecting {'(', 'array', '>'} (service: amazonathena; status code: 400; error code: invalidrequestexception; request id: ...)

语法似乎是合法的,使用spark的parquet lib文件加载非常好,结构字段的数组类型是struct类型。

知道什么会导致这个错误吗?

1 回复 | 直到 6 年前

Davide Stefanutti 6 年前

需要从数据库名称和表名称中删除双引号。您还需要添加 external 之前 table .

create external table db.fufu (
  foo array<
    struct<
      bar: int, 
      bam: int
    >
  >
)
ROW FORMAT SERDE 'org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe'
WITH SERDEPROPERTIES ('serialization.format' = '1') 
LOCATION 's3://eth-test-ds/test/'
TBLPROPERTIES ('has_encrypted_data'='false');

推荐文章

geo909 · AWS Athena:具有非标准文件结构的S3存储桶分区表

2 年前

Julien Navarre · 通过MacOS上的unixODBC连接到雅典娜

2 年前

idan · 带有IGNORE NULLS表达式的First_value函数在Athena AWS上不起作用

2 年前

ignorance · 从Glue Cloudformation模板划分Athena表

6 年前

bheavner · 如何在Presto/AWS Athena上进行内部连接?

7 年前

panc · AWS Athena的分区数据导致S3中有许多小文件

7 年前

Louis · 如何从Lambda的CloudFormation访问Athena QueryString?

7 年前

Louis · 是否可以为AWS Athena查询指定参数?

7 年前

Data_101 · 在Amazon Athena中创建表时转换时间戳

7 年前

Suhas Kumar · 从Javascript sdk访问AWS Athena

7 年前