代码之家 › 专栏 › 技术社区 › Amelio Vazquez-Reina

preto(雅典娜)加载带引号转义逗号的csv文件

prestodb amazon-athena csv

Amelio Vazquez-Reina · 技术社区 · 6 年前

在csv文件中考虑以下行:

1,0,True,"{""foo"":null,""bar"":null}",0,1
                       â²

高亮显示 , 是 列的一部分 . 也就是说,全文如下: " {""foo"":null,""bar"":null}" 是单个列的值。但是,Aws Athena正在解释突出显示的 , 作为一个 列分隔逗号 ,错误地将该文本拆分为多列。

我知道我可以将列分隔符更改为其他内容以避免这个问题。我的问题是:这是一个漏洞在AWS雅典娜/普雷斯托?我怎样才能避开这些逗号?

1 回复 | 直到 6 年前

Tanveer Uddin 6 年前

如果数据用双引号括起来,则需要使用 OpenCSVSerDe .

对于示例数据,下表定义有效:

1,0,True,"{""foo"":null,""bar"":null}",0,1

如何在数据中转义逗号

CREATE EXTERNAL TABLE `extra_comma`(
  `a` string COMMENT 'from deserializer', 
  `b` string COMMENT 'from deserializer', 
  `c` string COMMENT 'from deserializer', 
  `d` string COMMENT 'from deserializer',
  `e` string COMMENT 'from deserializer',
  `f` string COMMENT 'from deserializer'
  )
ROW FORMAT SERDE 
  'org.apache.hadoop.hive.serde2.OpenCSVSerde' 
STORED AS INPUTFORMAT 
  'org.apache.hadoop.mapred.TextInputFormat' 
OUTPUTFORMAT 
  'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
LOCATION
  's3://aws-glue-stackoverflow/comma_in_data/'

推荐文章

geo909 · AWS Athena:具有非标准文件结构的S3存储桶分区表

2 年前

Julien Navarre · 通过MacOS上的unixODBC连接到雅典娜

2 年前

idan · 带有IGNORE NULLS表达式的First_value函数在Athena AWS上不起作用

2 年前

ignorance · 从Glue Cloudformation模板划分Athena表

6 年前

bheavner · 如何在Presto/AWS Athena上进行内部连接?

6 年前

panc · AWS Athena的分区数据导致S3中有许多小文件

7 年前

Louis · 如何从Lambda的CloudFormation访问Athena QueryString?

7 年前

Louis · 是否可以为AWS Athena查询指定参数?

7 年前

Data_101 · 在Amazon Athena中创建表时转换时间戳

7 年前

Suhas Kumar · 从Javascript sdk访问AWS Athena

7 年前