代码之家 › 专栏 › 技术社区 › hard coder

如何使用动态索引和类型将拼花文件写入弹性搜索

parquet apache-spark-sql elasticsearch apache-spark scala

hard coder · 技术社区 · 7 年前

我的数据帧是

timestamp                country    data
2017-08-16 00:00:00      india      xyz
2017-08-16 00:00:00      US         xyz

features.write.format("org.elasticsearch.spark.sql")
      .mode(SaveMode.Append)
      .option("es.resource","timestamp/country").save()

这将创建一个索引“ timestamp country "

2017-08-16 00:00:00 “和两种类型” india US "

1 回复 | 直到 7 年前

FaigB 7 年前

测试

import org.elasticsearch.spark.rdd.EsSpark

saveToEs 方法有关详细信息,请 refer

val game = Map("type"->"game","title" -> "FF VI","year" -> "1994")
val book = Map("type" -> "book","title" -> "Harry Potter","year" -> "2010")
val cd = Map("type" -> "music","title" -> "Surfing With The Alien")

sc.makeRDD(Seq(game, book, cd)).saveToEs("index/{type}")

推荐文章

davidzxc574 · 将字符串缩放为字符

2 年前

yic_l · 什么是“!”在这个函数中是什么意思?

2 年前

Jelly · Scala:用于理解递归未来

2 年前

to.mane · Scala—如何使用接收对象作为参数的构造函数创建类

2 年前

bbgghh · 在scala中连接两个列表时如何处理不匹配的键

2 年前

OdiumPura · 使用JDBC(Sql server)查询tempview

2 年前

Iheb Mar · 卡夫卡制作人/消费者粉碎每一秒的API调用

2 年前

B. Bal · 在Scala中重用类成员

2 年前

RomanGoltsov · Scala、Cassandra、Quill、Need impl logget批处理模式

2 年前

S.Hashiba · 哪个名称空间是正确的,“com.typesafe.sbt”还是“com.github.sbt”?

2 年前