spark-streaming - 代码之家

班级组织。阿帕奇。hadoop。财政司司长。s3a。啊。尝试从Spark在S3存储桶上写入数据时,未找到IAMInstanceCredentialsProvider

data_pikachu · 技术社区 · spark-streaming hadoop amazon-s3 amazon-web-services · 3 年前

Kafka spark同步流处理作业

sharon gur · 技术社区 · confluent-platform spark-streaming apache-kafka apache-spark scala · 6 年前

Spark streaming作业日志大小溢出

vijay · 技术社区 · spark-streaming apache-spark · 6 年前

Spark Streaming中setJars()方法的输入应该是什么

Pawan · 技术社区 · spark-streaming apache-spark · 6 年前

Spark Streaming kafka偏移量管理

Frank · 技术社区 · spark-streaming-kafka offset spark-streaming apache-kafka apache-spark · 7 年前

线程“main”java中出现异常。lang.NoClassDefFoundError:org/apache/spark/streaming/StreamingContext

a.moussa · 技术社区 · spark-streaming sbt intellij-idea apache-spark scala · 7 年前

在Spark Streaming中将StreamingContext与接收器分离

Francesco · 技术社区 · spark-streaming apache-spark java · 7 年前

Spark将Kafka输入流另存为Json文件

maxness · 技术社区 · spark-streaming apache-kafka apache-spark json java · 7 年前

Spark streaming:错误StreamingContext:无法构造kafka使用者

maxness · 技术社区 · kafka-consumer-api spark-streaming apache-kafka apache-spark · 7 年前

具有多个加密密钥提供程序的EMR

Yuriy Bondaruk · 技术社区 · amazon-emr emr spark-streaming encryption apache-spark · 7 年前

如何使用scala在spark中合并多个数据流?

Jagrati Gogia · 技术社区 · dstream spark-streaming apache-kafka apache-spark scala · 7 年前

Java语言util。ConcurrentModificationException:KafkaConsumer对于多线程访问不安全

lu_ferra · 技术社区 · spark-streaming apache-kafka apache-spark scala multithreading · 7 年前

Apache Spark GitHub代码和Maven依赖关系

gmoksh · 技术社区 · spark-streaming apache-spark maven java · 7 年前

Spark streaming按键分组rdd,并在成对的rdd上分组,并从每组中选择最新的rdd

user2526641 · 技术社区 · spark-streaming apache-spark scala · 7 年前

使用spark流媒体创建卡夫卡消费者

Evgenii · 技术社区 · spark-streaming apache-kafka apache-spark scala · 7 年前

foreachRDD何时返回N个RDD?

Ged · 技术社区 · spark-streaming · 7 年前

使用spark流从HDF中消耗大量xml

wipman · 技术社区 · spark-streaming hdfs scala xml · 7 年前

Kafka+Spark流媒体-分区之间的公平性?

John Humphreys · 技术社区 · spark-streaming apache-kafka apache-spark · 7 年前

为什么自定义接收器会因“NoClassDefFoundError:scala/runtime/AbstractPartialFunction”而失败?

user1050619 · 技术社区 · spark-streaming apache-spark maven java · 7 年前

斯卡拉。元组上的匹配错误

S.K · 技术社区 · spark-graphx spark-streaming apache-spark scala · 7 年前

如何使用scala在Apache Spark中运行shell文件

Saeid · 技术社区 · spark-streaming apache-spark shell scala · 7 年前

使用filstream的Spark streaming文字计数不会打印结果[重复]

Mohamed Seif · 技术社区 · filestream spark-streaming apache-spark scala · 7 年前

如何从Apache Spark中的某个单词开始删除多个hdfs目录

Sandun Tharaka · 技术社区 · spark-streaming hdfs apache-spark hadoop scala · 7 年前

SparkContext。setLogLevel(“调试”)在集群中不工作

user2953788 · 技术社区 · rdd spark-streaming pyspark log4j apache-spark · 7 年前

卡夫卡(重新)加入小组坚持两个以上的主题

lu_ferra · 技术社区 · spark-streaming apache-kafka scala · 7 年前

在spark版本2.2.0中使用python(pyspark)从mqtt获取数据流

awisha · 技术社区 · mqtt spark-streaming pyspark python · 7 年前

Spark流媒体应用程序订阅相同的卡夫卡主题

Gurubg · 技术社区 · spark-streaming-kafka spark-streaming apache-kafka apache-spark · 7 年前

为Spark Streaming Scala分配变量值

lu_ferra · 技术社区 · spark-streaming apache-spark scala · 7 年前

Spark Streaming未读取所有卡夫卡记录

samrat · 技术社区 · spark-streaming apache-kafka apache-spark · 7 年前

需要一些帮助来修复Spark流依赖项(Scala sbt)

user7127675 · 技术社区 · spark-streaming sbt apache-spark scala · 7 年前