代码之家  ›  专栏  ›  技术社区  ›  Ged

卡夫卡无法开始第二轮比赛

mapr apache-kafka
  •  0
  • Ged  · 技术社区  · 6 年前

    到目前为止,我要么使用Hadoop现有的专业安装,运行组件,要么安装Kafka,并在本地虚拟机中使用提供的ZooKeeper。

    我正在尝试让Mapr社区版沙盒现在运行。

    • 在mapr上有一个kafka库,但是在使用jps时没有显示kafka。看起来很奇怪?我设法让卡夫卡开始一次。
    • 地图上有一个动物园管理员服务,但它使用5181端口,而不是2181端口。

    • 卡夫卡使用端口9092。

    • kafka的log.dirs设置为/tmp/kafka logs,我将其更改为/opt/kafka logs

    • datadir也被设置为/tmp/zookeeper,我把它改为/opt/zookeeper

    • 我还将ZooKeeper端口更改为5181,因为这是Mapr所使用的。

    它运行了一次,然后我重新启动,我仍然得到这种类型的错误: 

    java.io.FileNotFoundException: /tmp/kafka-logs/.lock (Permission denied)

    我在需要的地方做了chmod 777,但是我把路径改为/opt/…。来自/TMP。那么,为什么它会再次拾取/tmp?

    我觉得不管配置的更新如何,它都会保持指向/tmp的状态。

    我也看到了一个警告-尽管我不认为这是一个问题: 

    [2019-01-14 13:26:46,355] WARN No meta.properties file under dir /tmp/kafka-logs/meta.properties (kafka.server.BrokerMetadataCheckpoint)

    可能是因为地图流,我不能影响它,以运行本地?

    1 回复  |  直到 6 年前
        1
  •  1
  •   Ged    6 年前

    好的,我可以在解决问题时删除它,但对于MAPR上的问题,我推断:

    • 您需要立即将server.properties上的端口2181更新为5181。在本例中,我们将与现有的ZooKeeper实例集成。
    • 同样,从/tmp/kafka logs尽快更新kafka的log.dirs到/opt/kafka logs。
    • 同样,尽快将datadir从/tmp/zookeeper更新为/opt/zookeeper。

    试图解决最近,否则会导致各种各样的问题。我最终只是重新安装并从头开始做。

    Mapr有一个更快的版本,叫做Mapr Streams,它实现了Kafka。我不想用它来做我想做的事情,但是MaprSandbox有很多现成的最新项目——当然与Cloudera相比。

    推荐文章
    关于   移动版
    代码之家 - 一站式码农服务社区
    沪ICP备11025650号