代码之家  ›  专栏  ›  技术社区  ›  Raju

Hadoop与电子商务门户的集成

  •  0
  • Raju  · 技术社区  · 7 年前

    我们正在使用java rest服务从头开始构建一个新的电子商务门户,并计划使用MySQL(现在是Oracle)。我们也在使用ElasticSearch。我们正在将整个门户构建为微服务。我的问题是,我是否需要从一开始就关注分析(如hadoop和HDFS集成)?

    1 回复  |  直到 7 年前
        1
  •  0
  •   OneCricketeer Gabriele Mariotti    7 年前

    单一关系数据库工作正常,但扩展性较差。特别是对于大规模web服务。

    您需要测量数据摄取量/大小,以确定是否需要Hadoop(更具体地说是HDFS)在Elasticsearch上进行批量分析。但可能不会。您可以使用独立的Apache Spark集群直接针对Elasticseach运行。

    然而,你也可以 use Kafka as a message bus between your JDBC compatible database as well as loading an Elasticsearch index . Spark Streaming与卡夫卡配合得很好。

    如果你想将Hadoop添加到混合中,你可以从Kafka中提取相同的数据来填充HDFS目录。

    有很多博客都在谈论通过卡夫卡进行的微服务通信