hadoop insert性能与数据库

将数据加载到hadoop是否比加载到casssandra这样的数据库更快?

通常是的。将文件加载到Hadoop只是一个数据复制操作。这与数据库上传没有直接的可比性。

Vanilla map reduce适合批量处理。Cassandra速度很快,但仍需要排序&复制传入数据。最好将其与hbase、kudu、scylladb等系统进行比较。

如果我想使用impala,它会减慢数据插入速度吗?

不。Impala的数据插入器(称为datasink)在磁盘IO方面具有良好的质量。它使用HDFS的短路特性来减少开销。在许多数据格式中,它应该比vanilla map reduce更快,尤其是在拼花地板中。