1.2 MongoDB与Hadoop比较

1.2-1

1.2-1

  • 根据 Gartner 调查,70%的 Hadoop大数据分析项目未能体现预期价值
  • 随着业务的发展,实时数据处理场景变得越来越多,Hadoop这种更适合处理离线批量数据的技术变得不适应
  • 因此需要引人新的NOSQL技术来应对这种场景,发挥大数据实时处理的优势
1.2-2

1.2-2

1.2-3

1.2-3

  • MongoDB可以替换HDFS,作为大数据平台中最核心的部分;

优势如下:

  • HDFS以文件为单位,每个文件大小为64MB~128MB,MongoDB作为文档数据库则表现得更加细颗粒化
  • MongoDB支持HDFS所没有的索引概念,所以在读取速度上更快,MongoDB比HDFS 更加易于修改其写入后的数据。
  • HDFS 的响应级别为分钟,而MongoDB的响应级别为毫秒:
  • 如果使用MongoDB数据库,就不用像传统模式那样,到Redis内存数据库计算后,再将其另存到HDFS上。
  • 可以利用MongoDB强大的Aggregate功能进行数据筛选或预处理
1.2-4

1.2-4