1.2 MongoDB与Hadoop比较
- 根据 Gartner 调查,70%的 Hadoop大数据分析项目未能体现预期价值
- 随着业务的发展,实时数据处理场景变得越来越多,Hadoop这种更适合处理离线批量数据的技术变得不适应
- 因此需要引人新的NOSQL技术来应对这种场景,发挥大数据实时处理的优势
- MongoDB可以替换HDFS,作为大数据平台中最核心的部分;
优势如下:
- HDFS以文件为单位,每个文件大小为64MB~128MB,MongoDB作为文档数据库则表现得更加细颗粒化
- MongoDB支持HDFS所没有的索引概念,所以在读取速度上更快,MongoDB比HDFS 更加易于修改其写入后的数据。
- HDFS 的响应级别为分钟,而MongoDB的响应级别为毫秒:
- 如果使用MongoDB数据库,就不用像传统模式那样,到Redis内存数据库计算后,再将其另存到HDFS上。
- 可以利用MongoDB强大的Aggregate功能进行数据筛选或预处理