日期:2019-07-16 15:50
层和存储层两个维度介绍下有关技术路线和发展趋势。
数据处理：
简而言之，不管对何种应用，当数据量很大时就无法在一台服务器上解决计算问题，此时分布式计算优势就体现出来，而HadoopMapReduce的重要创新便是当处理一个大数据集时会将其任务分解并在运行的多个节点中处理，这种批处理框架常用于离线的复杂的非结构化数据处理，如ETL、数据挖掘等场景;与Hadoop的使用硬盘来存储数据不同，Spark是基于内存的迭代计算框架，适用于需要多次操作特定数据集的应用场合;而Storm则是专门针对实时数据类型的流式计算分析框架，应用在低延