1. MapReduce是Hadoop的一个核心技术、是一个基于分布式的对大数据集进行并行处理的一个计算框架。
2. 核心思想是移动计算而非数据。
3. 整个计算流程分为两个阶段,一个是map阶段,一个是reduce阶段
- map阶段 一个mapreduce作业在map阶段会先对数据进行逻辑分片处理,一个逻辑分片对应一个MapTask。
每一个MapTask在处理数据的时候,都会将每一行数据解析成键值对
1. MapReduce是Hadoop的一个核心技术、是一个基于分布式的对大数据集进行并行处理的一个计算框架。
2. 核心思想是移动计算而非数据。
3. 整个计算流程分为两个阶段,一个是map阶段,一个是reduce阶段
- map阶段 一个mapreduce作业在map阶段会先对数据进行逻辑分片处理,一个逻辑分片对应一个MapTask。
每一个MapTask在处理数据的时候,都会将每一行数据解析成键值对