web | Java

Hive运行原理(源码级)(重点)

千锋教育

1. 用户提交查询等任务给Driver。


2. Antlr解析器将SQL转化为抽象语法树AST Tree


3. 遍历AST Tree,抽出基本的查询单元QueryBlock


4. 遍历QueryBlock,翻译为执行操作树OperatorTree


5. 逻辑层优化器进行OperatorTree变换,合并不必要的ReduceSinkOperator,减少shuffle数据量


6. 遍历OperatorTree,翻译为MapReduce任务


7. 物理层优化器进行MapReduce任务的变换,生成最终的执行计划


8. 执行计划,返回结果