web | Java

SparkSQL和Hive区别(重点)

千锋教育

1. SparkSQL实际上是使用sql解释器将sql语句转化为一系列的RDD转换与落地过程,而hive SQL则是将sql语句转换成多个MR job顺序执行


2. 受限于MR模型,hive sql只能将sql语句按map和reduce的粒度切分,无法对其中的更细粒度的input、sort、shuffle等进行自由组合;相反spark RDD是一系列细粒度算子的转换流程,因此可以方便地对各个部分进行细致的优化和自由组合。


3. Spark RDD尽管会在不得已时将中间结果落地磁盘(shuffle),但它不会将RDD的转换结果主动落地磁盘,因此在多个RDD之间变换时不需要重新进行IO;而HQL在多个job间必须不断重复IO过程 4. 由于以上原因,SparkSql在实战时对子查询的执行效率远比HQL高,这也使得它很适合迭代型的sql统计