CDH6.3.0 hive计算引擎由mr改为spark
CDH6.3.0 hive计算引擎由mr改为spark
·
Hive默认使用的计算框架是MapReduce，在我们使用Hive的时候通过写SQL语句，Hive会自动将SQL语句转化成MapReduce作业去执行，但是MapReduce的执行速度远差于Spark。通过搭建一个Hive On Spark可以修改Hive底层的计算引擎，将MapReduce替换成Spark，从而大幅度提升计算速度。
1.在CDH集群中添加hive和spark组件
2.修改hive配置
添加完组件后再hive会报警告,将此处修改为spark
然后再修改hive的执行引擎为spark
然后更新配置,重启相关服务就可以了.
重启完服务后,在有hive组件的节点查看hive的配置文件(hive-site.xml)可查看已经修改成功
永洪科技，致力于打造全球领先的数据技术厂商，具备从数据应用方案咨询、BI、AIGC智能分析、数字孪生、数据资产、数据治理、数据实施的端到端大数据价值服务能力。
更多推荐
0
0- 0
已为社区贡献1条内容
所有评论(0)