AQE是一个运行时SQL优化框架,旨在解决由于优化器统计信息不足、不准确或过时而导致的查询执行计划的低效和缺乏灵活性的问题。可以理解成是 Spark Catalyst 之上的一层,它可以在运行时修改 Spark plan,之前的物理执行计划不再是最终的计划,而是在每个query stage完成之后,动态的根据数据统计的情况,动态调整后续计划,动态合并shuffle分区,自动调整SQL JOIN策略动态优化数据倾斜。默认关闭,可以更改配置 “spark.sql.adaptive.enabled”: true 以打开

https://blog.csdn.net/lovetechlovelife/article/details/114744270

aqe系统是什么

aqe系统是组织行为管理软件,用于实现单位内部的协同管理,提高人与人、部门与部门之间的管理、办公效率,包括单位内部的沟通协作、信息与资料共享、文件管理、工作流程(各类请示、汇报、审批)。