什么是 QingMR
更新时间:2024-01-04 08:16:32
QingMR 是新一代云端大数据服务,是 SparkMR 的全新升级,能够提供计算、存储、分析、查询一站式全方位的大数据服务。所谓一站式大数据服务,是指 QingMR 能够提供对数据的批量计算、流式计算与实时计算,并实现对计算结果的极速分析查询。
QingMR 集成 Flink、Spark 和 MapReduce 三种数据处理引擎,以及 Hive 数据仓库工具,通过统一的 HDFS 分布式存储引擎、YARN 资源管理框架以及 Ranger 集中式安全管理,提供灵活、高效、安全、多模式的一站式云端大数据服务。
集成服务
云平台大数据相关服务将会统一在 QingMR 下。目前已经集成了:
-
分布式文件系统 HDFS
-
集群资源管理系统 YARN
-
数据处理框架 Hadoop MapReduce、Spark 和 Flink
-
数据仓库工具 Hive
-
集中式安全管理框架 Ranger