大数据自助运维平台

自助运维平台架构

产品介绍

大数据自助运维平台是一个统一的支持多集群接入的自助运维平台，定制监控大屏关注集群重要指标数据，集中管理多个集群租户和统一的界面化集群权限管理，统一的日志管理平台便于对重要日志进行监控分析，统一完善的监控告警、告警推送、告警处理流转机制，定期对接入集群进行巡检、为集群提供丰富的优化建议（组件参数配置优化、作业优化、存储性能优化等），完善的运维知识库供企业及运维团队学习。

平台核心功能

租户管理

通过自助运维平台自动接入待管理集群，为集群生成拓扑图及集群概览，统一的管理集群的租户信息，为各个租户分配集群资源（HDFS配额、Yarn资源、Impala资源、HBase资源等），为租户赋予数据的访问权限（HDFS权限、Hive权限、HBase权限、Kudu权限、Kafka权限、Solr权限等）。

统一日志

统一的底层日志接入层，负责各个采集各个集群所有组件的运行日志，集群MapReduce、Spark、Hive、调度的日志以及操作系统日志等。自助运维平台提供统一的日志Portal界面，对服务和作业的日志进行检索、分析并可以针对日志内容设置日志监控规则，对重要日志进行告警推送。

监控告警

自助运维平台管理集群的状态指标、性能指标，指标采集程序根据管理的状态指标和性能指标以及指标的采集频率自动进行指标采集。完善的告警规则管理，根据采集的各类指标进行自动预警。对各集群作业运行情况、资源使用等详细信息展示，提供作业异常分析及告警功能。

性能优化

定期对接入集群进行巡检，自动诊断并分析报告大数据平台基础组件（HDFS/Hive/Impala等）、第三方组件（MySQL、KDC、OpenLDAP）以及操作系统参数优化建议，提供界面化操作优化集群小文件问题，对接入集群的Impala、Hive、Spark、MapReduce作业进行优化分析并提供优化建议。