大数据时代的到来,企业为了适应时代发展,需要进行数字化转型,但在实施过程中,面临种种问题,例如企业在多云环境下,上百台集群统一运维与管理的问题,如果这么多集群的管理和运维没有一个很好的平台支撑,估计人工运维1年最少要投入6-7个人,极大消耗的资源,增加企业的人员投入成本。为了减轻生产过程中,众多PaaS组件的学习与运维问题,急需一套统一的组件管理平台进行支撑;
目前,市面上多数的云组件大多存在如下现状问题:
l 管理分散运维难:企业在使用多云环境时,组件管理分散,租户权限无法统一开通、统一管理,导致运维效率低下,运维难度大。
l 云PaaS昂贵:客户购买了云平台的ECS主机,在使用云PaaS组件时又要单独付费购买,收费按租用期限、规格计算,价格昂贵。
l 云PaaS组件节点限制:组件部署方案不够多元化,很多限制要求,对多业务场景、海量数据支撑乏力。
l 组件类型偏少:云PaaS组件覆盖范围少,更新慢,远远不能满足企业对新技术组件安装管理的需求。
以上问题,导致现有云平台的PaaS组件在政企客户的推广中屡屡受阻。
弹性计算平台(简称ECMP)深度整合了大数据及容器技术,提供PaaS组件的自动化开通、部署、扩容、缩容,权限管理、监控、告警能力。支持组件包括:分布式检索服务组件、消息中间件服务组件、数据库服务组件、Web服务组件、大数据服务组件、容器服务组件共6大类28种组件。帮助企业解决 IT、架构及运维等问题,使企业更聚焦于业务,是新一代的私有云计算PaaS平台。
极元弹性计算平台是一款基于云计算与大数据技术的PaaS组件服务管理的产品。通过快速灵活的部署方式,可以分钟级完成组件的部署、服务开通、权限管理,并提供完善的运维监控告警通知方式,减少运维人员在管理实施中的难度。该产品为支撑业务系统运行,提供所需要的中间件服务。特别在政府、运营商、企业集团、医疗、公检司法、金融、交通、电力等包含大量业务系统的环境中,通过构建统一的PaaS技术平台服务,可以实现一体化、全方位的管理。从而减少运维人员的学习实施成本,为企业快速的实现数字化转型提供一臂之力。
ECMP可以同时适配公有云和私有云环境,提供PaaS组件管理能力,可以对组件部署,资源开通,权限管理,服务监控,进行一体化操作。与现在市面上的PaaS不同的是,公有云提供云PaaS层的解决方案多依赖云的硬件资源网络设施等,有一定的局限性,例如:需要改动客户机房底层操作系统和网络设施,可能与云管平台冲突等问题。实施难度大,风险系数搞。因此在这方面公有云无法实现无侵入式部署和管理。另外很多PaaS组件是基于纯容器部署,但是有些服务容器支撑并不理想。
ECMP平台是搭建在IaaS层上的软件管理平台即PaaS层管理软件,提供和公有云一样的功能。组件的部署和操作可以实现全流程的自动化。
ECMP的PaaS组件管理是自主研发的,高度定制化的组件服务,支持Kafka、Elasticsearch、Redis、MySQL、MongoDB、Tomcat、OpenLDAP、Hadoop等30多种组件服务,满足多用户的部署需求。
使用ECMP解决方案,能够为您带来以下价值:
Ø 多云管理:支持多云多集群的应用管理,支持多种部署方式,灵活应对复杂场景,有效降低管理成本。
Ø 自主运维:使用自动化手段,适配企业复杂的运维流程,减少运维时间,大幅提高运维效率。
Ø 降低成本:规范并统一多种应用可视化操作模式,实现标准化操作,降低应用运维复杂度,降低运维风险。
Ø 应用发布:一键创建Kubernetes集群,自动化部署、运维容器应用,整个生命周期都在容器服务内一站式完成。
目前,云产品多种多样,常见的云平台有阿里云、网易云、腾讯云、青云等,这些都是I-PaaS层产品,需要租用云主机,设备等。ECMP是PaaS层支撑平台,满足定制化的需求开发,更贴合私有企业使用,有自己独特的优势。
只需约0.5天部署ECMP服务,即可通过ECMP的PaaS平台实现分钟级部署各类PaaS组件,极大的缩短了组件服务的部署周期,大幅度的提升运维人员效率。
弹性计算平台整体功能视图如下:
ECMP提供用户、租户、团队三级管理模式。
用户是平台的登录帐号,提供登录、资源申请、通知查看、系统管理等功能。
租户是具备一定资源的实体,例如MySQL 帐号,Linux帐号,Hadoop 租户。
团队是用户的一个分组模式,不同团队的资源完全隔离。
用户和租户是多对多的关系,一个用户可以绑定多个租户即多个资源实体。
ECMP提供了PaaS组件的自动化部署、启停、参数修改、监控、告警等功能。
组件的部署允许用户根据自己的项目需求选择版本,自主的填写配置参数,进行自动化部署,所有的参数透明化,自己完全掌握部署的服务内容。
ECMP在参数修改上支持组件参数的版本管理,提供参数历史版本的回退功能。
ECMP支持对部署组件的监控功能,我们提供通过拨测方式对服务的端口进行检测,并可以通过配置监控规则,告警策略对异常的服务进行告警及邮件通知。
ECMP平台可以对平台部署的组件进行权限控制。权限控制可以授权到不同的租户。
例如:MySQL组件支持用户库和表的INSERT,UPDATE,DELETE,SELECT权限控制。
平台提供界面化的权限授权与回收的功能,管理员可以很方便的对授权对象进行管理,并提供权限开通和回收的消息通知。
资源自动化开通在很多同类产品中都不提供,需要手动进行命令行操作。增加运维难度和对运维人员的要求。
对于资源开通,ECMP提供了常用组件的自动化开通功能,Linux主机帐号、Hadoop租户、Hive帐号、MySQL 帐号、OpenLDAP帐号、Kerberos帐号、Elasticsearch帐号、Kafka帐号、Harbor帐号,Kubernetes命名空间等。实现页面的自动化开通,增加操作易用性。降低运维人员的操作难度。
ECMP提供对资源开通后的回收功能和资源开通消息通知功能,方便开发者及时获取资源开通信息。
ECMP平台具备主机和组件的监控能力。
主机方面:通过无侵入的技术,只需要在获取目标主机SSH 登录信息的情况下,就可以对监控主机进行监控指标采集,采集的指标包括:主机规格信息、CPU使用率、内存使用率、磁盘使用率、网络带宽、端口个数、PING延时等。支持以图表方式显示单位时间内的资源变化情况。
组件方面:采集组件的服务状态,组件的指标项。
监控配置:支持对监控指标进行配置监控阀值,监控周期,监控告警接收人。
ECMP平台提供了自主组件编排功能。通过可视化托拉拽的方式编排项目架构拓扑图,支持界面展示项目的组件使用情况,组件个数,组件状态等信息,支持导出部署组件拓扑图功能。
ECMP提供了灵活和易于操作的组件管理。组件的安装主机和配置参数完全交给使用者配置。
组件配置灵活性体现:
l 部署主机灵活选择
组件服务的安装需要选择部署的主机,部署主机的IP地址,帐号由管理员任意配置。
l 部署参数灵活配置
组件服务的参数可以灵活调整,所有组件的参数都支持在线更新,支持参数的历史版本回退。
开源组件的版本更新迭代快,平均1-3个月就会更新,云产品的PaaS组件很难做到及时更新,因此在满足现场客户的版本要求时无能为力。
ECMP平台管理的组件服务为定制化开发,可以根据客户的要求快速定制不同类型的版本,并可以提供多种部署方式,如单机,主从,集群等。
下面列出平台目前提供支撑的组件清单:
名称 |
名称 |
支持方式 |
版本 |
X86_64 |
ARM64 |
MySQL |
关系型数据库 |
Ø 单机 Ø 主从 Ø 主主 |
5.7.27 |
x |
√ |
5.7.35 |
√ |
x |
|||
8.0.20 |
√ |
x |
|||
Redis |
K-V数据库 |
Ø 单机 Ø 集群 Ø 主从 |
5.0.3 |
√ |
√ |
MongoDB |
文档型数据库 |
Ø 单机 Ø 副本 Ø 副本+分片 |
4.0.21 |
√ |
x |
4.0.3 |
x |
√ |
|||
ClickHouse |
列式数据库 |
Ø 单机 Ø 集群 |
21.6.3.14 |
√ |
x |
OpenLDAP |
目录访问协议 |
Ø 单机 Ø 主主 |
2.4.48 |
√ |
x |
名称 |
名称 |
支持方式 |
版本 |
X86_64 |
ARM64 |
Zookeeper |
应用协调服务器 |
Ø 集群 |
3.4.6 |
√ |
√ |
名称 |
名称 |
支持方式 |
版本 |
X86_64 |
ARM64 |
Spark |
大数据计算引擎 |
Ø 单机 Ø 集群 |
2.2.0 |
√ |
√ |
Flink |
流处理框架 |
Ø 单机 Ø 集群 |
1.11.1 |
√ |
√ |
名称 |
名称 |
支持方式 |
版本 |
X86_64 |
ARM64 |
Jenkins |
持续集成引擎 |
Ø 单机 |
2.251 |
√ |
√ |
Nginx |
WEB服务器 |
Ø 单机 |
1.16.1 |
√ |
√ |
1.21.1 |
√ |
√ |
|||
Tomcat |
应用服务器 |
Ø 单机 |
7.0.59 |
√ |
√ |
8.0.53 |
√ |
√ |
|||
9.0.52 |
√ |
√ |
名称 |
名称 |
支持方式 |
版本 |
X86_64 |
ARM64 |
Kafka |
消息中间件 |
Ø 集群 |
2.11-0.10.1.1 |
√ |
√ |
2.11-2.2.0 |
√ |
√ |
|||
KafkaManager |
Kafka监控工具 |
Ø 单机 |
2.0.0.2 |
√ |
√ |
RabbitMQ |
消息中间件 |
Ø 单机 Ø 集群 |
3.6.10 |
√ |
√ |
RocketMQ |
消息中间件 |
Ø 单机 Ø 主从 |
4.2.0 |
√ |
√ |
名称 |
名称 |
支持方式 |
版本 |
X86_64 |
ARM64 |
Elasticsearch |
分布式搜索引擎 |
Ø 不分角色 Ø 分角色 |
6.5.4 |
√ |
√ |
Logstash |
日志收集处理框架 |
Ø 单机 |
6.5.4 |
√ |
√ |
Kibana |
ES数据可视化工具 |
Ø 单机 |
6.5.4 |
√ |
√ |
Cerebro |
ES监控工具 |
Ø 单机 |
0.8.1 |
√ |
√ |
名称 |
名称 |
支持方式 |
版本 |
X86_64 |
ARM64 |
Filebeat |
日志数据采集器 |
Ø 单机 |
6.5.4 |
√ |
√ |
Flume |
日志收集系统 |
Ø 单机 |
1.8.0 |
√ |
√ |
1.9.0 |
√ |
√ |
名称 |
名称 |
支持方式 |
版本 |
X86_64 |
ARM64 |
Hdfs |
分布式文件系统 |
Ø 单机 Ø 集群 |
3.2.1 |
√ |
x |
Hive |
基于Hadoop的数据仓库 |
Ø 单机 Ø 集群 |
3.1.2 |
√ |
x |
HBase |
分布式列式存储系统 |
Ø 单机 Ø 集群 |
2.2.6 |
√ |
x |
Sqoop |
数据迁移工具 |
Ø 单机 |
1.4.7 |
√ |
x |
名称 |
名称 |
支持方式 |
版本 |
X86_64 |
ARM64 |
Docker |
容器引擎 |
Ø 单机 |
18.03.1 |
√ |
x |
Harbor |
私有容器镜像仓库 |
Ø 单机 |
1.5.3 |
√ |
x |
Kubernetes |
容器编排引擎 |
Ø 集群 |
1.12 |
√ |
x |
Etcd |
分布式服务协调器 |
Ø 集群 |
3.2.22 |
√ |
x |
Flannel |
开源CNI网络插件 |
Ø 单机 |
0.10.0 |
√ |
x |
ECMP具备容器和大数据组件的PaaS组件功能,目前支持x86架构主机和国产ARM架构主机,用户可以根据需要,采用灵活的部署方案。
以下是不同主机架构的部署环境参考。
软件安装操作系统 |
大于Centos7.2 |
连接ssh版本 |
大于OpenSSH_6.8p1 小于OpenSSH_8.4p1 |
资源规格 |
大于4核8G |
服务器类型 |
VMware虚拟化主机 |
内核版本 |
大于3.10.0-327.el7.x86_64 |
软件安装操作系统 |
Centos7.6 |
连接ssh版本 |
大于OpenSSH_6.8p1 小于OpenSSH_8.4p1 |
资源规格 |
大于4核8G |
服务器类型 |
云服务器ARM计算型AC2 |
内核版本 |
4.14.0-115.el7a.0.1.aarch64 |
主机操作系统 |
Win7/Win10/Win11/MacOS |
兼容浏览器 |
Edge/Chrome/Firefox,推荐Chrome |
显示器尺寸 |
17/19/22/27/32 |
分辨率 |
大于1024*768,推荐1920*1080 |
ECMP产品,能够支持基于主机部署和基于OVA镜像部署两种部署模式。
ECMP提供用于OVA模式进行部署所使用的OVA镜像,只需导入OVA镜像即可完成部署服务。
ECMP提供用于主机模式进行部署所使用的所有组件介质,只需要提供安装的主机即可以最小化的模式部署ECMP服务。
平台在组件服务创建和开通中使用大数据技术,由于涉及组件很多,我们对大数据的组件进行了相关的封装,开发了HostUtil、HadoopUtil、SSHUtil、ElasticsearchUtil等20余个工具包,全面满足大数据生态圈内组件的管理功能。
平台支持主机级监控策略配置和组件级监控策略配置。
主机监控策略包括:资源监控(CPU、内存、磁盘、网络、带宽、PING等)、进程检测策略、入侵检测策略、文件防篡改、异常登录检测策略、防火墙策略等。其中,文件防篡改策略,通过特有的文件加密技术,可实现对监控文件设置密码,无密码不可修改。
组件监控策略包括:MySQL、Elasticsearch等开源组件的关键指标进行监控,如Elasticsearch组件的HEAP和索引数量,MySQL组件的连接数等。