打开APP
userphoto
未登录

开通VIP,畅享免费电子书等14项超值服

开通VIP
IT技术架构-计算机集群
userphoto

2024.03.22 湖北

关注

本期看点

前期发布的“企业IT管理”为IT建设之路(专业技术篇)第一章,后续章节还会有“IT技术架构”、“应用架构”、“数据架构”、“信息安全”

       IT建设之路专业技术篇预计更新150期,码字不易,欢迎关注不迷路。

本期为IT技术架构-PaaS的开篇,为您介绍企业IT私有云的各层定义、基于IaaS提供了额外服务管理的计算集群HPC,最后提供某集团集群调度案例

IT技术架构大纲

1. 技术架构概论
2. IaaS
   2.1 数据中心    
   2.2 网络    
   2.3 存储
   2.4 服务器虚拟化
   2.5 容器
3. PaaS
   3.1 计算集群      ←←本文
   3.2 数据库
   3.3 基础办公平台
   3.4 VDI
   3.5 自动化
   3.6 通用开发框架
4. 总结

之前的IaaS介绍了企业IT基础实施及硬件资源,但如何向企业开发者和用户提供能力?就依赖于PaaS层。

PaaS通常理解包括操作系统、数据库、中间件&运行库。在PaaS章节,我们将结合企业实际应用,重点介绍以下内容:基于IaaS提供了额外服务管理的计算集群HPC、数据库、基础办公平台、桌面云VDI、自动化运维、通用开发框架。

01

服务器与存储集群

01

服务器集群

服务器是两台或者多台以上的计算资源,它们作为一个整体向用户提供一组资源集合,为用户提供IT服务,这些单个的计算机系统就是集群的节点(node)。节点之间通过心跳网络等方式进行通讯,并通过集群软件来实现统一调度和管理和协同工作。集群系统管理员可以根据业务使用情况,增加和删除集群系统的节点,进行弹性扩容和收缩。集群具有高可用性、高性能、高性价比、高扩展性的特点。

02

存储集群

集群存储是将多台存储设备中的存储空间聚合成一个能够给应用服务器提供统一访问接口和管理界面的存储池,应用可以通过该访问接口透明地访问和利用所有存储设备上的磁盘,充分发挥存储设备的性能和磁盘利用率。数据将会按照一定的规则从多台存储设备上存储和读取,以获得更高的并发访问性能。

02

集群的服务管理

随着数据中心在规模和复杂性上的快速增加,使得对集群工作负载和应用的管理更加困难和重要。用户希望在任何地方都能灵活使用应用程序,并自动操控数据流,管理者希望能够监督集群的资源和负载,管理软件使用权,并确定性能的瓶颈。这时候需要集群调度软件来辅助实现。

基于集群的服务管理,开发人员就无需担心底层的基础设施。

01

IBM Platform LSF(Load Sharing Facility)

02

开源调度软件SLURM

03

LVS

 LVS是Linux Virtual Server的简称,也就是Linux虚拟服务器,LVS是一个工作在传输层的负载均衡器,他能够基于TCP和UDP对服务进行负载均衡调度。通过使用LVS提供的负载均衡技术和Linux操作系统进而实现一个高性能,高可用的服务器集群,它具有良好的可靠性,可拓展性和可操作性,从而能够以较低廉的成本价格来提供更好的性能提升。

04

HA

 高可用集群(High Availability Cluster,简称HA Cluster),是指以减少服务中断时间为目的的服务器集群技术。它通过保护用户的业务程序对外不间断地提供服务,把因为软件、硬件,人为造成的故障对业务的影响降低到最小程度。

通常把正在执行业务的称为活动节点,而作为活动节点的一个备份的则称为备用节点。当活动节点出现问题,导致正在运行的业务(任务)不能正常运行时,备用节点此时就会侦测到,并立即接续活动节点来执行业务,从而实现业务的不中断或短暂中断。

05

Nginx

Nginx是一个高性能的HTTP反向代理web服务器,Nginx是一款轻量级Web服务器/反向代理服务器及电子邮件(IMAP/POP3)代理服务器,其特点是占有内存少,并发能力强。

03

某集团的集群调度系统案例

是为打造一个具有多集群管理和自动化运维能力、支持调度策略推荐和自助配置、提供云原生底层扩展能力,并在保障应用服务质量的前提下提升资源使用率的大规模高可用调度系统。核心工作围绕保稳定、降成本、提效率三大方向来构建调度系统。

01

保稳定

提升调度系统的健壮性、可观测性;降低系统各模块之间的耦合,减少复杂度;提升多集群管理平台的自动化运维能力;优化系统核心组件性能;确保大规模集群的可用性。

02

降成本

深度优化调度模型,打通集群调度和单机调度链路。从资源静态调度转向资源动态调度,引入离线业务容器,形成自由竞争与强控结合,在保障高优业务应用服务质量的前提下,提升资源使用率,降低IT成本。

03

提效率

支持用户自助调整调度策略,满足业务个性化需求,积极拥抱云原生领域,为PaaS组件提供包括编排、调度、跨集群、高可用等核心能力,提升运维效率。

最终,该集群调度系统架构按照领域划分为三层:调度平台层、调度策略层、调度引擎层:

平台层,负责业务接入,打通企业基础设施,封装原生接口和逻辑,提供容器管理接口(扩容、更新、重启、缩容)等功能。

策略层,提供多集群统一调度能力,持续优化调度算法和策略,结合业务的服务等级和敏感资源等信息,通过服务分级提升CPU使用率和分配率。

引擎层,提供Kubernetes服务,保障多个PaaS组件的云原生集群稳定性,并把通用能力下沉到编排引擎,降低业务云原生落地的接入成本。

下期将介绍:IT技术架构-PaaS-数据库,你将了解数据库的类型、特点,如何选择。

内容还行吧,点击上面,关注我们鼓励一下吧!

注:部分文字和图片源自互联网,如有侵权请联系本公众号删除

本站仅提供存储服务,所有内容均由用户发布,如发现有害或侵权内容,请点击举报
打开APP,阅读全文并永久保存 查看更多类似文章
猜你喜欢
类似文章
论文:Linux集群系统研究
LVS原理详解及部署之二:LVS原理详解(3种工作方式8种调度算法)
Lvs负载均衡群集
大型网站架构系列:负载均衡详解(下)
MySQL数据库常用架构设计
什么是集群?看完这篇你就知道啦!
更多类似文章 >>
生活服务
热点新闻
分享 收藏 导长图 关注 下载文章
绑定账号成功
后续可登录账号畅享VIP特权!
如果VIP功能使用有故障,
可点击这里联系客服!

联系客服