解决方案
首页>解决方案>HK系统技术原理
HK系统技术原理
1.海阔HK高性能集群系统

海阔HKHK产品的系统体系结构以高性能数据交换HCC为核心,连接计算单元CU、存储单元SU、网络通讯单元IU,通过系统中间件、系统软件、应用中间件、应用软件等,向系统的管理者、系统软件的开发者和系统的用户隐蔽系统的结构,基于高性能数据交换模块提供高可扩展的网络I/O、存储I/O和进程间通讯机制。
海阔HKHK数据库服务器围绕高速数据交换模块,实现了高速的存储I/O、网络I/O和处理单元间的通讯。整个系统经过重新设计,大大提升了I/O系统的带宽,缩短了延迟,为面向商业应用提供了开阔的空间。创新地采用“以高速交换技术为核心”的全新构架,非常好的解决了计算能力的连续可扩展能力和I/O能力连续可扩展能力不可兼得的难题,为今后的体系结构发展提供了一种良好的选择。

产品外观图与内部布局图如下:

海阔HK最大的应用特点就是集成各种集群应用技术,能够满足系统从前到后的应用集群需求,并且可以实现这几种集群应用的无缝连接和统一管理调度,满足用户多样化的应用需求。

整体看来,海阔HK高性能集群系统具有如下特点:

  1. 优越性能
  2. 无限扩展
  3. 坚实可靠
  4. 高性价比
  5. 简单易用

优越性能:
海阔HK系统针对业务应用,可以有很多节点参与响应用户请求,对外部而言,整个群集产品就如同一台高速运转高性能的服务器;系统只有一个对外的网络地址(主机名或IP地址),所有的请求都发到这个地址上。系统内部自动把用户请求自动均衡到各个功能模块上,从而能满足大量用户请求的提交。

无限扩展:
海阔HK可以进行不间断扩展,在不间断工作的情况下任意的增减处理系统,要增加系统只需把节点接入应用环境中并且进行很少的配置,该节点即可与其它节点一起工作,分担对处理系统的压力。这样满足了以后不断扩容所带来的需求,可以在一点的范围内随着企业规模的增大,而满足日益增长的网络需求。该系统最多可以增加到512个子处理系统。

坚实可靠:
海阔HK有事务处理故障检测功能,请求可以自动绕过故障系统,当后台一处理系统出现故障时,核心功能会把所有请求自动的按照一定的算法发送到其它处理系统,当此系统恢复正常它会自动加入到集群中来,不需要特殊的配置。管理员可以从管理系统对集群中的任意一台事务处理系统进行监视和操作,并处理集群中所有事务处理系统的日志文件和报警信息。集群服务器各处理系统之间还具有的相互冗余特性提高了集群服务器的可用性。高性能的数据库安全策略保证了数据的安全可靠。

简单易用:
海阔HK安装完成后不必在进行设置,安装于机柜内的控制台和管理节点可以对每个功能系统进行配置管理,集群管理软件有统一的管理界面,各种功能尽收眼底,核心负载均衡功能独有的Web管理界面以及详尽的说明书是您的配置管理成为一件非常轻松的事情。产品的网络架构清晰,是您可以轻易对产品的体系了然于胸。方便快捷的命令行管理界面、基于web的图形管理界面、量身定做的管理软件使您想怎么用就怎么用。

2.负载均衡集群技术

负载均衡就是采用先进的第四层或者第七层交换技术,通过对服务器的性能和运行状况的实时监测,根据不同服务器的健康状况,将来访的数据流量以最经济、最高效的方式分配到合适的服务器上,达到最佳的服务器负载平衡效果,并实现SERVER的动态的加入或者是移出。在一组服务器之间动态分配负载,同时又使该组服务器在客户机看起来如同一个服务器。

服务器负载均衡建立在现有网络结构之上,它提供了一种廉价有效的方法扩展服务器带宽和增加吞吐量,加强网络数据处理能力,提高网络的灵活性和可用性。它主要完成以下任务:解决网络拥塞问题,服务就近提供;为用户提供更好的访问质量;提高服务器响应速度;提高服务器及其他资源的利用效率;避免了网络关键部位出现单点失效。

网络负载均衡提高了诸如Web等应用服务器上程序的可用性和可伸缩性。单一计算机可以提供有限级别的服务器可靠性和可伸缩性。但是,通过将两个或两个以上高级服务器的主机连成群集,网络负载均衡就能够提供关键任务服务器所需的可靠性和性能。

能进行负载均衡的网络设计结构为对称结构,在对称结构中每台服务器都具备等价的地位,都可以单独对外提供服务而无须其他服务器的辅助。然后,可以通过某种技术,将外部发送来的请求均匀分配到对称结构中的每台服务器上,接收到连接请求的服务器都独立回应客户的请求。在这种结构中,由于建立内容完全一致的Web服务器并不困难,因此负载均衡技术就成为建立一个高负载Web站点的关键性技术。

海阔负载均衡调度器支持三种负载均衡技术,网络地址映射(VS/NAT)、IP隧道(VS/TUN)和直接路由(VS-DR)。

  1. 网络地址映射(VS/NAT)
    NAT的工作原理是调度器通过网络地址转换重写请求报文头(目标地址、源地址和端口等),根据预设的调度算法,将请求分派给后端的真实服务器;真实服务器的响应报文通过调度器时,报文的源地址被重写,再返回给客户,完成整个负载调度过程。此法的优点是服务器可以运行任何支持tcp/ip的操作系统。其缺点是它的伸缩能力有限。
  2. IP隧道 (VS/TUN)
    调度器把请求报文通过IP隧道转发至真实服务器,而真实服务器将响应直接返回给客户,所以调度器只处理请求报文。由于一般网络服务应答比请求报文大许多, VS/TUN技术极大地增加负载调度器调度的服务器数量,可用来构建高性能超级服务器。
  3. 直接路由(VS-DR)
    VS/DR通过改写请求报文的MAC地址,将请求发送到真实服务器,而真实服务器将响应直接返回给客户。同VS/TUN技术一样,VS/DR技术可极大地提高集群系统的伸缩性。而且没有IP隧道的开销,对集群中的真实服务器也没有必须支持IP隧道协议的要求,但要求调度器与真实服务器都有一块网卡连在同一物理网段上。

支持八种负载调度算法

针对不同的网络服务需求和服务器配置,HK负载均衡调度器实现了如下八种负载调度算法,用户可以根据应用情况的不同选择最佳算法组合:

  1. 轮叫(Round Robin):
    调度器通过"轮叫"调度算法将外部请求按顺序轮流分配到集群中的真实服务器上,它均等地对待每一台服务器,而不管服务器上实际的连接数和系统负载,如果在HK系统中对于同一个应用使用相同的处理节点模块,推荐使用这种负载均衡方式。
  2. 加权轮叫(Weighted Round Robin):
    调度器通过"加权轮叫"调度算法根据真实服务器的不同处理能力来调度访问请求。这样可以保证处理能力强的服务器处理更多的访问流量。调度器可以自动问询真实服务器的负载情况,并动态地调整其权值。如果对于一个应用使用不同类型的处理结点模块,可以按照节点的处理性能设置不同的权值,这样可以发挥系统的最大性能。
  3. 最少链接(Least Connections):
    调度器通过"最少连接"调度算法动态地将网络请求调度到已建立的链接数最少的服务器上。如果集群系统的真实服务器具有相近的系统性能,采用"最小连接"调度算法可以较好地均衡负载。这种方式主要用于FTP类型的长时间的连接服务,使用这种方式可以更好的分配系统资源。
  4. 加权最少链接(Weighted Least Connections):
    在集群系统中的服务器性能差异较大的情况下,调度器采用"加权最少链接"调度算法优化负载均衡性能,具有较高权值的服务器将承受较大比例的活动连接负载。调度器可以自动问询真实服务器的负载情况,并动态地调整其权值。这种算法是针对不同性能的处理节点设置权值,发挥系统的最大可用性。
  5. 基于局部性的最少链接(Locality-Based Least Connections):
    "基于局部性的最少链接" 调度算法是针对目标IP地址的负载均衡,目前主要用于Cache集群系统。该算法根据请求的目标IP地址找出该目标IP地址最近使用的服务器,若该服务器是可用的且没有超载,将请求发送到该服务器;若服务器不存在,或者该服务器超载且有服务器处于一半的工作负载,则用"最少链接"的原则选出一个可用的服务器,将请求发送到该服务器。在Cache这样的应用中使用这种负载均衡算法可以增大用户访问的命中率,提高访问速度。
  6. 带复制的基于局部性最少链接(Locality-Based Least Connections with Replication):
    "带复制的基于局部性最少链接"调度算法也是针对目标IP地址的负载均衡,目前主要用于Cache集群系统。它与LBLC算法的不同之处是它要维护从一个目标IP地址到一组服务器的映射,而LBLC算法维护从一个目标IP地址到一台服务器的映射。该算法根据请求的目标IP地址找出该目标IP地址对应的服务器组,按"最小连接"原则从服务器组中选出一台服务器,若服务器没有超载,将请求发送到该服务器,若服务器超载;则按"最小连接"原则从这个集群中选出一台服务器,将该服务器加入到服务器组中,将请求发送到该服务器。
  7. 目标地址散列(Destination Hashing):
    "目标地址散列"调度算法根据请求的目标IP地址,作为散列键(Hash Key)从静态分配的散列表找出对应的服务器,若该服务器是可用的且未超载,将请求发送到该服务器,否则返回空。
  8. 源地址散列(Source Hashing):
    "源地址散列"调度算法根据请求的源IP地址,作为散列键(Hash Key)从静态分配的散列表找出对应的服务器,若该服务器是可用的且未超载,将请求发送到该服务器,否则返回空。

3.并行数据库原理

为了确保行业应用能在硬件平台上平稳运行和最大限度的发挥出性能优势,需要分析数据库软件的体系结构和技术特点,并针对查询数据库系统的特点,进行系统优化设计,设计相应的解决方案。

1、联机事务处理(OLTP)

                  联机事务处理,也称为面向交易的处理系统,其基本特征是客户的原始数据可以立即传送到数据库系统进行处理,并在很短的时间内给出处理结果。这样做的最大优点是可以即时地处理输入的数据,及时地回答,也称为实时系统。
 

联机事务处理强调的是并发访问用户数量、实时响应时间和系统的高可用性等特征。Oracle数据库采用Share Disk体系结构,各个事物处理单元共享相同的数据,在某个事务处理单元发生故障时,应用程序能保持不间断运行状态;而且各个事物处理单元能并发的处理不同的用户访问,支持大量的用户实时访问数据库系统。Oracle数据库的技术特性在联机事务处理应用领域有着卓越的性能表现,因此我们推荐基于Oracle数据库的HK数据库平台来满足用户对联机事务处理应用的需求。

2、决策支持(DSS)

近年来,随着数据库技术的应用和发展,人们尝试对DB中的数据进行再加工,形成一个综合的,面向分析的环境,以更好支持决策分析,从而形成了数据仓库技术。作为决策支持系统 (DSS) ,数据仓库系统包括数据仓库技术 (DW) 、 联机分析处理技术 (OLAP) 和数据挖掘技术 (DM) 等几部分。
数据仓库和数据挖掘应用通常涉及到大规模数据的访问与管理,因此对数据库系统的海量数据事务处理能力提出了很高的要求。DB2分布式数据库采用Share Nothing 的体系结构,各个事物处理单元独享各自的硬盘空间,同一条复杂查询可分布到不同的事务处理单元并发处理;由于数据采用分布式管理,在海量数据处理时极大的减少了I/O瓶颈,当处理单元增加时事务处理能力可接近线性增长。DB2分布式数据库的技术特点使得其在决策支持领域有着很卓越的性能表现。

系统结构

数据库集群系统的功能与性能,关键技术在于硬件互连方式和数据库的工作基理。

硬件技术在迅速的发展,例如SAN技术、SCI技术、VIA技术、光纤信道、InfiniBand技术、交换结构等等都在不断的完善,这些给构建新型的、功能更完善的集群系统提供了新的思路;由此,共享高速缓存的数据库系统有了实现的坚固基石,突破了传统数据库集群方式的局限。下面我们讨论在实现并行数据库系统方案中,最先进的软硬件技术如何相互协作。

Cache Fusion体系结构

传统的集群数据库方法中存在共享磁盘数据库、无共享磁盘、联合数据库等方式,海阔采用了新型的共享磁盘方式,通过采用基于Oracle数据库的Cache Fusion体系结构,将共享磁盘和无共享数据库的两层次优点融合到了一起。

所谓的Cache Fusion体系结构,是一个集群中各节点共享高速缓存的体系结构。节点的查询要求可以直接从任何一个高速缓存获得所需信息,数据访问的优先顺序是本地高速缓存、远程高速缓存、最后是磁盘IO。从而大大减小了磁盘IO的访问。

图示如下:

Cache Fusion处理具有如下技术特点:

  • 共享高速缓存的全局高速缓存服务管理
    传统数据库系统使用磁盘IO同步多个节点之间的数据访问。当多个节点争用同一数据块时,获得优先权的节点将锁定此数据块,其他节点处于等待状态;只有这个节点写操作完成后,其他节点才能访问,同时需要移动组件的磁盘IO,相对来说比较慢;共享高速缓存的相干性使用了可伸缩的共享高速缓存,消除了这一个限制。

  • 高效的节点间消息传递和资源管理
    高速缓存的融合,使得节点间数据块的传输协调变的尤为重要。我们通过Global Enqueue Service和Global Cache Service 处理,并通过优化节点间资源模型来减少同步所需的消息数量;通过动态重新配置资源和节点间有效的行级锁定来减少同步频率;采用高速的节点间通讯信道,保证响应时间的延迟问题。

存储连接方式

海阔并行数据库系统中采用了SAN技术,为磁盘互连提供了高级的解决方案。以往的DAS(Direct Access Storage)连接方式,存在着应用用户和事务容量方面的限制。这些缺陷,在海阔并行数据库系统中不复存在,可容易的实现多用户、多事务共享磁盘,为多CPU操作I/O实现简便管理奠定了基础,这是实现灵活的大型数据库并行操作的前提。

光纤信道(Fibre Channel)提供了极高的带宽,大大提高了数据传递的速度,为大量数据的共享提供了时间上的保证。

应用特点

从以上的阐述,我们可以看出,海阔HK系统在具体的事务处理中,带来的应用特点:

  1. 强大性能 
    由以上的阐述我们可以看出,海阔HK系统通过对远程节点的高速缓存的快速存取,减少了磁盘IO操作数量,虽然远程访问缓存比本地要慢,但是却比磁盘IO快很多,这样大大提升了决策支持应用的速度;同时允许灵活的并行机制,将大用户量的并发访问分担到多台节点机上并行处理,或者将单个用户重负载的运算分担到多个节点机上做并行处理,这样提供了负载均衡的高性能;即使是必需的磁盘操作,通过高速的光纤技术和虚拟存储的技术;也作了最大限度的优化。

  2. 高可用性
    海阔并行数据库系统的另一个主要优点是多个节点所提供的容错性能。整个系统中,各个节点都是物理的独立运行,一个节点或多个节点出现故障不会影响到其他的节点,甚至只要系统中有一个节点正常,则系统仍可以提供正常的服务流程,并且应用的切换对用户是透明的。
    这个高度的可用性,主要在两个技术领域胜出:故障隔离和提供数据库恢复期间的数据块访问。集群系统始终维持一个一致的系统映像,一旦有节点出现故障,系统将迅速可靠的将故障节点排除在外,并重新建立集群映像,这样,对失败节点的应用用户将被路由到另外的可用节点;同时,通过集群维护的热备用仓库、活动节点和存储系统上的信息,来快速重构故障节点上的全局性信息。数据库恢复期间,采用分阶段实行的过程,先扫描定位需要恢复的数据块,然后只恢复标记块,这样就消除了不确定的恢复时间造成的潜在问题。

  3. 可伸缩性
    本方案中海阔HK采用的是动态的移动数据库资源方式,可以方便的将资源分配、移动到基于数据访问模式的节点上,用户可以容易快捷的将系统升级,并且这个升级可以接近线性按比例扩充,一直到你想要的性能指标。

  4. 易管理性
    整个机群系统提供了单一的系统映像,对于管理员来说,就象是在管理一个系统一样简便。

4.数据集中存储系统

存储系统的设计需要考虑的因素很多,包括系统存储系统的结构是否适应用户现有的应用类型(商业、金融、科学计算等等),选择适合用户的存储系统和配置是非常重要的。
根据客户所要实现的目标和系统设计原则我们知道,在存储系统硬件选型时必须充分地考虑硬件的配置和所选硬件平台及支撑软件平台的可扩充性安全性。简单的说,在存储系统硬件选型方面我们遵循下列技术标准:

  1. 性能优异:强大的I/O处理能力足够的内外存储容量确保服务器硬件能提供足够的性能给所运行的软件。
  2. 技术先进:存储系统应代表当代计算机技术的最高水平,能够以更先进的技术获得更高的性能。
  3. 扩充性好:能随着应用系统的增加而扩展,具有长远的生命周期和以扩充性,能适应现在和未来需要。
  4. 维护方便:能得到良好的技术支持及维修服务,售后服务优良,维修及时,费用低。
  5. 易于使用:具有操作界面直观,系统文档全面的特点。
  6. 价格因素:具有性能/价格比率的优势。
  7. 符合标准: 技术发展方向遵循工业标准,符合开放性标准。

根据对公安综合查询系统的应用分析,我们建议采用海阔EMC CX500存储系统。在TS系统的每台数据库服务器上配置1块HBA光纤卡,并通过1台8口光纤通道交换机与CX500光纤通道磁盘阵列系统连接,构成统一的SAN网络存储应用硬件平台。

SAN光纤存储系统是一套先进可靠的应用存储和备份系统,能够支持相关用户的访问需求,满足传输和容量的需求,以及完善可靠的备份和管理解决方案,实现企业级数据存储的高安全。

SAN相对于服务器其他存储方式的优势主要体现在:

  • 存储、备份的集中式管理(Centralized Storage Management):分布式的设备,
    包括服务器系统、磁盘阵列存储子系统、光纤通道交换机和光纤主机总线适配器HBA等等,均可以集中管理。整个系统的数据备份和恢复工作也可以统一集中控制,确保了数据的安全性和最高的可用性。

  • 企业级备份(Enterprise Backup):
    备份程序得到简化,磁带库子系统可以被多个主机服务器所共享,而且备份时可以不占用主干网的带宽,即所谓LAN-Free备份。LAN-Free的备份可以极大的减少主干网络通讯量,提高主干网络带宽的有效利用率。

  • 高可用性和灾难恢复(High Availability & Disaster Recovery):
    可以在多台服务器、交换机、磁盘阵列存储设备上建立任意两点间的连接。能形成一个被多个服务器通过多条路径访问的共享存储池,从而导致了更高的可用性,保证服务业务的不间断。

  • 数据共享(Data Sharing):
    分布式服务器可以访问一个大的集中管理的存储子系统中的共享数据,来运行各种数据共享应用。
  • 多平台支持(Multiplatform):如果拥有多服务器系统如Linux、UNIX,SAN能够使用户迅速、方便地建立、整合和管理其多平台的存储环境,让用户对其异构存储局域网拥有无限的扩展能力、管理能力和百分百的高可用性。




Copyright® 2002 - 2009 All Rights Reserved 海阔天行 版权所有京ICP备010号