管控一体化
文章编号：１００８－０５７０（２００６）０１－３－００８６－０３
中文核心期刊《微计算机信息》（管控一体化）２００６年第２２卷第１－３期
构建高性能集群计算机系统的关键技术
ＫｅｙＴｅｃｈｎｏｌｏｇｉｅｓＵｓｅｄＦｏｒＣｏｎｓｔｒｕｃｔＨｉｇｈ－ｐｅｒｆｏｒｍａｎｃｅＣｏｍｐｕｔｅｒＣｌｕｓｔｅｒＳｙｓｔｅｍ
（武汉理工大学）熊盛武
王鲁杨婕
Ｘｉｏｎｇ，ＳｈｅｎｇｗｕＷａｎｇ，Ｌｕ
摘要：高性能计算机技术是衡量一个国家科技水平及综合国力的重要标志之一，目前世界上一些发达国家都在争相投入巨额资
金对它进行开发和研究．ＰＣ集群计算机就是最廉价的高性能计算机．着重讨论了集群计算机系统构建中的一些关键技术，如可扩展性、可用性、资源管理、负载平衡和并行程序设计环境等，同时，也根据集群系统的特点提出了它在不同领域中的实用意义．关键词：集群计算机系统；并行计算；可用性；可扩展性
文献标识码：Ａ中图分类号：ＴＰ３１１
Ａｂｓｔｒａｃｔ：Ｈｉｇｈ－ｐｅｒｆｏｒｍａｎｃｅｃｏｍｐｕｔｅｒｔｅｃｈｎｉｑｕｅｉｓｏｎｅｏｆｔｈｅｉｍｐｏｒｔａｎｔｓｉｇｎｓｏｆｗｅｉｇｈｉｎｇａｃｏｕｎｔｒｙ’ｓｓｃｉｅｎｃｅａｎｄｔｅｃｈｎｉｃａｌｌｅｖｅｌａｎｄｓｙｎｔｈｅｔｉｃａｌｎａｔｉｏｎａｌｐｏｗｅｒ．Ｎｏｗ，ｓｏｍｅｄｅｖｅｌｏｐｅｄｃｏｕｎｔｒｉｅｓｉｎｗｏｒｌｄａｒｅｐｏｓｉｔｉｖｅｌｙｉｎｖｅｓｔｉｎｇｈｕｇｅｆｕｎｄｓｆｏｒｉｔｓｄｅｖｅｌｏｐｍｅｎｔａｎｄｓｔｕｄｙ．ＰＣｃｌｕｓｔｅｒｓｙｓｔｅｍｉｓｔｈｅｃｈｅａｐｅｓｔｏｎｅ，Ｔｈｅｐａｐｅｒｅｍｐｈａｔｉｃａｌｌｙｄｉｓｃｕｓｓｅｓｓｏｍｅｋｅｙｔｅｃｈｎｏｌｏｇｉｅｓｕｓｅｄｆｏｒｄｅｐｌｏｙｉｎｇａｃｌｕｓｔｅｒｓｙｓｔｅｍ，ｓｕｃｈａｓｓｃａｌａｂｉｌｉｔｙ，ａｖａｉｌａｂｉｌｉｔｙ，ｒｅｓｏｕｒｃｅｍａｎａｇｅｍｅｎｔ，ｌｏａｄｂａｌａｎｃｉｎｇａｎｄｐａｒａｌｌｅｌｐｒｏｇｒａｍｍｉｎｇｅｎｖｉｒｏｎｍｅｎｔｅｔｃ．Ａｔｔｈｅｓａｍｅｔｉｍｅ，ａｃｃｏｒｄｉｎｇｔｏｃｈａｒａｃｔｅｒｉｓｔｉｃｓｏｆａｃｌｕｓｔｅｒｓｙｓｔｅｍ，ｉｔｐｒｅｓｅｎｔｔｈｅｐｒａｃｔｉｃａｌｓｉｇｎｉｆｉｃａｎｃｅｏｆｓｕｃｈａｓｙｓｔｅｍｉｎｄｉｖｅｒｓｅｆｉｅｌｄｓ．Ｋｅｙｗｏｒｄｓ：ｃｌｕｓｔｅｒｃｏｍｐｕｔｅｒｓｙｓｔｅｍ；ｐａｒａｌｌｅｌｃｏｍｐｕｔｉｎｇ；ａｖａｉｌａｂｉｌｉｔｙ；ｓｃａｌａｂｉｌｉｔｙ
１集群计算机系统
集群计算机是指利用高速通信网络将一组高档工作站或ＰＣ按某种结构连接起来，在并行程序设计及可视化人机交互集成开发环境支持下，统一调度，协调处理，实现高效并行处理的系统．由于集群计算机具有投资风险小，可扩展性好，可继承现有软硬件资源和开发周期短、容易编程等突出特点，目前已很快成为并行处理的热点和主流，据专家预测“：未来的高性能计算机和超级服务器都将基于集群结构”。集群系统中的结点可以按３种方式实现连接：
（１）无共享方式。指结点之间通过Ｉ／Ｏ总线连接，在大多数集群中都采用这种方式。
（２）共享磁盘方式。较小规模的商用性集群常常采用这种连接方式，其优点是当某个结点出现故障时，其它结点可以代替其工作。
容量为（１００ＭＢ／ｓ×１６）／２＝８００ＭＢ／ｓ，其中除以２是因为通信端口总是成对工作的。对于一个理想集群系统的体系结构，可用的结点有工作站、ＰＣ机、ＳＭＰ服务器，甚至超级计算机。结点的操作系统是多用户、多任务和多线程的系统，如Ｌｉｎｕｘ等。结点可以是同构的，也可以是异构的。其中可用性基础设施层提供高可用性服务，单一系统映像基础设施层提供单一系统映像服务，最上层的３类子系统则用来支持该集群系统的可用性。
２构建集群系统的关键技术
不同集群系统构建的难易程度也不同。对于廉价的集群系统，仅需将一定数量的高档ＰＣ机通过快速以太网进行互连，并辅之以某些相关的免费自由软件，如
Ｌｉｎｕｘ，ＰＶＭ，ＭＰＩ等，即可得到一个性价比很不错的并行计算环境。而对于精心设计的高性能集群系统，则还需要着重考虑其它一些问题。
（３）共享存储器方式。这是一种新型的连接方式。
在其结构中，互连系统与每个结点中的存储总线相连，而在其它两种结构中，互连系统则是与结点的Ｉ／Ｏ总线相连。集群中的结点数越多，则系统的整体处理能力也就越强，但结点数的增多受限于消息传递的通信速度和容量。如果采用１６端口的１００ＭＢ／ｓ的快速以太网交换机作为网络互连，由于集群的结点连接是独占端口，所以独享１００ＭＢ／ｓ带宽，对该集群系统，它的通信熊盛武：教授
基金项目：国家８６３计划（２００２ＡＡ１Ｚ１４９０）；湖北省自然科学基金项目（２００２ＡＢ０４０）资助
－－
２．１可扩展性及其设计原理
如果能够通过增加系统资源以满足不断增长的对性能和功能的要求，或者能够通过减少系统资源以降低成本，则称这样的计算机系统是可扩展的。一个系统的可扩展性包含性能和功能、成本伸缩、可兼容性等几个方面系统的可扩展性一般是指：
是指通过增加系统规模（即处理（１）资源可扩展性。
投入更多存储部件（高速缓存、器数）、主存、磁盘）以及
增加软件等方法，使系统具有更高性能或更多功能。
（２）应用可扩展性。要充分开发可扩展并行计算机
ＰＬＣ技术应用２００例》
元／：
管控一体化
的能力，应用程序也必须是可扩展的，即，当相同程序在一个可扩展系统上运行时，其性能也能够随系统规模扩大而成比例地得到改进。该性能可以用机器规模和问题规模的可扩展性来进行度量。
点集群的ＭＴＴＦ要低于一个工作站的ＭＴＴＦ，所以它比工作站发生故障的可能性要大。然而，如果能迅速处理这些故障，即减少系统的ＭＴＴＲ，也同样可以提高系统的可用性。适用于集群系统的可用性技术主要有以下几个：
（３）技术可扩展性。是指系统能够适应技术环境改变的程度。它可进一步分为：代可扩展性、空间可扩展性以及异构可扩展性。
设计可扩展高性能计算机是一个复杂的工程过程，它大致包括４个设计原理：
（１）相互独立的冗余设备。改善任何系统可用性的一个重要技术是使用冗余部件。当一个主要部件发生故障时，由另一个备用部件继续提供服务。此外主要部件和备用部件之间必须相互隔离，使得它们不会因为同一个原因而发生故障。
（１）独立原理。该原理要求我们应努力使系统中的
各个组成部分相互独立。如果无法达到要求，则应尽量使相关程度减至最小并使相关性尽量清晰。这里的组成部分包括硬、软件两方面。采用独立原理的一个好处是使独立扩展（增量扩展）成为可能；另一好处是使异构可扩展性成为可能。
（２）故障接管。对于现在的商用集群来说，故障接
管可能是最重要的性能需求。一个部件发生故障时，该技术允许系统的余留部分能继续提供原来由故障部件提供的服务。
（３）恢复技术。指为了接管一个已发生故障部件的工作负载所要做的动作。有后向和前向两种恢复技术。对前者，周期地为运行在集群中的进程在稳定存储设备中保存它的一个一致状态（即检查点）。发生故障后，系统重组以与故障部件相隔离，恢复前一个检查点，然后继续正常的操作，整个过程称为卷回。在独立于应用程序的可移植方式下后向恢复较容易实现，并已被广泛运用。然而，卷回过程要有较大的时间开销，这在实时系统中是不能容忍的，这时就要考虑使用前向恢复技术。这种技术要求系统不是卷回到故障前的某个检查点而是利用故障诊断信息去重构一个有效的系统状态，并继续执行下去。前向恢复将依赖于应用程序并且可能还需要额外的硬件设备支持。
（２）平衡设计原理。该原理要求我们应努力最小化
任何性能瓶颈。应避免不平衡系统的设计，因为在这种系统中，一个慢速的部件将会导致整个系统性能下降，即使其它部件的速度再高也无济于事。此外，还应避免单点失效，即一个部件的失效将会引起整个系统崩溃。
（３）可扩展性设计原理。即在设计一个可扩展系统时，应该从一开始就将可扩展性作为主要目标，而不是设计完成后再来考虑它。可扩展性设计的两种流行方法是过渡设计和向后兼容性设计。
是指利用计算来隐藏通信时延，（４）时延隐藏原理。
也就是说，能够保证即使是在长时延不可避免的情况下系统也能达到高性能。其基本思想之一是使计算和通信在时间上重叠。可以通过４种互补的方法进行时延隐藏：预取技术、分布式一致性高速缓存、非严格的存储器一致性模型、多线程处理器。
技
术创新
２．３高效的通信系统
通信子系统是并行计算机系统的重要组成部分，它完成系统中各结点之间的数据传递功能，因此通信性能的好坏将直接影响到并行计算的加速比和效率。这是因为并行计算时间是由各结点的ＣＰＵ时间和结点间数据通信时间两部分组成，如果通信时间所占比例过大，则必然会使得并行计算的加速比下降，从而导致整个系统的效率下降。由于一般的集群系统往往是通过普通ＬＡＮ互连而成，结点之间采用ＴＣＰ／ＩＰ协议进行通信，所以存在低带宽和高延迟的问题。针对第一个问题的解决办法是采用新型高速网络如快速以太网，ＡＴＭ，Ｍｙｒｉｎｅｔ等，来提高网络带宽。传统ＴＣＰ／ＩＰ协议的多层次结构使得复杂的缓冲管理带来了很大的网络延迟和操作系统的额外开销。相应的解决办法是，在用户空间实现通信协议、精简通信协议、采用Ａｃ－
２．２可用性和可用性技术
在设计健壮、高可用的系统时，必需同时考虑可靠性、可用性及可维护性３个因素。而其中又以可用性标准最为重要，它同时结合了可靠性和可维护性两个概念。
２．２．１可用性概念
系统的可靠性可表示为平均无故障时间（ＭＴＴＦ：ｍｅａｎｔｉｍｅｔｏｆａｉｌｕｒｅ），即在系统或其部件发生故障前正常运行的平均时间。可维护性表示为平均故障修复时间
（ＭＴＴＲ：ｍｅａｎｔｉｍｅｔｏｒｅｐａｉｒ），即用于修复系统和在修复后恢复正常工作状态所用的平均时间。系统的可用性则可定义为可用性＝ＭＴＴＦ／（ＭＴＴＦ＋ＭＴＴＲ）。
２．２．２可用性技术
由可用性定义可知，提高系统可用性的基本方法有两种：增加ＭＴＴＦ或减少ＭＴＴＲ。如今工作站的ＭＴＴＦ范围已经可以达到从几百小时到几千小时。但要再进一步提高ＭＴＴＦ将非常困难且开销很大。多结
ｔｉｖｅＭｅｓｓａｇｅ通信机制。前两种方法是针对传统通信协议在实现方法上进行的改进，而后一种方法则是一种全新的通信机制，能够更为有效地提高通信系统的性能。
２．４并行程序设计环境
广义地说，并行程序设计环境应包括硬件平台、操
嵌入式系统应用精选２００例》：８２－９４６元／年
－８７－
管控一体化
中文核心期刊《微计算机信息》（管控一体化）２００６年第２２卷第１－３期
；多机并行处理及其互联”；微计算机信息２００４年，１期．［２］康钦马，王勇“
作系统和并行程序语言、编程、编译、调试及性能分析工具等，狭义的并行程序设计环境则仅指系统核心之上的工具软件部分。作为一个并行程序的支撑境，至少应包括：①并行语言支持或并行操作库函数支持；
②一种或多种并行编程模型。我们知道，集群系统各结点间连接结构的区别取决于有无共享存储器的存在。如果系统中各结点间没有共享内存支持而只是通过消息传递机制来实现数据通信，那么消息传递就成为并行程序设计环境构造的基础。这种环境现在常用的有ＰＶＭ，ＭＰＩ，ＥＸＰＲＥＳＳ，Ｌｉｎｄａ等。对于具有共享存储器的集群系统，则应采用共享变量模型来进行并行编程。需要注意的是，在前一种集群系统上也可以采用共享变量的并行编程模型，这时需要使用一种称为虚拟共享存储器的技术，利用它在基于分布存储器的集群系统中，实现物理上分布但逻辑上共享的存储系统。相应的支撑软件有ＴｈｒｅａｄＭａｒｋｓＤＳＭ，ＭｉｄｗａｙＤＳＭ等。
２．５资源管理与负载平衡
作者简介：熊盛武，男（１９６７－）教授，武汉理工大学计算机学院。现从事机器学习，集群计算的研究。王鲁，男（１９８１－）硕士研究生，武汉理工大学计算机学院。现从事集群计算，演化计算的研究；杨婕，女（１９８１－）硕士研究生，武汉理工大学自动化学院。现从事计算机控制与信息系统集成的研究，Ｅ－ｍａｉｌ：ａｂｃｄｌｕ＠ｓｏｈｕ。ｃｏｍ（４３００７０武汉武汉理工大学计算机学院）熊盛武王鲁
（４３００７０武汉理工大学自动化学院）杨婕
（ＷｕｈａｎＵｎｉｖｅｒｓｉｔｙＯｆＴｅｃｈｎｏｌｏｇｙ，Ｗｕｈａｎ，４３００７０）Ｘｉｏｎｇ，ＳｈｅｎｇｗｕＷａｎｇ，Ｌｕ
（投稿日期：２００５．７．１）（修稿日期：２００５．７．１３）
如何有效地管理系统中的所有资源是集群系统的一个非常重要的方面，常用的并行编程环境ＰＶＭ，ＭＰＩ等对这方面的支持都比较弱，仅提供了统一的虚拟机。主要原因是结点的操作系统是单机系统，并不提供全局服务支持，同时也缺少有效的全局共享方法。因此，就有必要在结点操作系统和并行编程环境之间加入一些中间件，即所谓的集群操作系统，来解决对系统中所有资源的调度，其中包括组调度、资源分配和并行文件系统等。负载平衡也是并行处理中的一个重要问题，其解决的好坏将直接影响到系统的性能。负载平衡技术的核心是调度算法，即将各个任务比较均衡地分布到不同的处理结点进行并行处理以使各结点的利用率达到最大。除此之外，在设计负载平衡系统时，还需要考虑诸如决策时机、调度系统模式、负载指标的设计与收集、负载调度策略等问题。比较成熟的负载平衡系统有美国Ｗｉｓｃｏｎｓｉｎ－Ｍａｄｉｓｏｎ大学的Ｃｏｎｄｏｒ系统和加拿大Ｐｌａｔｆｏｒｍ公司的ＬＳＦ系统。它们的特点是只需对原有系统稍加改动，即可使之与并行程序设计环境结合起来，提供负载平衡功能。
（接第１５８页）Ｗｅｂｌｏｇｉｃ７．０，数据库是Ｏｒａｃｌｅ９ｉ，具有速度快、稳定、扩展性好、易维护的特点。ｅ－ＷａｒｅｈｏｕｓｅＭＳ系统的应用表明基于Ｊ２ＥＥ规范的四层结构能很好地
在计算机技术日益迅速发展的适应Ｗｅｂ开发的需要。
今天，基于Ｊ２ＥＥ平台上的应用将进一步深入研究和完善，如ＥＪＢ３．０规范的推出，已经越开越体现出Ｊ２ＥＥ的优势。
进一步的工作是数据仓库和决策支持系统的研究与构建，以更好的为购物超市企业提供科学的数据管理与效益分析，提供合理的投资与风险控制决策。
致谢：该文得到了湖北省科技攻关计划项目基金的支持，在此特予致谢。
参考文献：
［１］王映．基于ＵＭＬ的Ｊ２ＥＥ体系结构系统建模［Ｊ］．江南大学学报（自然科学版），２００３，２（５）：４６２￣４６５
［２］林枫，王月忠．智能化锂离子电池管理系统的设计与实现［Ｊ］．微计算机信息，２００５，３：７８－８０
作者简介：陈世强（１９７４－），男，湖北宜昌人，土家族，硕士，讲师，主要研究方向为计算机软件、计算机网络与安全。Ｅ＿ｍａｉｌ：ｃｈｅｎｓｑ８８０８＠１２６．ｃｏｍ；谢坤武（１９７０－），男，湖北恩施人，汉族，硕士，副教授，主要研究方向为数据库、软件开发方法。
Ａｕｔｈｏｒｂｒｉｅｆｉｎｔｒｏｄｕｃｔｉｏｎ：Ｃｈｅｎ，Ｓｈｉｑｉａｎｇ（１９７４－）．Ｍａｌｅ．ＢｏｒｎｉｎＹｉｃｈａｎｇ，ＨｕｂｅｉＰｒｏｖｉｎｃｅ．Ｔｕｊｉａｎａｔｉｏｎａｌ－ｉｔｙ．Ｍａｓｔｅｒ．Ｌｅｃｔｕｒｅｒ．Ｍａｉｎｒｅｓｅａｒｃｈｄｉｒｅｃｔｉｏｎｉｓｃｏｍｐｕｔ－３结束语
ｅｒｓｏｆｔｗａｒｅ，ｃｏｍｐｕｔｅｒｎｅｔｗｏｒｋａｎｄｓｅｃｕｒｉｔｙ．ＸＩＥＫｕｎｗｕ
集群计算机系统作为当前世界上并行处理的热
（１９７０－）．Ｍａｌｅ．ＢｏｒｎｉｎＥｎｓｈｉ，ＨｕｂｅｉＰｒｏｖｉｎｃｅ．Ｈａｎ
点和主流，具有许多其它系统不可替代的优势：性价比
ｎａｔｉｏｎａｌｉｔｙ．Ｍａｓｔｅｒ．Ａｓｓｏｃｉａｔｅｐｒｏｆｅｓｓｏｒ．Ｍａｉｎｒｅｓｅａｒｃｈ
高、可扩展性好、高可用性和高能用性。尤其是ＰＣ并
ｄｉｒｅｃｔｉｏｎｉｓｄａｔａｂａｓｅ，ｓｏｆｔｗａｒｅｄｅｖｅｌｏｐｍｅｎｔａｐｐｒｏａｃｈ．
行集群系统以它系统开发周期短、用户投资风险小、
（４４５０００湖北恩施湖北民族学院计算机科学系）
节约系统资源、用户编程方便等优点，非常适合我国陈世强谢坤武国情，它的构建将给我国各行各业提供极为廉价的高（Ｄｅｐｔ．ｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅ，ＨｕｂｅｉＩｎｓｔｉｔｕｔｅｆｏｒＮａ－性能并行计算资源，所以对我国的高性能科学计算、商ｔｉｏｎａｌｉｔｉｅｓ，ＨｕｂｅｉＥｎｓｈｉ，４４５０００，Ｃｈｉｎａ）Ｃｈｅｎ，业领域数据处理、互联网应用以及教育事业发展等都将具有重要而深远的意义。
参考文献：
［１］黄恺，徐志伟《；可扩展并行计算技术，结构与编程》；机械工业出版社．－－
ＳｈｉｑｉａｎｇＸｉｅ，Ｋｕｎｗｕ
通信地址：（４４５０００湖北省恩施市湖北民族学院信息工程学院办公室）陈世强
（投稿日期：２００５．７．１）（修稿日期：２００５．７．１３）
元／：ＰＬＣ技术应用２００例》
管控一体化
文章编号：１００８－０５７０（２００６）０１－３－００８６－０３
中文核心期刊《微计算机信息》（管控一体化）２００６年第２２卷第１－３期
构建高性能集群计算机系统的关键技术
ＫｅｙＴｅｃｈｎｏｌｏｇｉｅｓＵｓｅｄＦｏｒＣｏｎｓｔｒｕｃｔＨｉｇｈ－ｐｅｒｆｏｒｍａｎｃｅＣｏｍｐｕｔｅｒＣｌｕｓｔｅｒＳｙｓｔｅｍ
（武汉理工大学）熊盛武
王鲁杨婕
Ｘｉｏｎｇ，ＳｈｅｎｇｗｕＷａｎｇ，Ｌｕ
摘要：高性能计算机技术是衡量一个国家科技水平及综合国力的重要标志之一，目前世界上一些发达国家都在争相投入巨额资
金对它进行开发和研究．ＰＣ集群计算机就是最廉价的高性能计算机．着重讨论了集群计算机系统构建中的一些关键技术，如可扩展性、可用性、资源管理、负载平衡和并行程序设计环境等，同时，也根据集群系统的特点提出了它在不同领域中的实用意义．关键词：集群计算机系统；并行计算；可用性；可扩展性
文献标识码：Ａ中图分类号：ＴＰ３１１
Ａｂｓｔｒａｃｔ：Ｈｉｇｈ－ｐｅｒｆｏｒｍａｎｃｅｃｏｍｐｕｔｅｒｔｅｃｈｎｉｑｕｅｉｓｏｎｅｏｆｔｈｅｉｍｐｏｒｔａｎｔｓｉｇｎｓｏｆｗｅｉｇｈｉｎｇａｃｏｕｎｔｒｙ’ｓｓｃｉｅｎｃｅａｎｄｔｅｃｈｎｉｃａｌｌｅｖｅｌａｎｄｓｙｎｔｈｅｔｉｃａｌｎａｔｉｏｎａｌｐｏｗｅｒ．Ｎｏｗ，ｓｏｍｅｄｅｖｅｌｏｐｅｄｃｏｕｎｔｒｉｅｓｉｎｗｏｒｌｄａｒｅｐｏｓｉｔｉｖｅｌｙｉｎｖｅｓｔｉｎｇｈｕｇｅｆｕｎｄｓｆｏｒｉｔｓｄｅｖｅｌｏｐｍｅｎｔａｎｄｓｔｕｄｙ．ＰＣｃｌｕｓｔｅｒｓｙｓｔｅｍｉｓｔｈｅｃｈｅａｐｅｓｔｏｎｅ，Ｔｈｅｐａｐｅｒｅｍｐｈａｔｉｃａｌｌｙｄｉｓｃｕｓｓｅｓｓｏｍｅｋｅｙｔｅｃｈｎｏｌｏｇｉｅｓｕｓｅｄｆｏｒｄｅｐｌｏｙｉｎｇａｃｌｕｓｔｅｒｓｙｓｔｅｍ，ｓｕｃｈａｓｓｃａｌａｂｉｌｉｔｙ，ａｖａｉｌａｂｉｌｉｔｙ，ｒｅｓｏｕｒｃｅｍａｎａｇｅｍｅｎｔ，ｌｏａｄｂａｌａｎｃｉｎｇａｎｄｐａｒａｌｌｅｌｐｒｏｇｒａｍｍｉｎｇｅｎｖｉｒｏｎｍｅｎｔｅｔｃ．Ａｔｔｈｅｓａｍｅｔｉｍｅ，ａｃｃｏｒｄｉｎｇｔｏｃｈａｒａｃｔｅｒｉｓｔｉｃｓｏｆａｃｌｕｓｔｅｒｓｙｓｔｅｍ，ｉｔｐｒｅｓｅｎｔｔｈｅｐｒａｃｔｉｃａｌｓｉｇｎｉｆｉｃａｎｃｅｏｆｓｕｃｈａｓｙｓｔｅｍｉｎｄｉｖｅｒｓｅｆｉｅｌｄｓ．Ｋｅｙｗｏｒｄｓ：ｃｌｕｓｔｅｒｃｏｍｐｕｔｅｒｓｙｓｔｅｍ；ｐａｒａｌｌｅｌｃｏｍｐｕｔｉｎｇ；ａｖａｉｌａｂｉｌｉｔｙ；ｓｃａｌａｂｉｌｉｔｙ
１集群计算机系统
集群计算机是指利用高速通信网络将一组高档工作站或ＰＣ按某种结构连接起来，在并行程序设计及可视化人机交互集成开发环境支持下，统一调度，协调处理，实现高效并行处理的系统．由于集群计算机具有投资风险小，可扩展性好，可继承现有软硬件资源和开发周期短、容易编程等突出特点，目前已很快成为并行处理的热点和主流，据专家预测“：未来的高性能计算机和超级服务器都将基于集群结构”。集群系统中的结点可以按３种方式实现连接：
（１）无共享方式。指结点之间通过Ｉ／Ｏ总线连接，在大多数集群中都采用这种方式。
（２）共享磁盘方式。较小规模的商用性集群常常采用这种连接方式，其优点是当某个结点出现故障时，其它结点可以代替其工作。
容量为（１００ＭＢ／ｓ×１６）／２＝８００ＭＢ／ｓ，其中除以２是因为通信端口总是成对工作的。对于一个理想集群系统的体系结构，可用的结点有工作站、ＰＣ机、ＳＭＰ服务器，甚至超级计算机。结点的操作系统是多用户、多任务和多线程的系统，如Ｌｉｎｕｘ等。结点可以是同构的，也可以是异构的。其中可用性基础设施层提供高可用性服务，单一系统映像基础设施层提供单一系统映像服务，最上层的３类子系统则用来支持该集群系统的可用性。
２构建集群系统的关键技术
不同集群系统构建的难易程度也不同。对于廉价的集群系统，仅需将一定数量的高档ＰＣ机通过快速以太网进行互连，并辅之以某些相关的免费自由软件，如
Ｌｉｎｕｘ，ＰＶＭ，ＭＰＩ等，即可得到一个性价比很不错的并行计算环境。而对于精心设计的高性能集群系统，则还需要着重考虑其它一些问题。
（３）共享存储器方式。这是一种新型的连接方式。
在其结构中，互连系统与每个结点中的存储总线相连，而在其它两种结构中，互连系统则是与结点的Ｉ／Ｏ总线相连。集群中的结点数越多，则系统的整体处理能力也就越强，但结点数的增多受限于消息传递的通信速度和容量。如果采用１６端口的１００ＭＢ／ｓ的快速以太网交换机作为网络互连，由于集群的结点连接是独占端口，所以独享１００ＭＢ／ｓ带宽，对该集群系统，它的通信熊盛武：教授
基金项目：国家８６３计划（２００２ＡＡ１Ｚ１４９０）；湖北省自然科学基金项目（２００２ＡＢ０４０）资助
－－
２．１可扩展性及其设计原理
如果能够通过增加系统资源以满足不断增长的对性能和功能的要求，或者能够通过减少系统资源以降低成本，则称这样的计算机系统是可扩展的。一个系统的可扩展性包含性能和功能、成本伸缩、可兼容性等几个方面系统的可扩展性一般是指：
是指通过增加系统规模（即处理（１）资源可扩展性。
投入更多存储部件（高速缓存、器数）、主存、磁盘）以及
增加软件等方法，使系统具有更高性能或更多功能。
（２）应用可扩展性。要充分开发可扩展并行计算机
ＰＬＣ技术应用２００例》
元／：
管控一体化
的能力，应用程序也必须是可扩展的，即，当相同程序在一个可扩展系统上运行时，其性能也能够随系统规模扩大而成比例地得到改进。该性能可以用机器规模和问题规模的可扩展性来进行度量。
点集群的ＭＴＴＦ要低于一个工作站的ＭＴＴＦ，所以它比工作站发生故障的可能性要大。然而，如果能迅速处理这些故障，即减少系统的ＭＴＴＲ，也同样可以提高系统的可用性。适用于集群系统的可用性技术主要有以下几个：
（３）技术可扩展性。是指系统能够适应技术环境改变的程度。它可进一步分为：代可扩展性、空间可扩展性以及异构可扩展性。
设计可扩展高性能计算机是一个复杂的工程过程，它大致包括４个设计原理：
（１）相互独立的冗余设备。改善任何系统可用性的一个重要技术是使用冗余部件。当一个主要部件发生故障时，由另一个备用部件继续提供服务。此外主要部件和备用部件之间必须相互隔离，使得它们不会因为同一个原因而发生故障。
（１）独立原理。该原理要求我们应努力使系统中的
各个组成部分相互独立。如果无法达到要求，则应尽量使相关程度减至最小并使相关性尽量清晰。这里的组成部分包括硬、软件两方面。采用独立原理的一个好处是使独立扩展（增量扩展）成为可能；另一好处是使异构可扩展性成为可能。
（２）故障接管。对于现在的商用集群来说，故障接
管可能是最重要的性能需求。一个部件发生故障时，该技术允许系统的余留部分能继续提供原来由故障部件提供的服务。
（３）恢复技术。指为了接管一个已发生故障部件的工作负载所要做的动作。有后向和前向两种恢复技术。对前者，周期地为运行在集群中的进程在稳定存储设备中保存它的一个一致状态（即检查点）。发生故障后，系统重组以与故障部件相隔离，恢复前一个检查点，然后继续正常的操作，整个过程称为卷回。在独立于应用程序的可移植方式下后向恢复较容易实现，并已被广泛运用。然而，卷回过程要有较大的时间开销，这在实时系统中是不能容忍的，这时就要考虑使用前向恢复技术。这种技术要求系统不是卷回到故障前的某个检查点而是利用故障诊断信息去重构一个有效的系统状态，并继续执行下去。前向恢复将依赖于应用程序并且可能还需要额外的硬件设备支持。
（２）平衡设计原理。该原理要求我们应努力最小化
任何性能瓶颈。应避免不平衡系统的设计，因为在这种系统中，一个慢速的部件将会导致整个系统性能下降，即使其它部件的速度再高也无济于事。此外，还应避免单点失效，即一个部件的失效将会引起整个系统崩溃。
（３）可扩展性设计原理。即在设计一个可扩展系统时，应该从一开始就将可扩展性作为主要目标，而不是设计完成后再来考虑它。可扩展性设计的两种流行方法是过渡设计和向后兼容性设计。
是指利用计算来隐藏通信时延，（４）时延隐藏原理。
也就是说，能够保证即使是在长时延不可避免的情况下系统也能达到高性能。其基本思想之一是使计算和通信在时间上重叠。可以通过４种互补的方法进行时延隐藏：预取技术、分布式一致性高速缓存、非严格的存储器一致性模型、多线程处理器。
技
术创新
２．３高效的通信系统
通信子系统是并行计算机系统的重要组成部分，它完成系统中各结点之间的数据传递功能，因此通信性能的好坏将直接影响到并行计算的加速比和效率。这是因为并行计算时间是由各结点的ＣＰＵ时间和结点间数据通信时间两部分组成，如果通信时间所占比例过大，则必然会使得并行计算的加速比下降，从而导致整个系统的效率下降。由于一般的集群系统往往是通过普通ＬＡＮ互连而成，结点之间采用ＴＣＰ／ＩＰ协议进行通信，所以存在低带宽和高延迟的问题。针对第一个问题的解决办法是采用新型高速网络如快速以太网，ＡＴＭ，Ｍｙｒｉｎｅｔ等，来提高网络带宽。传统ＴＣＰ／ＩＰ协议的多层次结构使得复杂的缓冲管理带来了很大的网络延迟和操作系统的额外开销。相应的解决办法是，在用户空间实现通信协议、精简通信协议、采用Ａｃ－
２．２可用性和可用性技术
在设计健壮、高可用的系统时，必需同时考虑可靠性、可用性及可维护性３个因素。而其中又以可用性标准最为重要，它同时结合了可靠性和可维护性两个概念。
２．２．１可用性概念
系统的可靠性可表示为平均无故障时间（ＭＴＴＦ：ｍｅａｎｔｉｍｅｔｏｆａｉｌｕｒｅ），即在系统或其部件发生故障前正常运行的平均时间。可维护性表示为平均故障修复时间
（ＭＴＴＲ：ｍｅａｎｔｉｍｅｔｏｒｅｐａｉｒ），即用于修复系统和在修复后恢复正常工作状态所用的平均时间。系统的可用性则可定义为可用性＝ＭＴＴＦ／（ＭＴＴＦ＋ＭＴＴＲ）。
２．２．２可用性技术
由可用性定义可知，提高系统可用性的基本方法有两种：增加ＭＴＴＦ或减少ＭＴＴＲ。如今工作站的ＭＴＴＦ范围已经可以达到从几百小时到几千小时。但要再进一步提高ＭＴＴＦ将非常困难且开销很大。多结
ｔｉｖｅＭｅｓｓａｇｅ通信机制。前两种方法是针对传统通信协议在实现方法上进行的改进，而后一种方法则是一种全新的通信机制，能够更为有效地提高通信系统的性能。
２．４并行程序设计环境
广义地说，并行程序设计环境应包括硬件平台、操
嵌入式系统应用精选２００例》：８２－９４６元／年
－８７－
管控一体化
中文核心期刊《微计算机信息》（管控一体化）２００６年第２２卷第１－３期
；多机并行处理及其互联”；微计算机信息２００４年，１期．［２］康钦马，王勇“
作系统和并行程序语言、编程、编译、调试及性能分析工具等，狭义的并行程序设计环境则仅指系统核心之上的工具软件部分。作为一个并行程序的支撑境，至少应包括：①并行语言支持或并行操作库函数支持；
②一种或多种并行编程模型。我们知道，集群系统各结点间连接结构的区别取决于有无共享存储器的存在。如果系统中各结点间没有共享内存支持而只是通过消息传递机制来实现数据通信，那么消息传递就成为并行程序设计环境构造的基础。这种环境现在常用的有ＰＶＭ，ＭＰＩ，ＥＸＰＲＥＳＳ，Ｌｉｎｄａ等。对于具有共享存储器的集群系统，则应采用共享变量模型来进行并行编程。需要注意的是，在前一种集群系统上也可以采用共享变量的并行编程模型，这时需要使用一种称为虚拟共享存储器的技术，利用它在基于分布存储器的集群系统中，实现物理上分布但逻辑上共享的存储系统。相应的支撑软件有ＴｈｒｅａｄＭａｒｋｓＤＳＭ，ＭｉｄｗａｙＤＳＭ等。
２．５资源管理与负载平衡
作者简介：熊盛武，男（１９６７－）教授，武汉理工大学计算机学院。现从事机器学习，集群计算的研究。王鲁，男（１９８１－）硕士研究生，武汉理工大学计算机学院。现从事集群计算，演化计算的研究；杨婕，女（１９８１－）硕士研究生，武汉理工大学自动化学院。现从事计算机控制与信息系统集成的研究，Ｅ－ｍａｉｌ：ａｂｃｄｌｕ＠ｓｏｈｕ。ｃｏｍ（４３００７０武汉武汉理工大学计算机学院）熊盛武王鲁
（４３００７０武汉理工大学自动化学院）杨婕
（ＷｕｈａｎＵｎｉｖｅｒｓｉｔｙＯｆＴｅｃｈｎｏｌｏｇｙ，Ｗｕｈａｎ，４３００７０）Ｘｉｏｎｇ，ＳｈｅｎｇｗｕＷａｎｇ，Ｌｕ
（投稿日期：２００５．７．１）（修稿日期：２００５．７．１３）
如何有效地管理系统中的所有资源是集群系统的一个非常重要的方面，常用的并行编程环境ＰＶＭ，ＭＰＩ等对这方面的支持都比较弱，仅提供了统一的虚拟机。主要原因是结点的操作系统是单机系统，并不提供全局服务支持，同时也缺少有效的全局共享方法。因此，就有必要在结点操作系统和并行编程环境之间加入一些中间件，即所谓的集群操作系统，来解决对系统中所有资源的调度，其中包括组调度、资源分配和并行文件系统等。负载平衡也是并行处理中的一个重要问题，其解决的好坏将直接影响到系统的性能。负载平衡技术的核心是调度算法，即将各个任务比较均衡地分布到不同的处理结点进行并行处理以使各结点的利用率达到最大。除此之外，在设计负载平衡系统时，还需要考虑诸如决策时机、调度系统模式、负载指标的设计与收集、负载调度策略等问题。比较成熟的负载平衡系统有美国Ｗｉｓｃｏｎｓｉｎ－Ｍａｄｉｓｏｎ大学的Ｃｏｎｄｏｒ系统和加拿大Ｐｌａｔｆｏｒｍ公司的ＬＳＦ系统。它们的特点是只需对原有系统稍加改动，即可使之与并行程序设计环境结合起来，提供负载平衡功能。
（接第１５８页）Ｗｅｂｌｏｇｉｃ７．０，数据库是Ｏｒａｃｌｅ９ｉ，具有速度快、稳定、扩展性好、易维护的特点。ｅ－ＷａｒｅｈｏｕｓｅＭＳ系统的应用表明基于Ｊ２ＥＥ规范的四层结构能很好地
在计算机技术日益迅速发展的适应Ｗｅｂ开发的需要。
今天，基于Ｊ２ＥＥ平台上的应用将进一步深入研究和完善，如ＥＪＢ３．０规范的推出，已经越开越体现出Ｊ２ＥＥ的优势。
进一步的工作是数据仓库和决策支持系统的研究与构建，以更好的为购物超市企业提供科学的数据管理与效益分析，提供合理的投资与风险控制决策。
致谢：该文得到了湖北省科技攻关计划项目基金的支持，在此特予致谢。
参考文献：
［１］王映．基于ＵＭＬ的Ｊ２ＥＥ体系结构系统建模［Ｊ］．江南大学学报（自然科学版），２００３，２（５）：４６２￣４６５
［２］林枫，王月忠．智能化锂离子电池管理系统的设计与实现［Ｊ］．微计算机信息，２００５，３：７８－８０
作者简介：陈世强（１９７４－），男，湖北宜昌人，土家族，硕士，讲师，主要研究方向为计算机软件、计算机网络与安全。Ｅ＿ｍａｉｌ：ｃｈｅｎｓｑ８８０８＠１２６．ｃｏｍ；谢坤武（１９７０－），男，湖北恩施人，汉族，硕士，副教授，主要研究方向为数据库、软件开发方法。
Ａｕｔｈｏｒｂｒｉｅｆｉｎｔｒｏｄｕｃｔｉｏｎ：Ｃｈｅｎ，Ｓｈｉｑｉａｎｇ（１９７４－）．Ｍａｌｅ．ＢｏｒｎｉｎＹｉｃｈａｎｇ，ＨｕｂｅｉＰｒｏｖｉｎｃｅ．Ｔｕｊｉａｎａｔｉｏｎａｌ－ｉｔｙ．Ｍａｓｔｅｒ．Ｌｅｃｔｕｒｅｒ．Ｍａｉｎｒｅｓｅａｒｃｈｄｉｒｅｃｔｉｏｎｉｓｃｏｍｐｕｔ－３结束语
ｅｒｓｏｆｔｗａｒｅ，ｃｏｍｐｕｔｅｒｎｅｔｗｏｒｋａｎｄｓｅｃｕｒｉｔｙ．ＸＩＥＫｕｎｗｕ
集群计算机系统作为当前世界上并行处理的热
（１９７０－）．Ｍａｌｅ．ＢｏｒｎｉｎＥｎｓｈｉ，ＨｕｂｅｉＰｒｏｖｉｎｃｅ．Ｈａｎ
点和主流，具有许多其它系统不可替代的优势：性价比
ｎａｔｉｏｎａｌｉｔｙ．Ｍａｓｔｅｒ．Ａｓｓｏｃｉａｔｅｐｒｏｆｅｓｓｏｒ．Ｍａｉｎｒｅｓｅａｒｃｈ
高、可扩展性好、高可用性和高能用性。尤其是ＰＣ并
ｄｉｒｅｃｔｉｏｎｉｓｄａｔａｂａｓｅ，ｓｏｆｔｗａｒｅｄｅｖｅｌｏｐｍｅｎｔａｐｐｒｏａｃｈ．
行集群系统以它系统开发周期短、用户投资风险小、
（４４５０００湖北恩施湖北民族学院计算机科学系）
节约系统资源、用户编程方便等优点，非常适合我国陈世强谢坤武国情，它的构建将给我国各行各业提供极为廉价的高（Ｄｅｐｔ．ｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅ，ＨｕｂｅｉＩｎｓｔｉｔｕｔｅｆｏｒＮａ－性能并行计算资源，所以对我国的高性能科学计算、商ｔｉｏｎａｌｉｔｉｅｓ，ＨｕｂｅｉＥｎｓｈｉ，４４５０００，Ｃｈｉｎａ）Ｃｈｅｎ，业领域数据处理、互联网应用以及教育事业发展等都将具有重要而深远的意义。
参考文献：
［１］黄恺，徐志伟《；可扩展并行计算技术，结构与编程》；机械工业出版社．－－
ＳｈｉｑｉａｎｇＸｉｅ，Ｋｕｎｗｕ
通信地址：（４４５０００湖北省恩施市湖北民族学院信息工程学院办公室）陈世强
（投稿日期：２００５．７．１）（修稿日期：２００５．７．１３）
元／：ＰＬＣ技术应用２００例》