2008年伞围高性能计算学术年会
云计算:概念,现状及关键技术
司品超董超群吴利
张超容
(江南计算技术研究所无锡214083)
摘要:随着多核处理器、虚拟化、分布式存储、宽带互联网、自动化管理等技术的发展,云计算的概念变得越来越流行。本文首先阐述了云计算的产生背景、相关概念和云计算的特点,然后对云计算的现状和几个典型的云计算平台进行了分析,对云计算的体系结构和一些关键技术进行了探讨。最后给出了结论。
电,并只需要对它们所使用的资源付费。今天,计算资源在人们的H常生活中逐渐变得不可或缺,于是如何以更好地方式给公众提供计算资源受到很多研究人员和实践者的关注。
随着多核处理器、虚拟化、分布式存储、宽带互联网和自动化管理等技术的发展,产生了一种新
关键词:云计算虚拟化动态可重构
分布式处理
自动化部
型的计算模式——云计算,它能够按需部署计算
资源,用户只需要为所使用的资源付费。从本质上来讲,云计算是指用户终端通过远程连接,获取存
CloudComputing:Concept,Status
andKeyTechnologies
SIPin--chao
DONGChao--qun
储、计算、数据库等计算资源。云计算在资源分布上包括“云”和“云终端”。“云”是列互联网或大型服务器集群的一种比喻,由分布的互联网基础设施(网络设备、服务器、存储设备、安全设备等)等构成,几乎所有的数据和应用软件,都可存储在“云”里,“云终端”,例如PC、手机、车载电子设备等,只需要拥有一个功能完备的浏览器,并安装一个简单的操作系统,通过网络接入“云”,就可以轻松地使用云中的计算资源。
本文旨在探讨云计算的概念、现状及其关键技术,组织如下:第一节讨论云计算的产生、定义及其特点;第二节研究云计算的发展现状,分析比较几个典型的云计算平台;第三节探讨云计算的体系结构和部分关键技术。
WU
Li
ZHANGChao—rong
(JiangnanInstitutcofComputingTcchnology,Wuxi
~一~一一一一~~一~一一一一言。一一一~一一一
一~一一~一~一
一一一一一
2云计算概念
2.1
云计算的产生背景
21世纪初期,崛起的Web2.0让网络迎来了新
的发展高峰。网站或者业务系统所需要处理的业务量快速增长,例如视频在线或者照片共享,这样的网站需要为用户储存和处理大量的数据。这类系统所面临的重要问题是如何在用户数量快速增长的情况下快速扩展原有系统,随着移动终端的智能化、移动宽带网络的普及,将有越来越多的移动设
云计算:概念,现状及关键技术
备进入互联网,意味着与移动终端相关的IT系统会承受更多的负载,而列于提供数据服务的企业来讲,IT系统需要处理更多的业务量。由于资源的有限性,电II,J成本、空间成本、各种设施的维护成本快速上升,直接导致数据中心的成本上升,这就面临着怎样有效地利用这些资源,以及如何利用更少的资源解决更多的问题,
同时,随着高速网络连接的衍生,芯片和磁盘驱动器产品在功能增强的同时,价格也在变得甘益低廉,拥有成百上千台计算机的数掂中心也具备了快速为大量用户处理复杂问题的能力…。技术上,分布式计算的日益成熟和应用,特别是网格计算的发展通过Internet把分散在各处的硬件、软件、信息资源连接成为一个巨大的整体,从而使得人们能够利用地理上分散于各处的资源,完成大规模的、复杂的计算和数据处理的任务oJ。数据存储的快速
增长产生了以GFS(Google(Storage
Area
File
组成。这些虚拟计算机是基于服务级别协议(供应者和消费者之问协商确定)被动态部署的,并且作为一个或多个统一的计算资源而存在。
云计算可以按照用户对资源和计算能/J的需求动态部署虚拟资源,而不受物理资源的限制。:用户所有基于云的计算和应用1作在虚拟化的资源上,不需要关心这些资源部署在哪些物理资源上,用户可以方便地变更对计算资源的需求。2.3云计算的特点
从现有的云计算半台来看,它与传统的单机和网络应用模式相比,具有如下特点:
包括资源虚拟化和应用虚拟化。每一个应用部署的环境和物理平台是没有关系的。通过虚拟半台进行管理达到对应用进行扩展、迁移、备份,操作均通过虚拟化层次完成。
2)动态可扩展:通过动态扩展虚拟化的层次
System)、SAN
Network)为代表的高性能存储技
术。服务器整合需求的不断升温推动了Xen等虚拟化技术的进步还有Web20的m现,SaaS
(Software
as
a
达到对应用进行扩展的目的。:可以实时将服务器加入到现有的服务器机群中,增加“云”的计算能力。
3)按需部署:用户运行不同的应用需要不同的资源和计算能力。云计算平台可以按照用户的需求部署资源和计算能力,
4)高灵活性:现在大部分的软件和硬件都对虚拟化有一定支持,各种IT资源,例如,软件、硬件、操作系统、存储网络等所有要素通过虚拟化,放在云计算虚拟资源池中进行统一管理。同时,能够兼容不同硬件厂商的产品,兼容低配置机器和外设而获得高性能计算”1
5)高可靠性:虚拟化技术使得用户的应用和计算分布在不同的物理服务器上面,即使单点服务器崩溃,仍然可以通过动态扩展功能部署新的服务器作为资源和计算能力添加进来,保证应用和计算的正常运转。
6)高性价比:云计算采用虚拟资源池的方法管理所有资源,对物理资源的要求较低。可以使用廉价的PC组成云,而计算性能却可超过大型主机。
Service)观念方兴未艾,多核技术
的普及等,所有这些技术为产生更强大的计算能力和服务提供了可能。
计算能力和资源利用效率的迫切需求,资源的集中化和技术的进步,推动云计算应运而生。
2
2云计算的定义
为了更好地理解云计算,先让我们举个生活中
的例子、这就好比是从古老的单台发电机模式转向了电厂集中供电的模式。它意味着计算能力也可以作为一种商品进行流通,就像煤气、水电一样,取用方便,费用低廉,最大的不同在于,它是通过互联网进行传输的口】。让用户通过高速互联网租用计算资源,而不冉需要自己进行大量的软硬件投资。
许多计算技术研究人员和实践者已经尝试着以各种各样的方式定义云计算…。
基于云计算的发展和我们对云计算的理解,我们给出如下定义:
云计算是一种新兴的共享基础架构的方法。它统一管理大量的物理资源,并将这些资源虚拟化,
3云计算现状
3.1
形成一个巨大的虚拟化资源池。云是一类并行和分布式的系统,这些系统|_{}1一系列互联的虚拟计算机
发展中的云计算服务
目前,已经涌现的云计算服务形态包括从技
云计算:概念,现状及关键技术
术、半台供应商到软件服务提供商,从成熟的应用程序到存储服务再到垃圾邮件过滤等,不一而足。根据不同服务的特性可以将云计算分为以下几种
类型:
31
操作面板和AWS(Amazon’sWebServices)前端托管服务。
3.2几个典型的云计算平台
Morgan
1云计算基础架构
这类云计算提供底层的技术平台以及核心的
Stanley[71的研究表明云计算已经成为
突m的技术趋势之一。:随着计算技术行业不断出现的为个人和企业提供随时随地按需l方问的PaaS和SaaS,可利用的云计算平台将不断增加,很多研究单位和1:业组织已经开始研究开发云计算的相关技术和基础架构。本节我们将比较几个典型的云计算半台,如表l,并列部分云计算半台进行探讨
亚马逊(Amazontom)的云计算称之为亚马逊网络服务(AWS),它主要由四块核心服务组成:
SimpleStorage
云服务,是最为全面的云计算服务。Amazon
COIn、
Google等推出的云计算服务可以归于这类。这种云计算服务形态将支撑起整个互联网的虚拟中心,使其能够将内存、I/O设备、存储和计算能/,J集中起来成为一个虚拟的资源池为整个网络提供服务。
31
2云计算半台服务
这种形式的云计算也被称为半台即服务PaaS
Service(简单存储服务s3)、Elastic
Compute
Cloud(弹性计算云EC2)、SimpleQueuing
(Platfbrm
asa
Service),它将开发环境作为服务来
Services(简单排列服务)以及SimpleDB(简单数据库)”1。换句话说,目前亚马逊所提供的是可以通过网络访问的存储,计算机处理,信息排队和数据库管理系统接入式服务。无论是个人还是大型企业,只要是使用AWS的研发人员都可以在亚马逊的基础架构上进行应用软件的研发和交付,而无需
实现配置软件和服务器。
提供。:这种形式的云计算可以使用供应商的基础架构来开发自己的程序,然后通过网络从供应商的服务器上传递给用户【6】。典型的实例比如
Salesforce
com的Forcetom开发半台。
31
3云计算软件服务
这种类型的云计算称之为软件即服务SaaS,
Google比一般网站更甲遭遇分布才能存储的数据。凼此Google开发了特有的GFS(分布式文件系统)、MapReduce(分布式计算模型)和BigTable(分布式存储系统),这正是Google“云”的基础架构。Google“云”是m几l‘万甚至大约100万台廉价
的服务器所组成的网络。Google的Google
App
它通过浏览器把程序传给用户。.从用户的角度,这样会省去在服务器和软件授干义上的开支;从供应商的角度看,这样只需要维持一个程序就够了,减少
了维护成本。Salesforcecom是迄今为止这类服务
最为m名的公一J。SaaS在CRM、ERP中比较常用,
Google
Apps和ZohoOffice也提供类似的服务”】。
Engine”1允许用户运行使用Pythontn言编写的席用程序。同时,GoogleAppEngine支持多种API,并为用户提供基于Web的管理控制台,方便用户管理他们的Web应用程序,
Microsoft
Live
3
1.4云计算API
这类服务供应商提供API(Application
Programming
Interface)让开发者能够开发更多基
Mesh【I”1目的在于为用户提供应
于互联网的应用,帮助开发商拓展功能和服务,而不是只提供成熟的应用软件他们的服务范围从提供分散的商业服务到GoogleMaps等的全套API服务。这与软件即服务有着密切的关系。
31
用和数据的网络存储,用户可以随时随地使用终端设备通过网络访问。这需要用户使用基于Web的
Live
Desktop或者在自己的设备上安装LiveMesh
软件。LiveMesh中所有数据的传输通过SSL
(SecureSocketLayers)保护。
5云计算互动半台
该类云计算为用户和提供商之问的互动提供
IBM的“蓝云(BlueCloud)”基于Almaden研
究中心的云基础架构,包括虚拟化Linux服务器、并行一作负载安排(Hadoop)和Tivoli管理软件。
“蓝云”由IBMTivoli软件支持,通过管理服务器来
了一个半台。例如,RightScale利用Amazon
EC2
网络计算服务和s3网络存储服务的API提供一个
基于CPUFPGA混合架构的硬件线程』Ju速方法
表1典型云计算平台比较
Mlerosoft
Llve
~、、、~、一CloudProperty~、~~、
Focus
Amazon
ElasticCompute
GoogleAppEngine
Platmrm
C10ud(EC2)InfrastrucmreComDu【e
Mesh
(SunGrld)Infrastrucmre
Comm】te
SunNetworkcom
inIrastructure
ServiceType
Slorage(AmazonS3)OS
Level
WebApplication
Application
Storage
Vlrtual】za【ion
FUnning
onaXen
OSlevel
Jobmanagementsystem(Sun
GridEngineJ
hypervisor
User
Access
Anlazon
EC2Command-1ine
Tools
Web—based
Admlnlstrat】on
Cons01e
Web-basedLiveDesktop
any
and
Job
interface
deviceswithLiveMesh
lnstalledUnknown
No
submissionscripts,SunGrid
Webportal
Yes
WebA
PIsYesYes
Valtle—added
Yes
N0
Yes
ServlceProv】ders
ProgramnlingFFaillework
Cus【oiillzableLmux—based
Amazon
SolarisOS
Python
Not
JavaCC++
MachineImage
applicable
FoRTRAN
确保基于需求的最佳性能。这包括能够跨越多服务器实时分配资源的软件,为客户带来一种无缝体验,加速性能并确保在最苛刻环境下的稳定性。
此外,Sun公一J推出“黑盒子”计划,还有Salesforce、Oracle、EMC等公一J加入进来。但是每种半台都有其优点和局限性。目前,云计算还没有一个统一的标准,虽然一些半台已经为很多用户所使用,但是云计算在私有权、数据安全、T业标准、厂商锁定和高性能应用软件方面也面临着各种问题,这些问题的解决需要技术的进一步发展。
能应付增长或服务级要求的快速变化。
云计算平台的体系结构如图1,是一个云服务器的互连网络图…1、
4云计算关键技术
按需部署是云计算的核心。要解决好按需部署,必须解决好资源的动态可重构、监控和自动化部署等、而这些又需要以虚拟化技术、高性能存储技术、处理器技术、高速互联网技术为基础。所以云计算除了需要仔细研究其体系结构外,还要特别注意研究资源的动态可重构、自动化部署、资源监控、虚拟化技术、高性能存储技术、处理器技术等、本节将探讨云计算的体系结构和部分关键技术。4.1体系结构
为了有效支持云计算,半台的体系结构必须支持几个关键特征。首先,这些系统必须是自治的,也就是说,它们需要内嵌有自动化技术,减轻或消除人1’部署和管理任务,而允许平台自己智能地响应应用的要求其次,云计算架构必须是敏捷的,能够对需求信号或变化的一作负载做出迅疾的反应。换句话说,内嵌的虚拟化技术和集群化技术,
34
图l云计算平台的体系结构
・用户界面:“云”用户请求服务的交互界面、・服务目录:用户可选择的服务列表。・管理系统:用来管理可用计算资源和服务・部署T具:自治的,根据用户请求智能地部署资源和应用,动态地部署、配置和回收资源。
・监控:监控云系统资源的使用情况,以便做出迅疾的反应。
・服务器集群:虚拟的或者物理的服务器,由管理系统管理。
4.2自动化部署
自动化部署,是指通过自动安装和部署,将计算资源从原始状态变为可用状态。在云计算中体现为将虚拟资源池中的资源进行划分、安装和部署成可以为用户提供各种服务和应用的过程。这里的资源包括硬件资源(服务器)、软件资源(用户需要的软件和配置),还有网络资源和存储资源。
三竺翌!坚垒:型坚墨苎堡些尘
系统资源的部署需要多个步骤,自动化部署通过凋用脚本,实现不同厂商设备管理T具的自动配置、应用软件的部署和配置,确保这些调用过程可以以静默的方式实现,免除了大量的人机交互,使得部署过程不再依赖于现场人J’操作。整个部署过程基于T作流来实现,如图2所示、
其中,r作流引擎和数据模型是我们在自动化部署管理r具中涉及的功能模块,通过将具体的软硬件甚至逻辑概念定义在数据模型中,管理T具可以标识并在1:作流中调度这些资源,实现分类管理。J:作流引擎是调用和触发r作流,实现部署自动化的核心机制,自动将不同种类的脚本流程整合在一个集中、可重复使用的r作流数据库中。这些r作流可以自动完成原来需要手T完成的服务器、操作系统、中问件、应用程序、存储器和网络设备的供廊和配置任务。
4.4虚拟化技术
除和资源的均衡提供信息。
IT资源整合的不断升温,推动了虚拟化技术的进步。在计算的世界中,虚拟化是对物理资源进行抽象的一种机制。.它提供一种逻辑的方式,以便查看物理资源、以及资源的组织独立性、实现或者地理位置等。虚拟化技术在云计算中尤为重要。
虚拟化技术与多任务以及超线程技术是完全不同的。:多任务是指在一个操作系统中多个程序同时并行运行,而在虚拟化技术中,则可以同时运行多个操作系统,而且每一个操作系统中都有多个程序运行,每一个操作系统都运行在一个虚拟的CPU或者是虚拟主机上;而超线程技术只是单CPU模拟双CPU来平衡程序运行性能,这两个模拟m来的CPU是不能分离的,只能协同1作mI。
虚拟化主要有以下三种主流技术:完全虚拟化、准虚拟化和操作系统虚拟化。
完全虚拟化,又叫硬件虚拟化,是在虚拟服务器和底层硬件之间建立一个抽象层,是处理器密集型技术。主要产品有VMware和Microsoft的
Virtual
资源池和文件库
iJJJJJ|—’—≮磊赫一一
T作流引擎(WorkflowEngine)
自动化部署方案
罔2自动化部署打案架构
4
PC。这种技术的设计目标是在单台服务器
上实现多种不同操作系统,其特征是对硬件资源进行虚拟化,使之成为可管理的、独立的“虚拟机”。完全虚拟化几乎可以使任何一款操作系统不用改动就可以以虚拟机的形式运行,且不知道自已运行在虚拟化环境下。这种技术的缺点是虚拟化给处理器带来较大的开销。
“云”通常具有大量服务器,并且资源是动态变化的,需要文时、准确、动态的资源信息。资源监控可以为“云”对资源的动态部署提供依据,并有效地监控资源的使用情况和负载情况、
资源监控是实现“云”资源管理的一个重要环节。它可提供对系统资源的实时监控,并为其它子系统提供系统性能信息,以便更好地完成系统资源的分配、
云计算通过一个监视服务器监控和管理计算资源池中的所有资源通过在云中的各个服务器上部署Agent代理程序,配置并监视各资源服务器,并定期将资源使用信息数据传送至数掂仓库。监视服务器列数据仓库中的“云”资源使用数据进行分析,跟踪资源的可用性和性能,并为问题故障的排
准虚拟化,也叫并行虚拟化,和完全虚拟化是类似的,凶为在概念上它支持在一台服务器上实现多种操作系统,目前开源项目Xen实现了这种技术,XenSource将会发布对应的商业化产品..与完全虚拟化相比,准虚拟化需要对操作系统进行修改,以降低额外损耗,从而提供比硬件虚拟化技术更高的效率。
操作系统虚拟化是虚拟化技术的第三种实现方式,SWsoft的Virutozzo和Sun的SolarisContainer是这种技术的两种实现。操作系统虚拟化的概念是基于共用操作系统,由于不包含额外的虚拟化处理层,所以它提供了一个更瘦的架构体系。这项技术是在操作系统层面增添虚拟服务器功能,主要限制在于它不支持在一台物理服务器实现
3资源监控
n.lmths
云计算:概念,现状及关键技术
多种操作系统、SolarisContainer显然只支持Solaris,而Virtuozzo同时支持Linux和WindowsSWsofi的Linux版Virtuozzo服务器支持在虚拟服务器上实现同版本内核的不同Linux发行版。
虚拟化技术是一套解决方案,需要CPU、主板芯片组、BIOS和软件的支持。虚拟化“接管”了应用程序栈与基本硬件之问的关联,使得虚拟服务器能够像一个文件那样被拷贝、备份、复制和动态迁移,减少了系统关机时间、故障和成本问题,提高了系统的可用性。4.5高性能存储技术
存储技术经历了从磁带、磁盘、RAID到存储网络系统的发展历程海量数据需求在各个应用场合不断增加,推动了高性能存储技术的卅现和发展,并产生了一些典型的存储技术,如GFS和SAN,并在云计算上得到充分的利用。
GFS是Google云计算的一个重要组成部分,是Google为了满足迅速增长的数据处理要求而设计实现的一个集群文件系统、整个集群系统由一台Master(通常有几台备份)和若干台Trunk
Server
用方式,使得用户从以桌面为核心转向以Web为核心。在本文中,我们已经讨论了云计算的现有服务,对比分析了现有的云计算平台、随着云计算的发展,将会有更多的平台和服务类型不断涌现。
云计算不仅仅是一个计算问题,它需要融合许多技术和成果。本文探讨了云计算的部分关键技术,还有更多的技术需要继续研究。在Google与IBM的支持下,美国的多所大学参与到云计算的研究及教学中,包括卡内基梅隆大学、麻省理1’学院、斯坦福大学、加州大学伯克利分校、马克兰大学和华盛顿大学等。国内也有学校加入到这个研究计划中。
我们相信,随着越来越多的参与者加入到云计算的研究与发展中,云计算会出现一些新的结构模式、开发平台和应用软件,推动云计算及其应用1:t益走向成熟。
参考文献
[1]李响云计算风云乍起计算机世界报[J]2008,14:
12一13
[2]
构成,GFS中文件备份成同定大小的Trunk分别存储在不同的TrunkServer上,每个Trunk有多侈M比如3份)拷贝,也存储在不同的TrunkServer上Master负责维护GFS中的Metadata,即文件名及其Trunk信息。客户端先从Master上得到文件的Metadata,根据要读取的数据在文件中的位置,进而与相应的TrunkServer通信,获取文件数据。
SAN系统也是云计算平台的另外一种存储体系结构选择,住云半台上也有一定的体现,例如,在IBM“蓝云”半台中使用了SAN存储体系。
云计算半台中的存储体系结构对于云计算来说也是非常重要的,无论是操作系统,服务程序还是用户应用程序以及数据都保存在存储体系中。云计算并不排斥任何一种有用的存储体系结构,而是需要跟应用需求结合起来以获得最佳的存储性能。
[9][8][6][5][3]
[J],2002.28(3)㈨1
news
肖连兵,黄林鹏网格计箅综述计算机丁程
3
网卜有朵开放的“云”深入了解“云计算”http:H
ceidnelcorn/art/1032/20080615/1474549
ExpertsDefineCloudComputing
syseon
lhtml
[4]Twenty
http:∥clourI㈣p“tl“g
corn/read/612375
sina
Phtm
eOlll
云计算CloudComputing简介htlp:Hteeh
s/s/2008—04一07/0810212133lshtml
rn/
“云”到底是什么云计算类型细分
http://arlielepchomenet/eontent一600603htlnl
[7]
Moran
WWW
Stanley
Technology
Trends
hnp://
lnorganstanleycom/institutional/teehreseareh/pdfs/
TeehTrends062008pdf
基础架构与服务八大厂商云计算特色盘点
http://eio
eew
eonl
cn/researeh/info/htna2008/20080702——
456—833aspGoogleAppEngine
LiveMesh
aspx
http://eodegooglecom/appengJnehttps://wwwmesh
[10]Microsoft
eom/Weleolne/
5结束语
目前,云计算还处于起步阶段,毫无疑问云计算前景光明。它可能彻底改变用户对计算资源的使
Welconle
[11]Cloud
Computinghnp://enwikipediaorg,7wiki/
Cloud——computing
[12]虚拟化技术:一套完整的系统解决方案http://
stor
rh】nailnlx
P
t/slo“v/2008/08/24/2529R4
云计算:概念,现状及关键技术
作者:作者单位:
司品超, 董超群, 吴利, 张超容江南计算技术研究所 无锡 214083
本文链接:http://d.g.wanfangdata.com.cn/Conference_6879060.aspx
授权使用:华南理工大学(hnlgdx),授权号:4e435759-51fc-4397-a4ee-9e1f0130888f
下载时间:2010年10月30日
2008年伞围高性能计算学术年会
云计算:概念,现状及关键技术
司品超董超群吴利
张超容
(江南计算技术研究所无锡214083)
摘要:随着多核处理器、虚拟化、分布式存储、宽带互联网、自动化管理等技术的发展,云计算的概念变得越来越流行。本文首先阐述了云计算的产生背景、相关概念和云计算的特点,然后对云计算的现状和几个典型的云计算平台进行了分析,对云计算的体系结构和一些关键技术进行了探讨。最后给出了结论。
电,并只需要对它们所使用的资源付费。今天,计算资源在人们的H常生活中逐渐变得不可或缺,于是如何以更好地方式给公众提供计算资源受到很多研究人员和实践者的关注。
随着多核处理器、虚拟化、分布式存储、宽带互联网和自动化管理等技术的发展,产生了一种新
关键词:云计算虚拟化动态可重构
分布式处理
自动化部
型的计算模式——云计算,它能够按需部署计算
资源,用户只需要为所使用的资源付费。从本质上来讲,云计算是指用户终端通过远程连接,获取存
CloudComputing:Concept,Status
andKeyTechnologies
SIPin--chao
DONGChao--qun
储、计算、数据库等计算资源。云计算在资源分布上包括“云”和“云终端”。“云”是列互联网或大型服务器集群的一种比喻,由分布的互联网基础设施(网络设备、服务器、存储设备、安全设备等)等构成,几乎所有的数据和应用软件,都可存储在“云”里,“云终端”,例如PC、手机、车载电子设备等,只需要拥有一个功能完备的浏览器,并安装一个简单的操作系统,通过网络接入“云”,就可以轻松地使用云中的计算资源。
本文旨在探讨云计算的概念、现状及其关键技术,组织如下:第一节讨论云计算的产生、定义及其特点;第二节研究云计算的发展现状,分析比较几个典型的云计算平台;第三节探讨云计算的体系结构和部分关键技术。
WU
Li
ZHANGChao—rong
(JiangnanInstitutcofComputingTcchnology,Wuxi
~一~一一一一~~一~一一一一言。一一一~一一一
一~一一~一~一
一一一一一
2云计算概念
2.1
云计算的产生背景
21世纪初期,崛起的Web2.0让网络迎来了新
的发展高峰。网站或者业务系统所需要处理的业务量快速增长,例如视频在线或者照片共享,这样的网站需要为用户储存和处理大量的数据。这类系统所面临的重要问题是如何在用户数量快速增长的情况下快速扩展原有系统,随着移动终端的智能化、移动宽带网络的普及,将有越来越多的移动设
云计算:概念,现状及关键技术
备进入互联网,意味着与移动终端相关的IT系统会承受更多的负载,而列于提供数据服务的企业来讲,IT系统需要处理更多的业务量。由于资源的有限性,电II,J成本、空间成本、各种设施的维护成本快速上升,直接导致数据中心的成本上升,这就面临着怎样有效地利用这些资源,以及如何利用更少的资源解决更多的问题,
同时,随着高速网络连接的衍生,芯片和磁盘驱动器产品在功能增强的同时,价格也在变得甘益低廉,拥有成百上千台计算机的数掂中心也具备了快速为大量用户处理复杂问题的能力…。技术上,分布式计算的日益成熟和应用,特别是网格计算的发展通过Internet把分散在各处的硬件、软件、信息资源连接成为一个巨大的整体,从而使得人们能够利用地理上分散于各处的资源,完成大规模的、复杂的计算和数据处理的任务oJ。数据存储的快速
增长产生了以GFS(Google(Storage
Area
File
组成。这些虚拟计算机是基于服务级别协议(供应者和消费者之问协商确定)被动态部署的,并且作为一个或多个统一的计算资源而存在。
云计算可以按照用户对资源和计算能/J的需求动态部署虚拟资源,而不受物理资源的限制。:用户所有基于云的计算和应用1作在虚拟化的资源上,不需要关心这些资源部署在哪些物理资源上,用户可以方便地变更对计算资源的需求。2.3云计算的特点
从现有的云计算半台来看,它与传统的单机和网络应用模式相比,具有如下特点:
包括资源虚拟化和应用虚拟化。每一个应用部署的环境和物理平台是没有关系的。通过虚拟半台进行管理达到对应用进行扩展、迁移、备份,操作均通过虚拟化层次完成。
2)动态可扩展:通过动态扩展虚拟化的层次
System)、SAN
Network)为代表的高性能存储技
术。服务器整合需求的不断升温推动了Xen等虚拟化技术的进步还有Web20的m现,SaaS
(Software
as
a
达到对应用进行扩展的目的。:可以实时将服务器加入到现有的服务器机群中,增加“云”的计算能力。
3)按需部署:用户运行不同的应用需要不同的资源和计算能力。云计算平台可以按照用户的需求部署资源和计算能力,
4)高灵活性:现在大部分的软件和硬件都对虚拟化有一定支持,各种IT资源,例如,软件、硬件、操作系统、存储网络等所有要素通过虚拟化,放在云计算虚拟资源池中进行统一管理。同时,能够兼容不同硬件厂商的产品,兼容低配置机器和外设而获得高性能计算”1
5)高可靠性:虚拟化技术使得用户的应用和计算分布在不同的物理服务器上面,即使单点服务器崩溃,仍然可以通过动态扩展功能部署新的服务器作为资源和计算能力添加进来,保证应用和计算的正常运转。
6)高性价比:云计算采用虚拟资源池的方法管理所有资源,对物理资源的要求较低。可以使用廉价的PC组成云,而计算性能却可超过大型主机。
Service)观念方兴未艾,多核技术
的普及等,所有这些技术为产生更强大的计算能力和服务提供了可能。
计算能力和资源利用效率的迫切需求,资源的集中化和技术的进步,推动云计算应运而生。
2
2云计算的定义
为了更好地理解云计算,先让我们举个生活中
的例子、这就好比是从古老的单台发电机模式转向了电厂集中供电的模式。它意味着计算能力也可以作为一种商品进行流通,就像煤气、水电一样,取用方便,费用低廉,最大的不同在于,它是通过互联网进行传输的口】。让用户通过高速互联网租用计算资源,而不冉需要自己进行大量的软硬件投资。
许多计算技术研究人员和实践者已经尝试着以各种各样的方式定义云计算…。
基于云计算的发展和我们对云计算的理解,我们给出如下定义:
云计算是一种新兴的共享基础架构的方法。它统一管理大量的物理资源,并将这些资源虚拟化,
3云计算现状
3.1
形成一个巨大的虚拟化资源池。云是一类并行和分布式的系统,这些系统|_{}1一系列互联的虚拟计算机
发展中的云计算服务
目前,已经涌现的云计算服务形态包括从技
云计算:概念,现状及关键技术
术、半台供应商到软件服务提供商,从成熟的应用程序到存储服务再到垃圾邮件过滤等,不一而足。根据不同服务的特性可以将云计算分为以下几种
类型:
31
操作面板和AWS(Amazon’sWebServices)前端托管服务。
3.2几个典型的云计算平台
Morgan
1云计算基础架构
这类云计算提供底层的技术平台以及核心的
Stanley[71的研究表明云计算已经成为
突m的技术趋势之一。:随着计算技术行业不断出现的为个人和企业提供随时随地按需l方问的PaaS和SaaS,可利用的云计算平台将不断增加,很多研究单位和1:业组织已经开始研究开发云计算的相关技术和基础架构。本节我们将比较几个典型的云计算半台,如表l,并列部分云计算半台进行探讨
亚马逊(Amazontom)的云计算称之为亚马逊网络服务(AWS),它主要由四块核心服务组成:
SimpleStorage
云服务,是最为全面的云计算服务。Amazon
COIn、
Google等推出的云计算服务可以归于这类。这种云计算服务形态将支撑起整个互联网的虚拟中心,使其能够将内存、I/O设备、存储和计算能/,J集中起来成为一个虚拟的资源池为整个网络提供服务。
31
2云计算半台服务
这种形式的云计算也被称为半台即服务PaaS
Service(简单存储服务s3)、Elastic
Compute
Cloud(弹性计算云EC2)、SimpleQueuing
(Platfbrm
asa
Service),它将开发环境作为服务来
Services(简单排列服务)以及SimpleDB(简单数据库)”1。换句话说,目前亚马逊所提供的是可以通过网络访问的存储,计算机处理,信息排队和数据库管理系统接入式服务。无论是个人还是大型企业,只要是使用AWS的研发人员都可以在亚马逊的基础架构上进行应用软件的研发和交付,而无需
实现配置软件和服务器。
提供。:这种形式的云计算可以使用供应商的基础架构来开发自己的程序,然后通过网络从供应商的服务器上传递给用户【6】。典型的实例比如
Salesforce
com的Forcetom开发半台。
31
3云计算软件服务
这种类型的云计算称之为软件即服务SaaS,
Google比一般网站更甲遭遇分布才能存储的数据。凼此Google开发了特有的GFS(分布式文件系统)、MapReduce(分布式计算模型)和BigTable(分布式存储系统),这正是Google“云”的基础架构。Google“云”是m几l‘万甚至大约100万台廉价
的服务器所组成的网络。Google的Google
App
它通过浏览器把程序传给用户。.从用户的角度,这样会省去在服务器和软件授干义上的开支;从供应商的角度看,这样只需要维持一个程序就够了,减少
了维护成本。Salesforcecom是迄今为止这类服务
最为m名的公一J。SaaS在CRM、ERP中比较常用,
Google
Apps和ZohoOffice也提供类似的服务”】。
Engine”1允许用户运行使用Pythontn言编写的席用程序。同时,GoogleAppEngine支持多种API,并为用户提供基于Web的管理控制台,方便用户管理他们的Web应用程序,
Microsoft
Live
3
1.4云计算API
这类服务供应商提供API(Application
Programming
Interface)让开发者能够开发更多基
Mesh【I”1目的在于为用户提供应
于互联网的应用,帮助开发商拓展功能和服务,而不是只提供成熟的应用软件他们的服务范围从提供分散的商业服务到GoogleMaps等的全套API服务。这与软件即服务有着密切的关系。
31
用和数据的网络存储,用户可以随时随地使用终端设备通过网络访问。这需要用户使用基于Web的
Live
Desktop或者在自己的设备上安装LiveMesh
软件。LiveMesh中所有数据的传输通过SSL
(SecureSocketLayers)保护。
5云计算互动半台
该类云计算为用户和提供商之问的互动提供
IBM的“蓝云(BlueCloud)”基于Almaden研
究中心的云基础架构,包括虚拟化Linux服务器、并行一作负载安排(Hadoop)和Tivoli管理软件。
“蓝云”由IBMTivoli软件支持,通过管理服务器来
了一个半台。例如,RightScale利用Amazon
EC2
网络计算服务和s3网络存储服务的API提供一个
基于CPUFPGA混合架构的硬件线程』Ju速方法
表1典型云计算平台比较
Mlerosoft
Llve
~、、、~、一CloudProperty~、~~、
Focus
Amazon
ElasticCompute
GoogleAppEngine
Platmrm
C10ud(EC2)InfrastrucmreComDu【e
Mesh
(SunGrld)Infrastrucmre
Comm】te
SunNetworkcom
inIrastructure
ServiceType
Slorage(AmazonS3)OS
Level
WebApplication
Application
Storage
Vlrtual】za【ion
FUnning
onaXen
OSlevel
Jobmanagementsystem(Sun
GridEngineJ
hypervisor
User
Access
Anlazon
EC2Command-1ine
Tools
Web—based
Admlnlstrat】on
Cons01e
Web-basedLiveDesktop
any
and
Job
interface
deviceswithLiveMesh
lnstalledUnknown
No
submissionscripts,SunGrid
Webportal
Yes
WebA
PIsYesYes
Valtle—added
Yes
N0
Yes
ServlceProv】ders
ProgramnlingFFaillework
Cus【oiillzableLmux—based
Amazon
SolarisOS
Python
Not
JavaCC++
MachineImage
applicable
FoRTRAN
确保基于需求的最佳性能。这包括能够跨越多服务器实时分配资源的软件,为客户带来一种无缝体验,加速性能并确保在最苛刻环境下的稳定性。
此外,Sun公一J推出“黑盒子”计划,还有Salesforce、Oracle、EMC等公一J加入进来。但是每种半台都有其优点和局限性。目前,云计算还没有一个统一的标准,虽然一些半台已经为很多用户所使用,但是云计算在私有权、数据安全、T业标准、厂商锁定和高性能应用软件方面也面临着各种问题,这些问题的解决需要技术的进一步发展。
能应付增长或服务级要求的快速变化。
云计算平台的体系结构如图1,是一个云服务器的互连网络图…1、
4云计算关键技术
按需部署是云计算的核心。要解决好按需部署,必须解决好资源的动态可重构、监控和自动化部署等、而这些又需要以虚拟化技术、高性能存储技术、处理器技术、高速互联网技术为基础。所以云计算除了需要仔细研究其体系结构外,还要特别注意研究资源的动态可重构、自动化部署、资源监控、虚拟化技术、高性能存储技术、处理器技术等、本节将探讨云计算的体系结构和部分关键技术。4.1体系结构
为了有效支持云计算,半台的体系结构必须支持几个关键特征。首先,这些系统必须是自治的,也就是说,它们需要内嵌有自动化技术,减轻或消除人1’部署和管理任务,而允许平台自己智能地响应应用的要求其次,云计算架构必须是敏捷的,能够对需求信号或变化的一作负载做出迅疾的反应。换句话说,内嵌的虚拟化技术和集群化技术,
34
图l云计算平台的体系结构
・用户界面:“云”用户请求服务的交互界面、・服务目录:用户可选择的服务列表。・管理系统:用来管理可用计算资源和服务・部署T具:自治的,根据用户请求智能地部署资源和应用,动态地部署、配置和回收资源。
・监控:监控云系统资源的使用情况,以便做出迅疾的反应。
・服务器集群:虚拟的或者物理的服务器,由管理系统管理。
4.2自动化部署
自动化部署,是指通过自动安装和部署,将计算资源从原始状态变为可用状态。在云计算中体现为将虚拟资源池中的资源进行划分、安装和部署成可以为用户提供各种服务和应用的过程。这里的资源包括硬件资源(服务器)、软件资源(用户需要的软件和配置),还有网络资源和存储资源。
三竺翌!坚垒:型坚墨苎堡些尘
系统资源的部署需要多个步骤,自动化部署通过凋用脚本,实现不同厂商设备管理T具的自动配置、应用软件的部署和配置,确保这些调用过程可以以静默的方式实现,免除了大量的人机交互,使得部署过程不再依赖于现场人J’操作。整个部署过程基于T作流来实现,如图2所示、
其中,r作流引擎和数据模型是我们在自动化部署管理r具中涉及的功能模块,通过将具体的软硬件甚至逻辑概念定义在数据模型中,管理T具可以标识并在1:作流中调度这些资源,实现分类管理。J:作流引擎是调用和触发r作流,实现部署自动化的核心机制,自动将不同种类的脚本流程整合在一个集中、可重复使用的r作流数据库中。这些r作流可以自动完成原来需要手T完成的服务器、操作系统、中问件、应用程序、存储器和网络设备的供廊和配置任务。
4.4虚拟化技术
除和资源的均衡提供信息。
IT资源整合的不断升温,推动了虚拟化技术的进步。在计算的世界中,虚拟化是对物理资源进行抽象的一种机制。.它提供一种逻辑的方式,以便查看物理资源、以及资源的组织独立性、实现或者地理位置等。虚拟化技术在云计算中尤为重要。
虚拟化技术与多任务以及超线程技术是完全不同的。:多任务是指在一个操作系统中多个程序同时并行运行,而在虚拟化技术中,则可以同时运行多个操作系统,而且每一个操作系统中都有多个程序运行,每一个操作系统都运行在一个虚拟的CPU或者是虚拟主机上;而超线程技术只是单CPU模拟双CPU来平衡程序运行性能,这两个模拟m来的CPU是不能分离的,只能协同1作mI。
虚拟化主要有以下三种主流技术:完全虚拟化、准虚拟化和操作系统虚拟化。
完全虚拟化,又叫硬件虚拟化,是在虚拟服务器和底层硬件之间建立一个抽象层,是处理器密集型技术。主要产品有VMware和Microsoft的
Virtual
资源池和文件库
iJJJJJ|—’—≮磊赫一一
T作流引擎(WorkflowEngine)
自动化部署方案
罔2自动化部署打案架构
4
PC。这种技术的设计目标是在单台服务器
上实现多种不同操作系统,其特征是对硬件资源进行虚拟化,使之成为可管理的、独立的“虚拟机”。完全虚拟化几乎可以使任何一款操作系统不用改动就可以以虚拟机的形式运行,且不知道自已运行在虚拟化环境下。这种技术的缺点是虚拟化给处理器带来较大的开销。
“云”通常具有大量服务器,并且资源是动态变化的,需要文时、准确、动态的资源信息。资源监控可以为“云”对资源的动态部署提供依据,并有效地监控资源的使用情况和负载情况、
资源监控是实现“云”资源管理的一个重要环节。它可提供对系统资源的实时监控,并为其它子系统提供系统性能信息,以便更好地完成系统资源的分配、
云计算通过一个监视服务器监控和管理计算资源池中的所有资源通过在云中的各个服务器上部署Agent代理程序,配置并监视各资源服务器,并定期将资源使用信息数据传送至数掂仓库。监视服务器列数据仓库中的“云”资源使用数据进行分析,跟踪资源的可用性和性能,并为问题故障的排
准虚拟化,也叫并行虚拟化,和完全虚拟化是类似的,凶为在概念上它支持在一台服务器上实现多种操作系统,目前开源项目Xen实现了这种技术,XenSource将会发布对应的商业化产品..与完全虚拟化相比,准虚拟化需要对操作系统进行修改,以降低额外损耗,从而提供比硬件虚拟化技术更高的效率。
操作系统虚拟化是虚拟化技术的第三种实现方式,SWsoft的Virutozzo和Sun的SolarisContainer是这种技术的两种实现。操作系统虚拟化的概念是基于共用操作系统,由于不包含额外的虚拟化处理层,所以它提供了一个更瘦的架构体系。这项技术是在操作系统层面增添虚拟服务器功能,主要限制在于它不支持在一台物理服务器实现
3资源监控
n.lmths
云计算:概念,现状及关键技术
多种操作系统、SolarisContainer显然只支持Solaris,而Virtuozzo同时支持Linux和WindowsSWsofi的Linux版Virtuozzo服务器支持在虚拟服务器上实现同版本内核的不同Linux发行版。
虚拟化技术是一套解决方案,需要CPU、主板芯片组、BIOS和软件的支持。虚拟化“接管”了应用程序栈与基本硬件之问的关联,使得虚拟服务器能够像一个文件那样被拷贝、备份、复制和动态迁移,减少了系统关机时间、故障和成本问题,提高了系统的可用性。4.5高性能存储技术
存储技术经历了从磁带、磁盘、RAID到存储网络系统的发展历程海量数据需求在各个应用场合不断增加,推动了高性能存储技术的卅现和发展,并产生了一些典型的存储技术,如GFS和SAN,并在云计算上得到充分的利用。
GFS是Google云计算的一个重要组成部分,是Google为了满足迅速增长的数据处理要求而设计实现的一个集群文件系统、整个集群系统由一台Master(通常有几台备份)和若干台Trunk
Server
用方式,使得用户从以桌面为核心转向以Web为核心。在本文中,我们已经讨论了云计算的现有服务,对比分析了现有的云计算平台、随着云计算的发展,将会有更多的平台和服务类型不断涌现。
云计算不仅仅是一个计算问题,它需要融合许多技术和成果。本文探讨了云计算的部分关键技术,还有更多的技术需要继续研究。在Google与IBM的支持下,美国的多所大学参与到云计算的研究及教学中,包括卡内基梅隆大学、麻省理1’学院、斯坦福大学、加州大学伯克利分校、马克兰大学和华盛顿大学等。国内也有学校加入到这个研究计划中。
我们相信,随着越来越多的参与者加入到云计算的研究与发展中,云计算会出现一些新的结构模式、开发平台和应用软件,推动云计算及其应用1:t益走向成熟。
参考文献
[1]李响云计算风云乍起计算机世界报[J]2008,14:
12一13
[2]
构成,GFS中文件备份成同定大小的Trunk分别存储在不同的TrunkServer上,每个Trunk有多侈M比如3份)拷贝,也存储在不同的TrunkServer上Master负责维护GFS中的Metadata,即文件名及其Trunk信息。客户端先从Master上得到文件的Metadata,根据要读取的数据在文件中的位置,进而与相应的TrunkServer通信,获取文件数据。
SAN系统也是云计算平台的另外一种存储体系结构选择,住云半台上也有一定的体现,例如,在IBM“蓝云”半台中使用了SAN存储体系。
云计算半台中的存储体系结构对于云计算来说也是非常重要的,无论是操作系统,服务程序还是用户应用程序以及数据都保存在存储体系中。云计算并不排斥任何一种有用的存储体系结构,而是需要跟应用需求结合起来以获得最佳的存储性能。
[9][8][6][5][3]
[J],2002.28(3)㈨1
news
肖连兵,黄林鹏网格计箅综述计算机丁程
3
网卜有朵开放的“云”深入了解“云计算”http:H
ceidnelcorn/art/1032/20080615/1474549
ExpertsDefineCloudComputing
syseon
lhtml
[4]Twenty
http:∥clourI㈣p“tl“g
corn/read/612375
sina
Phtm
eOlll
云计算CloudComputing简介htlp:Hteeh
s/s/2008—04一07/0810212133lshtml
rn/
“云”到底是什么云计算类型细分
http://arlielepchomenet/eontent一600603htlnl
[7]
Moran
WWW
Stanley
Technology
Trends
hnp://
lnorganstanleycom/institutional/teehreseareh/pdfs/
TeehTrends062008pdf
基础架构与服务八大厂商云计算特色盘点
http://eio
eew
eonl
cn/researeh/info/htna2008/20080702——
456—833aspGoogleAppEngine
LiveMesh
aspx
http://eodegooglecom/appengJnehttps://wwwmesh
[10]Microsoft
eom/Weleolne/
5结束语
目前,云计算还处于起步阶段,毫无疑问云计算前景光明。它可能彻底改变用户对计算资源的使
Welconle
[11]Cloud
Computinghnp://enwikipediaorg,7wiki/
Cloud——computing
[12]虚拟化技术:一套完整的系统解决方案http://
stor
rh】nailnlx
P
t/slo“v/2008/08/24/2529R4
云计算:概念,现状及关键技术
作者:作者单位:
司品超, 董超群, 吴利, 张超容江南计算技术研究所 无锡 214083
本文链接:http://d.g.wanfangdata.com.cn/Conference_6879060.aspx
授权使用:华南理工大学(hnlgdx),授权号:4e435759-51fc-4397-a4ee-9e1f0130888f
下载时间:2010年10月30日