超融合一体化平台在余姚农商银行的应用实践
余姚农村商业银行 黄建文 徐杰
摘要：余姚农商银行于2013年在业务网络环境下实践了服务器虚拟化及数据级同城容灾系统，全面为余姚农信核心业务系统提供了安全高效的支撑平台，提升了业务连续性。随着近期企业私有云领域超融合一体化平台技术的发展和成熟，在解决传统虚拟化模式存储架构投资大、故障集中等问题基础上，支持了横向节点无限扩展的升级技术。因此，本行在2016年4月份顺利完成超融合一体化平台测试基础上，5月份顺利实施了办公环境下服务器的超融合一体化平台部署。本文记录了本平台的部署情况，并对传统服务器虚拟化技术和超融合一体化技术进行了分析比较。
关键词：金融科技；超融合；虚拟化；私有云
正文：
余姚农商银行于2013年在业务网络环境下实践了服务器虚拟化及数据级容灾系统，采用传统虚拟化模式。考虑到传统虚拟化模式需要采购价格高昂的EMC 5500磁盘阵列，15K SAS硬盘，整个虚拟化解决方案的成本较高。而且，如果不同步实施数据级容灾系统，虚拟化项目就会存在一个存储设备的单点故障问题。还有，随着业务的发展，数据量的增大，系统的扩展成本也较大，需要购臵同档次EMC 5500磁盘阵列柜。因此，本行科技部门在综合权衡原传统虚拟化技术和超融合一体化技术基础上，通过4月份的反复测试，最终决定在本行办公环境下选用超融合一体化技术解决方案，并于5月份完成了该平台的上线部署实施。
一、超融合一体化平台解决方案介绍
超融合计算存储平台是一种融合型基础设施解决方案，它将服务器和存储层整合于单一的集成设备。这种数据中心构件模块可一次添加一个节点，进行线性和无缝的横向扩展。该解决方案采用的分布式
存储软件技术与谷歌、Facebook 、亚马逊等大规模的云基础设施相同，既保证了集中存储的优势，又能够实现大规模的扩展。如下图所示：
二、超融合一体化平台方案部署情况
本次方案主要采用VMware 软件定义的数据中心软件将服务器的计算资源、内存资源以及本地服务器硬盘进行整合。所有计算存储节点通过博科万兆网络交换机，并在超融合一体化环境中，对所有的数据保存三份完整的数据，实现系统高可用、数据不丢失、设备高整合率。
超融合一体化解决方案主要功能模块包含：VMware vSphere 虚拟化软件、VMware vCenter 虚拟化管理软件、VMware vSAN 分布式存储软件、Veeam 虚拟化备份软件、云科私有云管理软件。计算及存储节点共配臵3个节点，每个节点配臵如下：配臵2*E5-2640V2的CPU ，256G 内存，7*900G的SAS 硬盘，4* 1TB 7200转SATA 硬盘；1*FLASH卡：Memblaze P4 C750 800G。
由于VMware vSphere虚拟化软件及 vCenter虚拟化管理软件和
传统的服务器虚拟化软件相同，所以本文就不进行介绍。下面主要介绍下VMware vSAN分布式存储软件、Veeam 虚拟化备份软件、云科私有云管理软件。
（一）VMware vSAN分布式存储软件
VMware vSAN 分布式存储软件是软件定义的数据中心的基本组件，可对存储资源进行抽象化处理，以支持存储的池化、复制和按需分发。这使存储层与虚拟化计算层非常相似：都具有聚合、灵活、高效和弹性扩展的特点。它们的优势也如出一辙：全面降低了存储基础架构的成本和复杂性。为了确保数据的可用性，VSAN 采用了分布式RAID （将数据的多份副本分布在集群中的不同的计算存储节点上），确保在发生个别磁盘、个别主机或网络时绝不丢数据。管理者可透过图形管理界面，设定允许的故障数目，来决定多少个节点或磁盘失效后，VSAN 仍能维持数据完整。在性能相当的情况下，大幅降低本行虚拟化系统的建设成本 ——通过购买相对廉价的行业标准计算硬件来扩大其存储计算资源。利用固态磁盘和硬盘作为虚拟机的共享存储，可获得高性能、内臵的恢复能力和动态可扩展性。
（二）Veeam 虚拟化备份软件
本次计算存储节点每个节点配臵了4块1TB 的硬盘，主要用于Veeam 备份软件备份的存储介质。Veeam 虚拟化备份软件为超融合一体化平台提供系统及数据的备份容灾，提供对重要系统近CDP 的数据保护能力。Veeam 虚拟化备份软件提供了快速、灵活且可靠地恢复虚拟化应用程序和数据的功能，使超融合一体化设备具备本地数据保护
能力。通过Veeam 管理中心程序，可以实时看到备份系统的告警信息，方便管理员实时查看系统健康状态。
（三）云科私有云管理软件
私有云管理软件为超融合一体化系统提供服务管理，服务自动化，资源和服务保证等功能，私有云管理软件支持多种异构x86物理机，交换机和存储的接入和监控，并且支持以模板方式提供物理设备的批量接入。云管理软件以虚拟机的形式部署。主要包含一下特点：全面兼容Vmware vSphere及vSAN 环境, 支持多张Vmware 虚拟化云平台的接入和管理；支持资源的统一分配。可根据不同组织对计算，存储、络规模、及权限控制策略，上次不同的虚拟资源池并相互隔离；服务自动化部署及资源统一维护和监控。
三、超融合一体化平台方案优势
（一）聚合存储与计算
分布式存储软件不受基础架构限制，可与混合服务器品牌、操作系统（物理和虚拟）以 及存储介质类型（HDD 、SSD 和 PCIe 闪存卡）同时使用。
超融合基础架构将存储和计算资源聚合至单层体系结构中，以聚合容量和性能并简化管理。
（二）线性可扩展
超融合基础架构经设计可大规模扩展，可从三节点扩展至数千节点。与大多数传 统计算和存储系统不同，随着节点数量的增长，吞吐量和IOPS 也会同时增长。随着部署的增长， 性能也呈线性扩展。
一旦有相关需求，即可通过模块化方式添加更多存储和计算资源。由于存储和计算资源同步增长，它们之间可以保持平衡。于是，计算和存储的增长总是与应用程序需求自动保持一致。
（三）具有弹性的存储
使用超融合基础架构，一旦有相关需求，即可增加或减少容量和计算。系统会自动 “动态” 重新平衡数据，且不会造成宕机。添加和删除可以较小增量或较大增量进行。无需因互操作性限制而进行容量规划或复杂的重新配臵，因而可降低复杂性和成本。
（四）数据保护和恢复能力
使用超融合基础架构，不存在单点故障。超融合基础架构通过跨多个存储设备和服务器对随机切片和分布的“数据区块” 进行双拷贝网状镜像提供数据保护和恢复能力。 如果发生服务器宕机或存储宕机，底层会自动重建故障数据块并重新平衡数据以实现群集的自我修复。存储宕机和服务器宕机将可被容忍，并将被自动处理，而无需中断系统的总体运行。 IT管理员可根据系统性能目标和应用程序优先级监视和限制数据重建。
（五）磁盘IO 加速
超融合一体化设备提供智能缓存功能，该可以利用服务器的内存或者服务器本地的闪存设备作为IO 缓存层，来对底层的低速存储介质进行 IO 加速。通过采用该功能，只需配臵少量的闪存设备或者分配部分服务器的内存，即可缩短数据存储介质的延迟并提高吞吐量，从而大幅提升应用程序的性能。
（六）简单的管理和监视
借助 Virtual SAN，可在 vSphere Web Client 这个紧密集成的单一界面轻松管理存储以及计算和网络连接。
四、存在问题和建议
（一）存档文件备份问题
目前本行超融合一体化平台每个应用系统虚拟机的实时运行文件存放三份，分别放在三个节点服务器7*900G的SAS 硬盘存储中。每个应用归档文件备份存放在4* 1TB 7200转SATA 硬盘存储中，但因平台更多考虑数据的安全性，因此目前三个节点服务器4* 1TB 7200转SATA 硬盘存储只能分成三组，分别使用，而不能作为一个整体集中共享使用。
（二）产品国产化问题
本行超融合一体化平台在国产化自主可控技术产品使用上，服务器、万兆光纤交换机等硬件使用了国产化的HP 服务器和博科交换机。而在虚拟化软件选择时，更多考虑前年业务环境虚拟化改造时采用Vmware 虚拟化软件产品，而且该软件这几年使用较为稳定性和后续技术支持维护力度较大，因此没有考虑像华为FusionSphere 等国产化软件。
五、结语
鉴于目前本行办公网环境服务器数量较大，购买时间不一，参数配臵参差不齐、型号紊乱，系统和数据虽然采取了适当的本地硬盘冗余等安全措施，但50%的服务器其使用年限已经超过省联社规定淘汰
年限（5年），存在很大信息安全缺陷，可靠性较低，数据风险较大。为保障系统稳定，安全运行，本行科技部门在2016年5月初顺利完成了办公环境下服务器的超融合一体化平台部署。截止目前，各项系统运行正常。
下一阶段，余姚农商银行科技部门计划将超融合一体化平台应用到开发测试环境下，采用Vmware 虚拟化云平台对开发测试环境进行虚拟化云管理。在规范开发资源集中管理的情况下，为业务系统虚拟化、办公系统虚拟化营造一个虚拟化存档文件备份的可恢复测试环境。
超融合一体化平台在余姚农商银行的应用实践
余姚农村商业银行 黄建文 徐杰
摘要：余姚农商银行于2013年在业务网络环境下实践了服务器虚拟化及数据级同城容灾系统，全面为余姚农信核心业务系统提供了安全高效的支撑平台，提升了业务连续性。随着近期企业私有云领域超融合一体化平台技术的发展和成熟，在解决传统虚拟化模式存储架构投资大、故障集中等问题基础上，支持了横向节点无限扩展的升级技术。因此，本行在2016年4月份顺利完成超融合一体化平台测试基础上，5月份顺利实施了办公环境下服务器的超融合一体化平台部署。本文记录了本平台的部署情况，并对传统服务器虚拟化技术和超融合一体化技术进行了分析比较。
关键词：金融科技；超融合；虚拟化；私有云
正文：
余姚农商银行于2013年在业务网络环境下实践了服务器虚拟化及数据级容灾系统，采用传统虚拟化模式。考虑到传统虚拟化模式需要采购价格高昂的EMC 5500磁盘阵列，15K SAS硬盘，整个虚拟化解决方案的成本较高。而且，如果不同步实施数据级容灾系统，虚拟化项目就会存在一个存储设备的单点故障问题。还有，随着业务的发展，数据量的增大，系统的扩展成本也较大，需要购臵同档次EMC 5500磁盘阵列柜。因此，本行科技部门在综合权衡原传统虚拟化技术和超融合一体化技术基础上，通过4月份的反复测试，最终决定在本行办公环境下选用超融合一体化技术解决方案，并于5月份完成了该平台的上线部署实施。
一、超融合一体化平台解决方案介绍
超融合计算存储平台是一种融合型基础设施解决方案，它将服务器和存储层整合于单一的集成设备。这种数据中心构件模块可一次添加一个节点，进行线性和无缝的横向扩展。该解决方案采用的分布式
存储软件技术与谷歌、Facebook 、亚马逊等大规模的云基础设施相同，既保证了集中存储的优势，又能够实现大规模的扩展。如下图所示：
二、超融合一体化平台方案部署情况
本次方案主要采用VMware 软件定义的数据中心软件将服务器的计算资源、内存资源以及本地服务器硬盘进行整合。所有计算存储节点通过博科万兆网络交换机，并在超融合一体化环境中，对所有的数据保存三份完整的数据，实现系统高可用、数据不丢失、设备高整合率。
超融合一体化解决方案主要功能模块包含：VMware vSphere 虚拟化软件、VMware vCenter 虚拟化管理软件、VMware vSAN 分布式存储软件、Veeam 虚拟化备份软件、云科私有云管理软件。计算及存储节点共配臵3个节点，每个节点配臵如下：配臵2*E5-2640V2的CPU ，256G 内存，7*900G的SAS 硬盘，4* 1TB 7200转SATA 硬盘；1*FLASH卡：Memblaze P4 C750 800G。
由于VMware vSphere虚拟化软件及 vCenter虚拟化管理软件和
传统的服务器虚拟化软件相同，所以本文就不进行介绍。下面主要介绍下VMware vSAN分布式存储软件、Veeam 虚拟化备份软件、云科私有云管理软件。
（一）VMware vSAN分布式存储软件
VMware vSAN 分布式存储软件是软件定义的数据中心的基本组件，可对存储资源进行抽象化处理，以支持存储的池化、复制和按需分发。这使存储层与虚拟化计算层非常相似：都具有聚合、灵活、高效和弹性扩展的特点。它们的优势也如出一辙：全面降低了存储基础架构的成本和复杂性。为了确保数据的可用性，VSAN 采用了分布式RAID （将数据的多份副本分布在集群中的不同的计算存储节点上），确保在发生个别磁盘、个别主机或网络时绝不丢数据。管理者可透过图形管理界面，设定允许的故障数目，来决定多少个节点或磁盘失效后，VSAN 仍能维持数据完整。在性能相当的情况下，大幅降低本行虚拟化系统的建设成本 ——通过购买相对廉价的行业标准计算硬件来扩大其存储计算资源。利用固态磁盘和硬盘作为虚拟机的共享存储，可获得高性能、内臵的恢复能力和动态可扩展性。
（二）Veeam 虚拟化备份软件
本次计算存储节点每个节点配臵了4块1TB 的硬盘，主要用于Veeam 备份软件备份的存储介质。Veeam 虚拟化备份软件为超融合一体化平台提供系统及数据的备份容灾，提供对重要系统近CDP 的数据保护能力。Veeam 虚拟化备份软件提供了快速、灵活且可靠地恢复虚拟化应用程序和数据的功能，使超融合一体化设备具备本地数据保护
能力。通过Veeam 管理中心程序，可以实时看到备份系统的告警信息，方便管理员实时查看系统健康状态。
（三）云科私有云管理软件
私有云管理软件为超融合一体化系统提供服务管理，服务自动化，资源和服务保证等功能，私有云管理软件支持多种异构x86物理机，交换机和存储的接入和监控，并且支持以模板方式提供物理设备的批量接入。云管理软件以虚拟机的形式部署。主要包含一下特点：全面兼容Vmware vSphere及vSAN 环境, 支持多张Vmware 虚拟化云平台的接入和管理；支持资源的统一分配。可根据不同组织对计算，存储、络规模、及权限控制策略，上次不同的虚拟资源池并相互隔离；服务自动化部署及资源统一维护和监控。
三、超融合一体化平台方案优势
（一）聚合存储与计算
分布式存储软件不受基础架构限制，可与混合服务器品牌、操作系统（物理和虚拟）以 及存储介质类型（HDD 、SSD 和 PCIe 闪存卡）同时使用。
超融合基础架构将存储和计算资源聚合至单层体系结构中，以聚合容量和性能并简化管理。
（二）线性可扩展
超融合基础架构经设计可大规模扩展，可从三节点扩展至数千节点。与大多数传 统计算和存储系统不同，随着节点数量的增长，吞吐量和IOPS 也会同时增长。随着部署的增长， 性能也呈线性扩展。
一旦有相关需求，即可通过模块化方式添加更多存储和计算资源。由于存储和计算资源同步增长，它们之间可以保持平衡。于是，计算和存储的增长总是与应用程序需求自动保持一致。
（三）具有弹性的存储
使用超融合基础架构，一旦有相关需求，即可增加或减少容量和计算。系统会自动 “动态” 重新平衡数据，且不会造成宕机。添加和删除可以较小增量或较大增量进行。无需因互操作性限制而进行容量规划或复杂的重新配臵，因而可降低复杂性和成本。
（四）数据保护和恢复能力
使用超融合基础架构，不存在单点故障。超融合基础架构通过跨多个存储设备和服务器对随机切片和分布的“数据区块” 进行双拷贝网状镜像提供数据保护和恢复能力。 如果发生服务器宕机或存储宕机，底层会自动重建故障数据块并重新平衡数据以实现群集的自我修复。存储宕机和服务器宕机将可被容忍，并将被自动处理，而无需中断系统的总体运行。 IT管理员可根据系统性能目标和应用程序优先级监视和限制数据重建。
（五）磁盘IO 加速
超融合一体化设备提供智能缓存功能，该可以利用服务器的内存或者服务器本地的闪存设备作为IO 缓存层，来对底层的低速存储介质进行 IO 加速。通过采用该功能，只需配臵少量的闪存设备或者分配部分服务器的内存，即可缩短数据存储介质的延迟并提高吞吐量，从而大幅提升应用程序的性能。
（六）简单的管理和监视
借助 Virtual SAN，可在 vSphere Web Client 这个紧密集成的单一界面轻松管理存储以及计算和网络连接。
四、存在问题和建议
（一）存档文件备份问题
目前本行超融合一体化平台每个应用系统虚拟机的实时运行文件存放三份，分别放在三个节点服务器7*900G的SAS 硬盘存储中。每个应用归档文件备份存放在4* 1TB 7200转SATA 硬盘存储中，但因平台更多考虑数据的安全性，因此目前三个节点服务器4* 1TB 7200转SATA 硬盘存储只能分成三组，分别使用，而不能作为一个整体集中共享使用。
（二）产品国产化问题
本行超融合一体化平台在国产化自主可控技术产品使用上，服务器、万兆光纤交换机等硬件使用了国产化的HP 服务器和博科交换机。而在虚拟化软件选择时，更多考虑前年业务环境虚拟化改造时采用Vmware 虚拟化软件产品，而且该软件这几年使用较为稳定性和后续技术支持维护力度较大，因此没有考虑像华为FusionSphere 等国产化软件。
五、结语
鉴于目前本行办公网环境服务器数量较大，购买时间不一，参数配臵参差不齐、型号紊乱，系统和数据虽然采取了适当的本地硬盘冗余等安全措施，但50%的服务器其使用年限已经超过省联社规定淘汰
年限（5年），存在很大信息安全缺陷，可靠性较低，数据风险较大。为保障系统稳定，安全运行，本行科技部门在2016年5月初顺利完成了办公环境下服务器的超融合一体化平台部署。截止目前，各项系统运行正常。
下一阶段，余姚农商银行科技部门计划将超融合一体化平台应用到开发测试环境下，采用Vmware 虚拟化云平台对开发测试环境进行虚拟化云管理。在规范开发资源集中管理的情况下，为业务系统虚拟化、办公系统虚拟化营造一个虚拟化存档文件备份的可恢复测试环境。