一、引言

随着信息存储量的爆炸式增长和数据重要性的日益凸显，网络存储正在逐步取代传统直连式存储(DAS，directaim.chedstorage)，它具有以下优点：

(1)提高存储资源利用率，研究表明直连存储中的存储设备利用率仅为40%，而网络存储中则高达90%;

(2)降低存储系统的总体拥有成本(TCO，totalcostofowner)，存储管理成本中最主要的是人力成本，网络存储可以有效降低大规模存储中的人力成本的开销。

据统计，直连存储的TCO约为0.84$MB，而网络存储则仅为0.35~0.38$MB。

存储虚拟化是网络存储系统中普遍采用的一种数据管理技术，它通过一定手段实现对存储资源的集中式管理，屏蔽了组成物理存储介质的异构性并为使用者提供大容量、高性能和多功能的存储系统。网络存储虚拟化可以分为带内和带外两类，如图1所示，在带内虚拟化网络存储系统中。所有数据通路都经由唯一IO导向器，它不仅负责存储资源的虚拟化管理同时在数据通路上实现各种数据存储管理语义;在带外虚拟化网络存储系统中，应用服务器和存储设备直接进行数据传输，存储资源的管理由独立于数据传输通路的存储虚拟化服务器提供。相比之下，一方面，带内虚拟化方式不仅存在由IO导向器带来的性能瓶颈和单点故障等问题，同时它不能充分发挥交换式存储网络的承载能力和单个存储设备的IO能力，此外IO导向器的IO转发操作也会相应增加数据传输通路的IO延迟;另一方面，通过对数据传输通路的有效控制，带内虚拟化方式易于实现各种高级数据存储管理语义，如在线数据迁移、数据复制和数据版本(快照)控制等。

目前网络存储从系统结构上主要分为SAN(storageareanetwork)和NAS(networkattachedstorage)两类，其中前者由专用的网络和设备构建，提供块级数据访问接口，而后者基于服务器直连盘阵架构，在传统数据网上提供文件级数据访问接口。本文主要介绍由国家高性能计算机工程技术中心自主研制的网络存储系统?BWVSDS(BlueWhale-virtualstoragedevicesystem)，它是一种基于带外虚拟化技术的SAN系统，目前已实际应用于视频监控、科学研究和企业办公等领域，相比于其它SAN系统，BW-VSDS具有以下特点：

(1)采用两级带外虚拟化数据管理模型以充分发挥单个存储节点的LO能力并释放存储网络的承载能力;

(2)采用分布式数据存储管理协议以实现高级数据存储管理语义;

(3)支持多种块级数据传输协议以适用于不同的应用环境。

2基本原理

BW-VSDS系统由元数据服务器、存储节点和应用服务器三种功能实体组成，如图2所示，元数据服务器采用带外虚拟化方式将分布在多个存储节点中的离散存储资源聚合为一个统一的虚拟存储池，它根据应用的具体需求划分出具有不同属性的虚拟存储卷并授权给相应的应用服务器，后者则通过存储代理以虚拟磁盘的方式直接访问位于存储节点中的存储资源。本小节我们将阐述为实现上述功能BW―VSDS所采用的两项关键技术。2.1两级带外虚拟化数据管理模型

BW-VSDS系统中将存储虚拟化功能划分为存储节点内和存储节点间两级(如图3所示)：

本地虚拟化：存储节点通过RMD或基于磁盘属性的分组池化技术集中管理与其直连的物理存储资源(磁盘或磁盘阵列)，在此基础之上，它以逻辑存储卷为单位对存储资源进行划分，并在节点内提供各种高级数据存储管理功能，如数据读写缓存、数据复制、数据版本控制和数据加密等，其中逻辑存储卷是BW-VSDS系统中最小的可管理单元。

全局虚扭化：元数据服务器集中管理系统中的存储资源，它首先将存储节点中离散的存储资源聚合为一个统一的虚拟存储池，接着根据应用服务器的具体需求为其分配具有丰H应届性(存储空间的大小、数据的可靠性和读写性能等)的虚拟存储卷，其中后者是由分布于不同存储节点中的逻辑存储卷在按照一定的地址映射规则聚合而成，位于应用服务器中的虚拟磁盘驱动，根据相关元数据(对应于图3中的静态路由转发表)完成数据读写的转发。

相比于Magicstore系统中采用的带外虚拟化技术，BW-VSDS系统的特点在于将数据存储的管理和存储资源的管理进一步分离，其中元数据服务器只专注于系统存储资源的管理，而各种高级数据存储语义由每个存储节点在本地提供，这样彻底将元数据服务器从数据传输通路中释放出来，这不仅减轻了前者的负载，提高了系统的可扩展性，同时避免了Magicstore系统在数据读写过程中访问动态元数据而引入的额外网络延迟开销，从而进一步降低了端到端的数据传输延迟，这些相互独立的存储节点之间则通过相应的分布式数据存储管理协议以协作实现对虚拟存储卷的高级数据存储功能。

2.2分布式数据存储管理

如前所述，带内虚拟存储系统中的IO导向器通过重定向应用服务器的读写请求在数据传输通路中实现各种高级数据存储管理语义;而带外虚拟存储系统的特点在于元数据服务器并不直接参与数据的读写，为了实现多个存储节点之问的协同工作需要某种分布式数据管理机制的支持，MagIEStore系统采用一种存储空间的动态影射技术，其基本原理为：为了完成一次i卖写请求，应用服务器需首先向元数据服务器查询完成该读写操作所需的地址影射信息，因此元数据服务器虽然不支直接参与读写转发但实际控制着读写操作的进程，在这类带外虚拟化存储系统中，数据存储管理功能对存储节点是透明的，其优点在于实现简单而代价是增加了每次读写操作的延迟，相反，在BW-VSDS系统中，智能化的存储节点在本地实现对单个组成逻辑存储卷的数据存储管理，而多个独立存储节点在元数据服务器的统一协调下协同工作，从而不仅实现了对复合虚拟存储卷的数据存储管理，同时保证了存储数据的一致性，目前BW-VSDS系统已实现了对虚拟存储卷的在线扩容、数据版本控制和在线数据复制等3种分布式数据存储管理协议，下面我们主要介绍数据版本控制协议的基本工作原理

数据版本控制用以解决虚拟存储卷快照创建时多个组成逻辑存储卷的数据版本一致性问题。

(1)系统管理员为满足麻用或系统在线数据备份等需求，分别从应用服务器或元数据服务器发起虚拟存储卷的快照创建请求;

(2)元数据服务器在接受该请求后向当前在线共享该虚拟卷的所有应用服务器发送快照创建命令;

(3)后者依次执行对前台读写请求的阻塞和本地缓存的同步;

(4)当所有应用服务器都完成(3)步操作后，元数据服务器向相关存储节点发起对组成逻辑存储卷的本地快照创建命令;(5-7)元数服务器在所有存储节点完成快照创建操作后，通知应用服务器快照操作完成，后者随即释放正被阻塞的读写请求，由上可知一次虚拟存储卷的快照创建操作的总用时

3系统实现

如图5所示，BW-VSDS系统软件从结构上可划分为全局虚拟化、本地虚拟化和存储代理三个子系统，他们分别运行于系统中的三种功能实体：元数据服务器、存储节点和应用服务器，本节将依次介绍这三种子系统各自不同的软件组成和系统功能，以及三者之间的通讯机制。

3.1全局虚拟化子系统

该子系统运行于元数据服务器是整个系统的核心枢纽，它一方面将位于后端存储节点中离散存储资源聚合统一管理;另一方面以虚拟存储卷为单位为前端应用服务器分配所需的存储资源，它由全局虚拟化引擎、系统管理接口，Web服务器三个模块构成，其中全局虚拟化引擎实现了系统存储资源管理机制及多种资源管理策略;系统管理接口将用户管理员命令转换为对全局虚拟化引擎的相应操作;Web服务器对外提供功能丰富的系统管理界面以方便管理员在控制台实施远程访问。