云动力高性能云存储平台
随着近期互联网、移动手机、物联网及种类繁多的传感器的迅速发展,在全世界范围内产生了海量的数据信息,这些数据的容量不断呈指数及增长。尽管一些大型云模块提供商如亚马逊(Amazon S3)、谷歌(Google)的云存储平台已经在这方面取得了巨大成功,但安全和隐私已成为企业用户最为关切的问题,出于对安全风险的忧虑,如难以克服的隐私、数据保护和供应商锁定等,使得近年来企业的IT部门更关注私有云,采用自建云存储的方案,来提供满足其个性化需求和商业化需求的可用模块。 其次,由于大数据下的分析相比于传统的数据仓库应用,具有数据量大、查询分析复杂等特点,目前市场主流云存储系统的无法充分提供高效的大数据级别的元数据随机读取、搜索及排序。一份AFCOM (data centre trade organisation)的调查显示超过63%的企业的IT主管已经发现严重存储成本的增加。据国际数据资讯公司(International Data Corporation)统计,超过80%的企业在寻找并尝试有效的重复数据删除的解决方案来降低企业运营成本及增加效率。在这迅速增长海量的大数据中含有大量的没必要的重复数据,降低了系统性能并大大增加了成本。 云动力海量高性能云存储平台采用分布式跨域架构,实现存储负载均衡,通过采用不同节点的多分冗余,实现存储服务高可用性、高安全性,同时可提供多元化类型的无限量数据存储。充分满足用户对海量数据存储、下载、交互等各方面的需求。
- 云存储平台重复数据管理功能:通过使用SHA-256对数据的检验值进行区分,若多个对象的松散数据SHA-256校验值相同,则所有这些对象的元数据中的松散数据地址指向全局共享数据空间内的同一个存储路径位置;若用户对于开启重复数据共享功能的容器进行数据删除操作,系统将检查对应松散数据是否还被共享给其他容器,若无共享,那么删除对应数据;若有共享,则仍然保留该数据。
- 云存储平台REST接口(API)实现:用户可以通过本平台提供的REST接口,在任何时间、任何地点、任何互联网设备上进行上传和下载数据。基于该存储平台,用户可以搭建出各种多媒体分享网站、网盘、个人和企业数据备份等基于大规模数据的服务。
- 云存储平台企业私有云安装包:将环境和平台的安装和配置编辑成一套脚本文件,方便企业进行安装。
- 云存储跨平台数据同步客户端:帮助用户在多台设备和不同操作系统平台上自动同步、安全备份和轻松共享文件。
云动力云存储平台特性:
- 高扩展性与高性能:存储需求最近几年呈指数级增长,针对文件内容和文件元数据无缝且快速地伸缩是必要的。传统储存系统通常将文件数据及其元数据存储在同一个文件系统中,并且大多数时候储存在相同的物理设备上。现代一些分布式系统,为了提升扩展性和性能,将元数据分开存储在一个或多个元数据服务器中。然而,其中的大多数系统在高并发访问率的情况下仍然遭遇瓶颈。云动力云存储平台具备PB级文件管理能力,支持上十亿条元数据记录高效存写读取。
- 数据持久性:相对于硬件故障与无法预测的灾难,更为常见的是用户人为的错误,即数据无意地删除或重写。云动力云存储平台具有冗余、版本控制、恢复机制等特性,以确保数据的持久性和可用性。
- 支持多种价格模型:传统软件价格模型是一次付费终身使用。云动力云存储平台具备一套高效的监控框架,记录所有资源的使用状况,包括网络数据传输、I/O请求、存储数据量(文件内容和文件元数据)和用于计算的资源消耗。 本平台支持按需付费、按月租付费等多种方式。
- 安全模型:云动力云存储平台安全模型用于保证存储的文件能够在正确的时间、正确的地点被正确的人访问,并且在保证性能的同时提供适当且准确的安全控制。
应用场景:
不同用户使用云存储服务的目的不同,存储文件的大小和格式也不同。一些用户使用云来存储大的音视频文件,一些用户则使用云来存储大量相对较小的文件。不同的使用目的形成访问存储文件方式的多样性。文件本身的一些自然属性,如大小、格式和访问方式等,也是影响云存储服务质量的主要因素。云动力云存储平台可以灵活运用在多种领域,例如:
- 计算存储:大量科学界和企业界的应用对计算和数据的需求越来越多。数据密集型和IO 密集型的应用,例如生物信息学分析和日志处理,需要TB级的存储数据和频繁的I/O操作。对于这类应用,要想获得全局的性能提升,通常需要云存储系统提供与数据级规模相当的处理能力。云动力云存储平台支持MapReduce框架部署于平台之上,该框架可以通过设置计算任务、处理存储在存储平台上的数据来提供按需服务。
- 小文件存储:许多大型电子商业公司和社交网站存储了大量的小文件,这些文件大多是图像文件,并且数量在持续不断增长。每一秒钟,都会有大量用户请求这些文件。由于小文件的元数据相对于文件本身占用更多空间,因此对小文件的大量并发访问将导致对元数据的不断查询,进而造成过度和冗余的I/O操作。这种情况最容易造成系统瓶颈。云动力存储平台从设计上完全解决小文件存储和读写可能造成的性能问题,支持PB级海量大小文件操作。
- 元数据操作密集型存储:元数据是描述数据文件的数据。通常,元数据包括事件的时间、作者姓名、位置信息和标题等。各种科学实验的相关信息,如温度、湿度等其它一些数据,都可以作为实验文件的元数据,且已经成为文件存储中不可分割的一部分。对于元数据密集型存储的应用,元数据的精确标识和对元数据查询的支持将给存储的原文件带来较大的附加值,并确保分析和计算能够正确高效地进行。但是大多数存储系统不具备对元数据进行高效搜索的能力,特别是对用户定义的元数据。云动力云存储平台提供全面的对对象数据的存储服务的同时,并提供元数据的存储,索引和搜索服务。