在这里插入图片描述

恭喜Curve :成功申报中国科协开源评选

中国科协首届2021“科创中国”开源创新榜评选正在进行中,全程免费参与,对于申报成功的开源产品/社区/机构,主承办方会组织各种形式的宣传报道。

  • Curve :高性能分布式开源存储平台
  • Curve :成功申报中国科协开源评选
    在这里插入图片描述

开源项目介绍

系统概述

Curve是网易数帆存储团队自主设计研发的高性能、易运维、云原生的分布式存储系统,目前提供**块(CurveBS)和文件(CurveFS)**两种存储方式。CurveBS支持快照克隆和恢复,支持QEMU虚拟机和物理机NBD设备两种挂载方式。CurveFS基于Fuse支持POSIX文件系统接口。

Curve的研发源自业务使用Ceph的痛点,目前解决了Ceph在使用中难以解决的问题:

  • 异常场景(比如:慢盘、数据恢复)抖动大

  • 异常场景(比如:坏盘、宕机)需要人工运维恢复

  • 客户端升级需要停服

  • 在通用硬件下,无法支撑数据库等中间件对存储性能的要求

技术特点

Curve采用了Raft协议,高性能系统框架,更适合SSD的块数据写入等技术,相对Ceph没有底层的对象元数据管理开销以及BlueStore引擎的RocksDB造成的读写放大。在对比测试以及实际检验中,说明Curve相对Ceph具备优势。在使用通用的商用硬件的情况下, Curve能提供更好的性能/易运维/云原生性能。

Curve 系统架构如下图所示。
在这里插入图片描述

应用场景

  1. 数据库应用,Curve用于支持数据库存储,产生基于卷的快照,把快照保存在对象存储上。支持基于快照的数据库备份与恢复
  2. 中间件应用,Curve已经用于Kafka、Spark 等中间件的存储,未来会支持去重以及数据压缩
  3. 大数据和AI应用,为大数据分析和深度计算提供高性能的存储
  4. 文件共享应用,多容器应用/应用可以共同共享访问Curve存储
  5. 数据同步到异地应用,Curve支持把数据同步到异地的Curve存储上去

项目发展

Curve块存储系统半年内目前已经发布了2个大版本,3个小版本的更新,在性能/易用性/故障时对系统I/O的影响相对于Ceph来说具备优势。目前项目在做Curve分布式文件系统的开发。

Curve分布式块存储系统已经在网易环境中使用,广泛应用于虚拟机/容器的块存储/中间件存储/部分MySQL存储。新的1.3的版本功能更完善,性能更优。

业界影响

Curve获得中国信通颁发的OSCAR尖峰开源项目及开源社区,通过中国信通院可信开源项目评估,并成为中国信通院可信开源社区共同体首批成员。

未来规划

未来Curve的蓝图包括:

  • 性能方面:Raft协议优化,增加对在读写I/O场景中Raft并发优化(ParallelRaft);针对文件的新写减少由Raft造成的写放大开销。

  • 提供深度绑定的云原生支持,在云原生中集成数据/性能监控,并能实现云原生的自动故障处理以及恢复控制。

  • 提供高性能分布式文件系统支持。

活动火热进行中,点击链接赶快申报吧:申报链接

在这里插入图片描述

Logo

华为开发者空间,是为全球开发者打造的专属开发空间,汇聚了华为优质开发资源及工具,致力于让每一位开发者拥有一台云主机,基于华为根生态开发、创新。

更多推荐