我们和业内一些知名公司实践验证的方案：

架构：HDFS + HBASE 比较容易做到P级。对于提供云存储服务的单位，访问上可以考虑前端再做热点缓存（SSD+服务化）。

软件选型：Cloudera CDH4

技术要求：高

另外可以考虑：GlusterFS + Cassandra：技术要求高。

灵活集群： FastDFS直接封装服务可以做到数百T，合理架设优化可以做到P级。文件大小不超过500M（概数）。技术要求较低。

混合集群：多种存储服务整合，上层使用统一服务，上层服务负责路由等工作。技术要求：很高。

更多系统信息，参见我在Qcon的演讲：

http://www.infoq.com/cn/presentations/jingdong-cloud-storage-services-applications-explore

ppt已经上传: http://download.csdn.net/detail/doliu6/6439741（可以做到比较大的中型）