海量数据处理

 

搜索,电子商务平台,拥有海量用户的UGC平台,其提供的服务涉及的无论数据,还是运营产生的数据都是海量的。

如果通过一个个的水平/垂直切割+分布式服务的构设来处理。有几大不足



  • 构建成本高

            每个应用都要独立重新设计,开发,测试。重用性非常低


  • 运营成本高

            海量应用,运营一直是很重要的。没有统一的方案,质量不一的产品都会导致运营的差别,运营工具的开发量也增大


  • 质量无法保证

            不同的团队技术背景和磨合团队不一样,无法保证质量。

因此,出现了平台化和架构化的海量数据处理方案和应用。

  • 海量存储:GFS,HDFS,MogileFs,FastDFS,MooseFS,TFS(腾讯和淘宝的文件系统都是这个名字),Swift

  • 海量计算:MapReduce, Hama 

  • 协同服务:Chubby,Zookeeper

  • NOSQL:HBase,BigTable,Cassandra,MongoDB,Redis,Memcached

  • 其它相关应用:Chukwa,Scribe,Thrift , Protobuffer

这些应用相对低层,目前主要用来搭建内部系统应用。Taobao,Baidu,Facebook,Google都他们的贡献者和大批量使用。


基于互联网的服务

Amazon是云计算商业化的领跑者,其通过向用户出租自己富余的存储服务器、CPU、带宽(其IDC遍布全美)等资源获取利益。
这些都是基础服务,提供的服务也相应比较轻量的服务。
其它企业也正在进入这个市场,其中除了类似Amazon这种基础服务外(IAAS),还有出现了增加封装的PAAS和SAAS。
应用的边界正在模糊化,基于网络的服务正在增多。

除了这些概念相对清楚的应用,有些企业正在追求更深、个性化、附加价值更高的服务。提出了“商业云”的概念。
比如阿里巴巴,正在构思把其各个平台上的信息,关系链,搜索,信用体系等整合以服务的方式提供出来;甚至更非技术相关的深层的服务,比如互助系统,沟通系统。以 电子商务为基本点,通过提供电子商务相关的深度服务来获利
中国互联网无法避免的腾讯,在云服务领域虽然没有提出明确的概念,但是其完整的应用链跟无比强大的关系链相辅相成,现在又收购了Discuz,估计也是要把QQ关系链,以及应用(游戏,财付通,拍拍)跟社区领域整合起来。这些广度的整合既是业务的需要,也为QQ将来如果开放性的提供它的云服务进行了业务经验 性探索


云安全

通过网络,跟杀毒软件提供商的最新病毒库对接,利用服务器端的最新病毒特征对自己电脑进行扫描和查杀。互联网上出现的最近病毒或木马可以快速被识别,防御和查杀。

云端输入法

使用在线的词库和服务器运算,进行输入。优点,免安装,使用最新词库。

总结

小企业,中企业,甚至大企业对IT服务和业务服务都有广阔的需求。云端的服务或者基于远端服务的应用为他们以最少的成本得到最专业的支持。未来的IT必将变得越来越开放性和流水线化,应用的开发就是使用各种OpenAPI的拼装组合最终运行在云基础平台上。而且各种完整的IT解决方案也会逐步提供,比如以后你搭建一个电子商务网站,最终只要使用alibaba的工具进行配置即刻。

 

Logo

华为开发者空间,是为全球开发者打造的专属开发空间,汇聚了华为优质开发资源及工具,致力于让每一位开发者拥有一台云主机,基于华为根生态开发、创新。

更多推荐