掐指一算,云计算已经有了十年的历史,发展到今天几乎可以算是近十年最伟大的技术进步之一。 「云计算」这个术语,也早已从一个新鲜词汇,成为了妇孺皆知的流行语。

 任何事物的诞生和发展一定有其前提条件和土壤,云计算亦是如此。那么,云计算到底是什么?诞生及蓬勃发展的原因是什么呢?

云计算的发展历史

云计算的历史最远可追溯到 1965 年,Christopher Strachey 发表了一篇论文,论文中正式提出了「虚拟化」的概念。而虚拟化正是云计算基础架构的核心,是云计算发展的基础。

不过由于当时技术的限制,虚拟化始终只是一个概念和对未来的畅想,而云计算就更谈不上了。

在上世纪的 90 年代,计算机出现了爆炸式的增长,以思科为代表的一系列公司也应势蓬勃发展。

在云计算兴起之前,对于大多数企业而言,硬件的自行采购和 IDC 机房租用是主流的 IT 基础设施构建方式。除了服务器本身,机柜、带宽、交换机、网络配置、软件安装、虚拟化等底层诸多事项总体上需要相当专业的人士来负责,作调整时的反应周期也比较长——相信许多研发负责人都有过等待服务器到位的经历。

在这一阶段,让更多的用户方便快捷地使用网络服务成为互联网发展亟待解决的问题,与此同时,一些大型公司也开始致力于开发大型计算能力的技术,为用户提供了更加强大的计算处理服务。

2006 年,这是云计算发展史中的一个重要事件点。

在 2006 年 8 月 9 日,Google首席执行官埃里克·施密特(Eric Schmidt)在搜索引擎大会(SESSanJose2006)首次提出「云计算」(Cloud Computing)的概念。而亚马逊正是那年推出了 IaaS 服务平台 AWS。

但彼时的甲骨文掌门人 Larry Ellison 没少在社交软件上吐槽云:“这种白痴行为什么时候会停止?这不过是一时兴起的时尚潮流,是疯狂的事情。”而四年之后,这位“硅谷最老的花花公子”也不得不宣布向云战略进军了。

事实上,云计算行业的开端较难精准定义。2006 年虽然是首次提出了「云计算」的概念,但直到 2008 年,整个行业才迎来了正式的「万家灯火」,而国内云计算标杆阿里云也是从 2008 年开始筹办和起步的。

但仅仅是两年的时间差,也让率先探索这片蛮荒之地的亚马逊具有天然的优势。其 AWS 毫不费力地把旗帜插上了新大陆 — 2009 年年初,金融危机最严重的时候,美国 Salesforce 公司公布了 2008 财年年度报告,数据显示公司云服务收入超过了 10 亿美元,从这以后开始,云计算才正式成为了计算机领域最令人关注的话题之一,同时也成为了互联网公司的发展研究的重要方向。但亚马逊已经初步形成涵盖IaaS、PaaS的产品体系,确立了在IaaS和云服务领域的全球领导地位。

随后几年间,世界级的供应商都无一例外地参与了云市场的竞争中,出现了IBM、VMWare、微软和AT&T等第二梯队。其中,微软在2010年前后加入,但掌门人鲍尔默(Steve Ballmer)仍显迟钝;谷歌则在2011年宣布转型推出GCP,开始了公有云市场中的同台竞技。

在竞争日益惨烈的 2016―2017 年,微软云服务与企业部执行副总裁 Scott Guthrie和GCP客户总裁Tariq Shaukat先后表示过:“价格战”已成过去,未来的重头戏是“价值战”。

另一方面,鲸吞小型势力以壮大自身也成为丛林生存法则。特别是在经济动荡的2018年里,云领域更是迎来了无数的合纵连横。

其中,IBM以340亿美元的价格拿下了红帽(Redhat),CEO罗睿兰(Ginni Rometty)高调宣称,收购红帽可以打破现在格局,改变云市场的一切;微软以75亿美元的价格买下了GitHub,并将这一开源方面的优势接入微软的IaaS领域;Salesforce则斥资65亿美元收购了云服务公司Mulesoft,拥有超过1200家客户,其中45%是全球500强企业。

对手们不断招兵买马之际,亚马逊虽然在市场份额上仍遥遥领先,但差距的鸿沟已经逐渐缩小。


到底啥是云计算

云计算早期就是简单的分布式计算,解决任务分发,并进行计算结果的合并。因而,云计算又被很多人称为网格计算。

但其实二者还是有一些区别的:

思否科普:网格计算与云计算

网格计算与云计算的关系,就像 OSI 与 TCP/IP 之间的关系。ISO 制定的 OSI 网络标准考虑周到,也异常庞杂,虽有远见,但也过于理想,实现起来难度和代价非常大。TCP/IP 网络标准将 OSI 的 7 层网络协议简化为4层,内容大大精简,迅速取得了成功。因此,可以说 OSI 是 TCP/IP 的基础,TCP/IP 又推动了 OSI,两者相互促进、协同发展。

总的来说,云计算不是一种全新的网络技术,而是一种全新的网络概念。对于云计算,网络上一个形象的比喻,会比较方便大家理解:

概念解析:一日三餐吃货论

饿了要吃饭,在家里自己做饭属于自建私有云,需要建造厨房购买锅碗瓢盆柴米油盐等,吃完饭还需要自己刷锅洗碗等运维工作,费时费力;

外面餐馆提供的就相当于公有云服务,按需胡吃海塞吃完结账抹嘴走人,餐馆后厨如何安排做菜顺序并加快出菜速度就是负载均衡和虚拟化概念;

请厨师到家里上门做饭则属于典型的混合云,在资产安全的情况下有限使用公有云。

现在大家应该知道到底什么是云计算了。

而现阶段所说的云计算,已经不单单是一种分布式计算,而是分布式计算、效用计算、负载均衡、并行计算、网络存储、热备份冗杂和虚拟化等计算机技术混合演进并跃升的结果。从研究现状看,云计算具有以下特点。

1. 超大规模。“云”具有相当的规模。Google云计算已经拥有100多万台服务器,Amazon、IBM、微软和Yahoo等公司的“云”均拥有几十万台服务器。“云”能赋予用户前所未有的计算能力。

2. 虚拟化。云计算支持用户在任意位置、使用各种终端获取服务。所请求的资源来自「云」,用户无需了解运行的具体位置,只需要一台终端设备,就可以通过网络来获取各种能力超强的服务。

3. 高可靠性。「云」使用了数据多副本容错、计算节点同构可互换等措施来保障服务的高可靠性。因此,可以认为使用云计算比使用本地计算机更加可靠。

4. 通用性。云计算不局限于特定的应用,同一片「云」可以同时支撑不同应用的运行。

5. 按需服务。「云」是庞大的资源池,用户可以按需购买服务,按需按量计费。

6. 极其廉价。「云」的特殊容错措施使得可以采用极其廉价的节点来构成,同事自动化管理使数据中心管理成本大幅降低。另外,“云”的公用性和通用性使资源的利用率大幅提升。


云计算的关键技术

作为众多 IT 服务的集合,云计算的底层需要众多关键技术的支撑,而且还不断的有新的技术被产品化/服务化,扩展云服务的范围与边界。

1. 虚拟化技术

虚拟化就是通过软件与硬件解耦,实现资源池化与弹性扩展。主流虚拟化技术有 KVM,Xen,VMware,Hyper-V 等。目前 KVM 是最受欢迎的虚拟化技术,AWS、阿里云、华为云、腾讯云目前也都从 Xen 转向了KVM。

除了软件虚拟化,还有硬件辅助虚拟化(如 Intel-VT 或 ADM-V),比如通过引入新的指令和运行模式,来解决软件无法实现完全虚拟化的问题,同时也能进一步提升虚拟化的性能与处理能力。

2. 分布式技术

分布式就是把同一个任务分布到多个网络互连的物理节点上并发执行,最后再汇总结果。分布式系统的扩展性,性能、容量、吞吐量等可以随着节点增加而线性增长,非常适合云计算这种大规模的系统。在云上主要应用的有分布式存储、分布式数据库、分布式缓存,分布式消息队列等。

3. SDN 与 NFV

SDN 是软件定义网络,核心是网络的控制面(网络策略)和转发面(数据流向)分离;NFV是网络功能虚拟化,将以往需要专用且昂贵的设备提供的网络功能,比如负载均衡与防火墙,通过软件和普通的x86服务器来实现。

云计算的网络功能都关联到私有网络VPC上,VPC是通过网络隧道协议(GRE和VXLAN)实现逻辑隔离的虚拟网络。GRE封装在主机上做,而VXLAN封装在交换机上做。所以阿里云、腾讯云VPC使用GRE隧道封装,在IP数据包中增加GRE报头(里面是VPCID)来实现多租户或不同虚拟网络之间的隔离。而华为云VPC使用VXLAN隧道封装。

4. 云原生技术

容器、微服务和DevOps号称云原生三驾马车,是实现技术中台的重要组件。容器是非常轻量秒级部署的虚拟化技术,主要理念就是一次封装,到处运行。通过Linux命名空间、Cgroups与rootfs构建进程隔离环境,将应用软件及其运行所依赖的资源与配置打包封装,提供独立可移植的应用运行环境。Docker当前最火的容器引擎,Kubernetes负责容器编排与集群管理。微服务架构是对SOA升华,将将应用解耦成更加轻量化,独立自治、敏捷开发、部署与治理、可通过HTTP方式访问的服务。微服务可以基于虚拟机、容器或Serverless函数来部署使用。开源的微服务框架主要有Dubbo、Spring Cloud。新推出的Service Mesh通过Sidecar智能代理方式让不同应用可以不用修改代码即可接入微服务平台,被称为微服务2.0。DevOps就是敏捷开发运维,通过持续集成与持续部署CICD等自动化工具与流程,打通应用开发、测试、发布、运维的各个环节,以大幅提升系统效率与可靠性。

5. 云安全技术

云环境由于规模巨大,组件复杂,用户众多,其潜在攻击面较大、发起攻击的成本很低,受攻击后的影响巨大。所以云安全形势还是非常严峻,涉及主机安全、网络安全、应用安全、业务安全,数据安全等,各厂商在相关领域都有比较成熟的产品和技术。2019年12月1日刚生效的等保2.0对云安全提出了全面详细体系化的要求和指导,目前已经成为一个条必须满足的合规要求,金融政府等重要企业单位的IT系统都要求达到等保三级以上。其重点就是一个中心(安全管理中心)三重防护(计算环境安全,通信网络安全、区域边界安全)。

6. 人工智能与大数据

马化腾说互联网的未来就是在云端通过人工智能处理大数据,可见大数据和人工智能关系很是很密切。如果大数据是原油,人工智能就是高端的开采和炼油技术,两者结合才会发挥巨大的效用。大数据具有4V特征:Volume(数据量大)、Value(价值密度低)、Velocity(产生速度快)、Variety(数据类型多)。大数据的收集、传输与存储与处理对系统要求比较高,需要专门的组件支持,比如HBase、HDFS、Spark等。人工智能有5大关键要素:大数据、算法、计算力、边界清晰和应用场景。海量的大数据是根本,然后通过机器学习、智能模拟等算法对数据进行加工处理,需要使用GPU、TPU、FPGA提供强大的计算力;主要的限制在于机器只能对边界相对清晰的事务进行学习和判断,同时找到合适的应用场景才能更好地发挥价值,如语音处理、图像识别、智能驾驶等。

7. 云管理平台

云计算是一个非常复杂的系统,对整个云平台进行敏捷高效的管控运维非常重要。云管理通常涉及四个层面:一是租户端管理,让用户能有效管理使用基本的云服务;二是运营管理,涉及云服务运营策略,如资源管理、计量计费,消息通知等;三是运维管理:涉及云平台的可用性与可靠性保障,如自动化运维,监控告警、运维排障等。四是多云纳管,当前对于很多企业混合云是一个趋势,私有云+公有云,或者引入和均衡多个云厂商。所以需要提供能够统一纳管多种云,以及传统IT环境的管理平台。OpenStack是一个开源的云管平台,各个云厂商都有自己的管控平台,还有一些专门做多云纳管的厂商,比如博云、骞云、飞致云等。

当然,云计算还有很多重要的技术,比如边缘计算、IoT、区块链等,以后再聊。


云计算的应用与价值

一个企业的发展必然是离不开计算机的,如果是互联网企业,那么其就需要有自己的服务器。

但是服务器价格昂贵,要是需求量大的话,就需要多台服务器,甚至于构成一个数据中心。

不过这样设备,其成本是相当高昂的,其初期的建设成本便让许多中小型企业难以承受。而且在建设完成后,后期的维护和运营成本也是相当高昂。

因此,云计算就成了它们的救命稻草,通过云计算的laaS服务,就可以在不去购买物理硬件的情况下,使用云计算的虚拟资源来完成企业所需的计算需求。

云计算对于普通人来说,也许接触较少,但对于企业来说,云计算是相当重要的一个服务。云计算整体产业分为底层 IaaS 基础设施即服务,PaaS 平台即服务,SaaS 软件应用即服务三大领域。

Gartner 数据显示,2019 年全球公有云服务市场将达到 2143 亿美元,同比增加 17.5%;2022年,全球公有云服务市场将达到 3312 亿美元,云服务行业的市场规模与增幅将会是整体IT服务增幅的近三倍。

信通院出品的《云计算发展白皮书(2019年)》显示,2018 年我国云计算整体市场规模达 962.8 亿元,增速 39.2%。

其中,公有云市场规模达到 437 亿元,相比 2017 年增长 65.2%,预计 2019-2022 年仍将处于快速增长阶段,到 2022 年市场规模将达到 1731 亿元;

可以说,全球云计算有着万亿市场,并且价值还在不断持续稳定的增长中。云计算市场还有许多潜力等待发掘出来。

不过云计算虽然市场巨大,潜力惊人。但是它的垄断性是非常高,不过现在也是有着不少互联网巨头进入云计算的市场当中。

在全球云计算市场中,前五名分别是亚马逊、微软、谷歌、阿里和IBM。同时,这五大云计算厂商占据了全球近 70% 的云计算市场,可见云计算的垄断性之大。

令人意外的是,互联网霸主谷歌在这个市场远远落后于亚马逊。

据外媒最新消息,去年初,由于落后其他对手太多,谷歌以及母公司Alphabet的高管曾经展开讨论,是否应该彻底退出云计算市场,但是在讨论之后,谷歌竟然确定了一个更加宏大的目标,也就是在 2023 年成为全球云计算市场的第一名或第二名。

中国云计算市场中,前五名分别是阿里、腾讯、电信、金山、亚马逊。国内的云计算厂商基本被国产企业牢牢占据,外资仅有亚马逊一家而已,而阿里占据了了国内 42% 的市场,其实力可见一斑。

除此之外,华为和百度也是云计算中的佼佼者,其中华为在近几年来发展迅速,不断与国内大企业达成合作,发展自身云计算业务。另外,三大运营商其实都有发展云计算,只不过没有电信这位老大哥发展的好而已。

对于国内 IT 业来说,在 Windows 和 Intel 的体系占据了国内大半市场的前提下,云计算或许是弯道超车的一次好机会。

在国产操作系统和国产芯片不断发力的今天,如果以它们为基础的云计算,能够顺利发展的话,将会成为中国 IT 业的一次革命性发展。


后话

信息时代的未来可能是:云计算、大数据、人工智能、物联网、量子计算、量子通信……

而云计算、大数据、物联网这铁三角,则算是现阶段产业互联网的基石,绝大部分的行业和领域都对这三块有需求。而随着云计算的愈渐成熟,云计算就像水电那样的成为一个自然而然的东西,可以深入应用到各个领域。

在云服务愈发成为商业主流的 2020 年,以软件、服务和应用为核心的厂商将掠夺更多的市场份额。它们将成为 IT 市场的主导力量,推动新一轮的 IT 技术变革。

从某些意义上来说,我们已经站在了时代变革的转折点上。而云计算承载的时代使命,则是迎接 5G 时代下万物互联的星辰大海。

-  END -

部分资料来源:

维基百科词条:云计算

人民日报:云计算如何实现随用随取

赛迪顾问:未来三年我国云计算市场规模将保持35%以上增速

新浪财经:《云计算半月刊》第四十二期(2019.12.16)

腾讯科技:谷歌曾决定退出云计算市场,后来制定进入前两名目标

计算机与网络安全:云计算及其发展


在本文的最后,希望大家可以和我一起,向所有为中国云计算行业发展做出贡献的先驱与从业者们致敬#respect#

猜你喜欢

1、Delta Lake 0.5.0 正式发布,支持包括 Hive/Presto 等多种查询引擎

2、当小内存遇上大量数据,你该怎么解决这个问题?

3、从 Hive 大规模迁移作业到 Spark 在有赞的实践

4、Docker 核心技术与实现原理

过往记忆大数据微信群,请添加微信:fangzhen0219,备注【进群】

Logo

华为开发者空间,是为全球开发者打造的专属开发空间,汇聚了华为优质开发资源及工具,致力于让每一位开发者拥有一台云主机,基于华为根生态开发、创新。

更多推荐