依托于亚马逊云科技的开发者学习体验

前言截止今年（2022年），亚马逊云已经走过了16个年头，并连续十一年被Gartner认可为云计算领导者。在EC2方面从最原始的单一实例到今天支持475+实例类型，而在服务类型方面更是发展并延伸到了各行各业。说起我与亚马逊云科技的渊源，还得从上大学的时候说起，从当年免费体验亚马逊云上的服务资源，到今天在亚马逊云上的持续学习。接下来我将从产品使用、参与创新大会、深入阅读技术资源等方面聊一聊在亚马逊云

BigDataToAI

3272人浏览 · 2022-05-16 12:25:42

BigDataToAI · 2022-05-16 12:25:42 发布

前言

截止今年（2022年），亚马逊云已经走过了16个年头，并连续十一年被Gartner认可为云计算领导者。在EC2方面从最原始的单一实例到今天支持475+实例类型，而在服务类型方面更是发展并延伸到了各行各业。说起我与亚马逊云科技的渊源，还得从上大学的时候说起，从当年免费体验亚马逊云上的服务资源，到今天在亚马逊云上的持续学习。接下来我将从产品使用、参与创新大会、深入阅读技术资源等方面聊一聊在亚马逊云上的学习历程。

从免费试用亚马逊云开始我的上云服务

对于一个云上开发者来说，免费套餐是AWS相对于很多其他云厂商具有的相当大吸引力的地方。其免费套餐覆盖100余种产品20种类别，包括计算、分析、数据库、物联网、机器学习、存储等[1]。当然，不同类别对应不同的行业人群，而我更关心的是计算、数据库以及存储服务。以计算与存储为例，计算资源Amazon EC2首年连续12个月免费提供750小时/月的计算服务，存储资源Amazon S3则是提供首年12个月5GB免费标准存储容量。大学时期由免费套餐让我对亚马逊云有了更好的了解，惊叹于其创建实例之快，组件上手速度之快，很自然地，免费使用期结束我依然在使用亚马逊云上的产品。

作为大数据从业人员，我也喜欢“没事找事”。由于维护了一个个人博客网站，所以我需要实时记录和统计来自各地的访问者，以了解网站以及文章的受欢迎程度。那么基于Amazon S3构建的数据湖存储服务是我的选择方案。从技术层面来说，选择亚马逊云产品作为我的数据湖底座我觉得是因为Amazon S3提供了 11 个 9 的持久性（99.999999999％）和四个 9 的可用性（99.99％），且作为对象存储的领导者，其接口的广泛性获得了像minio等一批其他对象存储提供商的支持，也就是说我的底层存储在一处开发，便可多处使用。同时在AWS EC2实例上创建Flink引擎以及Presto运行环境，即可将数据实时写入构建于Amazon S3之上的hudi数据湖并用Presto进行热点查询展示。

积极参与亚马逊云科技创新大会，了解未来技术发展方向

亚马逊作为云服务厂商的先驱，每一种技术创新都给我们的业务带来革新与升级。亚马逊云科技创新大会是亚马逊云科技定期举办的在线大会，旨在全面展示AWS技术创新能力与客户最佳实践，给用户带来使用AWS的新视角，是开发者必须关注的主题。2021年3月，亚马逊云科技 AI 在线大会，亚马逊云科技携手近30家客户及合作伙伴一起为您揭秘人工智能和机器学习（AI/ML）如何赋能创新，驱动转型，及各行业在AI/ML 领域的观察。同年10月，再次以“数据驱动创新”为主题，首次公开现代化数据战略三部曲，深入解析智能湖仓架构实现数据自由流动，全景诠释亚马逊云科技全栈式数据分析服务，分享典型数据驱动型企业创新之道。每一次与会都有不一样的技术洞见。[3][4][5][6]

亚马逊云科技今年也在4月20日如期开启了以云基础架构为主题的创新大会，我也积极参与其中。本次大会共分为一个主会场和六个分会场，主会场的主题演讲为亚马逊云科技客户的经典用例，以亚马逊云为依托，为大宇无限、传音控股等企业带来云上体验，而六个分会场分别以重构计算、云端负载、数据创新、无边界云、云安全以及最佳转型实践为主题。和往期一样，每个分会场的主题演讲都会有视频回放，所以不需要担心错过同时直播的主题演讲。与此同时，本次大会还提供了产品卡、培训与认证以及资料中心等资源，让我们更好了解亚马逊云科技力量 [7]。

在今年的创新大会上，让我印象最深的是主题演讲中说到的EC2创新步伐，这恰好解决了我对于亚马逊云EC2创建实例如此之快以及性能和裸机几乎无差别的困惑。正如顾凡总经理所说，亚马逊云EC2在研发道路上进行了如下四个方面创新，分别是Nitro架构、自研芯片设计、加速计算以及容器/无服务器。

图片来源，2022年4月20日亚马逊云科技创新大会

在早期，AWS也是通过软件虚拟化的方式将物理服务器的资源划分成多个虚拟实例来提供EC2的实例，但是该方案也存在一定的问题。软件虚拟化会损耗硬件30%的性能，同时虚拟机还可以访问硬件底层资源，存在一定安全风险，而且如果不能将存储、网络虚拟化与服务器硬件本身的迭代解耦，是很难加速EC2实例的研发进程。而Amazon Nitro架构则完全解决了上述问题，它将虚拟化卸载到硬件层面，使性能损耗减少到最小；在安全性方面则是彻底隔离了用户实例对底层的写操作，从而提高安全性；而多样化的Nitro网卡、存储卡可以将网络和存储虚拟化，与服务器的硬件更新彻底解耦，这样子就可以大大加快EC2实例的研发进程。

芯片的创新是重构云底座的重要支柱，AWS从2013年便开始进行自研为云而生的芯片，其根据用户在云中的工作负载的深刻认知进行逆向工作，从而设计更适合云上的芯片。多年来，AWS发展了三条产线，其中包括Nitro系列、机器学习与推理系列以及基于ARM架构的Graviton系列。Graviton系列作为其中的佼者，带来了最佳性价比、增强安全性以及更广泛的生态系统。
在这里插入图片描述

AWS拥有最广泛的机器学习实例，其自研INF1芯片相对于NVIDIA类似的实例在吞吐量和成本都有了较大的提升。以OPPO使用INF1增强对话式AI-小布助手为例，其能够提供语义理解以及对话交互的AI能力。OPPO团队将小布的NLP模型针对INF1进行了编译和优化并部署在INF1实例上进行在线推理，在Q&A以及闲聊的两种行测测试场景下，INF1对于NVIDIA T4整体成本节省了35%，端到端的时延降低了25%，而吞吐量也增加了2.3倍。

以亚马逊电商为依托，亚马逊云拥有最大的应用基础，从而推动着其推出容器/无服务器化的计算架构。随着业务规模的增加，亚马逊电商从最初的单体应用演进为SOA架构，根据功能拆分为商品服务、订单服务、用户服务等系统。但是随着时间的推移，各个子服务系统又变成了小一号的单体应用系统。业务驱动技术变革，2006年亚马逊开始将应用程序分解为多个微服务，真正让亚马逊的创新更加灵活化，时至今日，亚马逊电商运行着超过十万个微服务。

总结亚马逊电商微服务化的发展经验，亚马逊云科技推出容器化服务便是很自然的。AWS在无服务器领域持续16年的技术创新让云上用户使用即巅峰。给用户带来超凡的使用体验。

图片来源，2022年4月20日亚马逊云科技创新大会

4月15日，Gartner发布2021年全球云计算市场份额报告，亚马逊云科技以38.92%占比位居榜首。当然，这与其深耕云服务，坚持持续创新分不开的。在今年的创新大会上我的收获也是颇丰的，从底层技术对AWS的发展历程有了更深入的理解，让我在之后的技术选型上更游刃有余；从技术的发展变革个人的学习方向，以容器化/无服务器化为依托的应用开发趋势是我应该参考与选择的方向，毕竟有如此优质的云厂商，完全专注于业务开发不是更开心的一件事情!

深入阅读更多亚马逊云技术资源，提升自身竞争力

当然，对我来说除了使用亚马逊云丰富的产品、观看前沿技术创新大会，亚马逊的知识架构也是我日常技术提升的指导方案。在前沿技术领域，其举办的中国峰会、云途会以及视频中心是我们不能错过的精彩主题，针对不同工程师角色、不同技术领域以及不同技术层级推出了精彩的知识分享视频 [4] [6]。

通过上述资料，了解当前技术热点以及发展趋势，为下一步的学习方向做准备。而在单技术方面，其完备的产品文档让我们对业务的技术选型和产品的发展方向有更明确的选择。以对象存储为例，通过其详尽的使用案例和说明文档，我学到了如何构建适用于大数据分析、人工智能、机器学习和高性能计算的数据湖；在成本方面如何根据数据的冷热程度进行分层存储以降低运营复杂性、获得新见解以及有效降低成本。
请添加图片描述

归纳与总结

对于个人开发者来说，亚马逊云是最好的云服务选择之一，因为它几乎涵盖了个人开发所需要的能力与服务。在学习平台构建方面，其为开发者打造了多种学习平台：

入门资源中心：从0到1 轻松上手云服务，内容涵盖：成本管理，上手训练，开发资源。
架构中心：亚马逊云科技架构中心提供了云平台参考架构图表、经过审查的架构解决方案、Well-Architected 最佳实践、模式、图标等。
构建者库：了解亚马逊云科技如何构建和运营软件。
构建工具：用于在亚马逊云科技平台上开发和管理应用程序的工具包

而在福利方面，其免费套餐、优惠礼包和一键部署模板更是不容错过：

亚马逊云科技提供100余种产品免费套餐。其中，计算资源Amazon EC2首年12个月免费，750小时/月；存储资源 Amazon S3 首年12个月免费，5GB标准存储容量。
提供最新优惠大礼包，200 $数据与分析抵扣券， 200$ 机器学习抵扣券，200$微服务与应用开发抵扣券。
解决方案CloudFormation一键部署模版库。

亚马逊云科技不管是入门友好的福利资源还是详尽的官方文档，亦或定期举办的技术创新大会，它可以让你从技术小白进阶为技术大咖。本文从基础入门到进阶提升，介绍了个人开发者可在亚马逊云科技平台上的成长，这大概就是我坚持在其上学习与使用的原因吧！对于很多用户来说，我觉得他会是一个很不错的选择，更多详情可参阅参考资源中的信息。