关键字: [Amazon Web Services re:Invent 2023, Fugaku, Research Computing, Cloud Collaboration, Academic Industry Partnership, High Performance Computing, Complex Global Challenges]

本文字数: 1500, 阅读完需: 8 分钟

视频

如视频不能正常播放，请前往bilibili观看本视频。>> https://www.bilibili.com/video/BV1Ge411o75F

导读

从减轻气候变化的影响到确保粮食安全，研究人员面临的挑战此起彼伏。技术是在这些挑战中取得成功的关键。当研究受限于访问数据或昂贵的计算设备时，就是时候利用云的力量。加入讨论，与来自顶级学术研究组织的专家一起探讨研究高性能计算和 AI /ML 的交叉点，以应对世界面临的重大挑战。听听这些大学是如何利用云的力量，让研究人员专注于他们最擅长的科学。

演讲精华

以下是小编为您整理的本次演讲的精华，共1200字，阅读时间大约是6分钟。如果您想进一步了解演讲内容或者观看演讲全文，请观看演讲完整视频或者下面的演讲原文。

会议在德博拉·克劳福德的热烈欢迎下拉开帷幕，她是亚马逊云科技高级计算和模拟产品和战略部门的负责人。她介绍了三位备受尊敬的专家组成员——弗朗西斯卡·多米尼西、佐藤康浩和瑟曦·兰尼斯特。

德博拉解释道，研究机构/大学与亚马逊云科技的合作正在推动可能性思维的边缘。这些合作使得组织能够应对诸如气候变化、食品安全和影响健康的社会决定因素等复杂的挑战，这些问题需要通过高性能计算、机器学习和安全云计算基础设施等领先能力来解决。该小组将开放讨论关于将学术界和产业界结合的高潮和低谷以及巨大潜力的问题。

首先发言的是弗朗西斯卡·多米尼西，她是哈佛公共卫生学院生物统计学的教授，担任哈佛数据科学计划的主任。该计划旨在成为涵盖所有12个学院的跨学科中心，以推进数据科学研究和应用。弗朗西斯卡表示，数据科学现在已经成为了包括人文学科和神学在内的几乎所有学术领域的核心。

该计划旨在开发新的数据分析方法、机器学习算法、数据工程管道和应用，利用云计算解决重大社会问题。具体关注领域包括气候变化、食品安全和影响健康的社会决定因素。弗朗西斯卡强调，要真正推进数据科学并解决这些复杂挑战，学术界不能再孤立工作-与产业界的合作至关重要。

她觉得非常幸运能够在哈佛大学和亚马逊云科技之间建立知识伙伴关系。他们的目标一致，即使用大型、复杂、多模式数据集和先进的云计算能力来应对全球性问题。弗朗西斯卡给出了一些例子，说明了学术界和产业界的专长如何完美地相互补充。学术界可能有世界级的计算机科学家开发领先的机器学习算法，但他们缺乏访问云计算基础设施来训练大规模模型的能力。同样，哈佛大学可以开发先进的统计技术来评估因果关系，但需要有高性能计算资源才能将其应用于大规模。只有通过共同努力，他们才能构建完整的数据端到端管道。

接下来，日本RIKEN计算科学中心的Satoshi Matsuoka主任详细介绍了Fugaku超级计算机。Fugaku是由富士通在超过10年的时间里共同研发的，拥有超过16万个计算节点，在全球最快的超级计算机中名列前茅，具有超过10万个节点和800万个CPU核心。尽管规模庞大，但Fugaku始终保持着高达95-99%的运行能力，这得益于需求的旺盛。

为了让更多人了解到Fugaku的研究成果，Satoshi的团队正与亚马逊云科技展开一项大胆的合作项目，旨在在亚马逊云科技云端创建Fugaku的“数字孪生”环境。借助与Fugaku的ARM架构兼容的亚马逊云科技的Graviton处理器，Virtual Fugaku项目将在亚马逊云科技上模拟Fugaku的软件栈，包括应用程序、操作系统和编程环境。

这将使全球科研界受益，因为他们可以根据需求访问类似于Fugaku的高性能计算能力。研究人员将不再需要经历漫长的分配过程才能使用实体系统。对亚马逊云科技而言，托管这些顶级高性能计算应用将扩大其产品供应范围。这是业界与研究机构紧密合作、实现互利共赢的一个典型范例。

埃默里大学的Cersei Lannister教授分享了他们关于云优先战略的经验。这一战略始于大约6年前，当时埃默里的首席信息官意识到了云计算的潜力，使得研究人员能够立即获得最新的计算资源，如图形处理器，而不需要等待数月时间来采购和配置本地IT设备。这使得IT组织能够更少地关注硬件和数据中心的管理工作，而更多地专注于为研究人员提供优质的服务和支持。

值得注意的是，埃默里并没有实施云强制令——研究人员仍然可以自由选择使用本地资源。然而，通过构建一个安全、高性能且专为埃默里定制的亚马逊云科技平台，集成身份管理、网络和其他服务，并提供大量培训和咨询服务，云的采用和增长非常显著。如今，埃默里拥有超过270个亚马逊云科技账户和1000多名用户，其中80%的研究计算都在云端进行。在约3600名教员中，270个亚马逊云科技账户反映出非常高的利用率。

瑟曦（Cersei）认为，这一成功应归功于其在早期对开发定制化亚马逊云科技环境的投入，以及对研究人员的紧密式客户服务和培训。她强调，预留实例购买使得亚马逊云科技的计算成本节省了30%以上。此外，他们的高速直连和互联网VPN提供了强大的混合云连接。总的来说，埃默里大学（Emory）将与其在亚马逊云科技领域的合作视为成为云优先型数字研究型大学的关键。

接下来，与会者探讨了将学术研究迁移到云端可能面临的挑战。瑟曦提到，研究人员担忧成本失控，且难以根据拨款追踪亚马逊云科技支出。为解决此问题，埃默里大学开展了大量成本优化培训，并使用亚马逊云科技的并行集群通过自动缩放构建了一个专用的HPC集群。这根据工作负载自动启动和终止计算资源，防止了未使用的实例。

弗朗西斯卡（Francesca）强调了文化障碍的问题。她指出，尽管云计算具有诸多优势，但许多教授仍选择购买自己的现场服务器。作为教育工作者，她的目标是将云和研究工作计算的最佳实践纳入课程，以便学生在设计实验和分析时会考虑到这些因素。她将这比喻为教授良好的健康行为——就像你不应该暴饮暴食一样，你不应该过度供应计算资源，而不考虑成本。

佐藤（Satoshi）讨论了传统HPC中心和云提供商之间的差异。他提到，国家实验室的HPC资源是通过竞争性提案（如申请研究拨款）来分配的。然而，云计算提供了基于使用的直接访问途径，一些研究人员可能会利用这一点意外地超支预算。他认为需要标准化政策，以便合理分配云资源，同时保持灵活性。德博拉（Deborah）指出，拨款预算模型使得调整云费用变得复杂。弗朗西斯卡建议直接在拨款中加入云信用作为潜在解决方案。

最后，该小组还讨论了如何确保学术见解能够大规模地实现现实世界的影响。弗朗西斯卡认为，研究人员必须明确界定目标利益相关者和政策目标。她的环境健康工作旨在通过使用亚马逊云科技进行严格的统计分析，直接为监管政策提供信息。她认为，有了云驱动的数据科学，证据驱动的政策制定可以更快地实现。

佐藤贤治详细阐述了如何在新冠病毒研究中宣传Fugaku的作用，以展示超级计算对社会的重大影响，这对于日本70%的人口都产生了作用。他强调，不仅要将这项技术推广出去，还要积极传播研究成果，这一点至关重要。塞西莉表示，大学的IT组织必须发展成为真正的研究合作伙伴，而不仅仅是接受命令的组织。

在学习到的教训方面，不同文化和速度差异的组织之间的合作确实存在固有的挑战。然而，这些挑战也为研究和全球影响力创造了巨大的可能性。佐藤贤治承认，从一开始就与云服务提供商亚马逊云科技合作，就像RIKEN目前在下一代超级计算机上的合作一样，这将是有益的。弗朗西斯卡指出，哈佛大学的制度惰性延缓了云的采用，但她对未来充满信心。关键在于将专业知识（如计算机科学、统计学和基础设施工程）作为科学研究的组成部分结合起来。塞西莉认为，埃默里大学的领导通过首先建立能力和信任，在云过渡过程中表现得非常好。

总的来说，该小组提出了一个有说服力的观点，即结合学术研究、行业基础设施和对现实世界影响的关注可以帮助克服许多社会最大的挑战。通过开放、学习以及通过富有远见的领导和紧密合作来消除机构间的隔阂，数据科学和云计算代表着推动进步的非常有前景的工具。

下面是一些演讲现场的精彩瞬间：

演讲者探讨了研究人员所面临的挑战，特别是在分配云计算资源方面与传统的超级计算中心的对比，以及标准化流程的重要性。

领导者们强调了亚马逊云科技如何通过提高可访问性来实现超级计算的民主化。

为了应对如气候变化和粮食安全等最为严峻的问题，研究计算和科学必须融为一体。

亚马逊云科技通过提供安全的云环境和开源工具，使得数据科学家能够共同解决科学难题。

领导者们谈到了在行业数据科学家和学术研究者之间建立互惠关系，以推动科学发展并创造职业机会。

总结

该研究团队探讨了在行业与学术界之间建立合作关系的可能性，以便充分利用高性能计算和云计算资源来应对全球性挑战。哈佛大学的Francesca Dominici强调了其与亚马逊云科技的合作伙伴关系，旨在推动数据科学并为政策制定提供实时洞察。日本理化学研究所的Satoshi Matsuoka分享了他们如何通过将超级计算环境扩展到亚马逊云科技来实现更广泛的影响力。埃默里大学的Su Su阐述了他们的云优先策略如何为研究人员提供支持。

一个关键议题是在拥有不同优势的组织之间实现文化转变和紧密合作。Dominici设想了一个由计算、数据、算法和领域专业知识组成的集成团队，共同为实现既定目标而努力。Matsuoka强调了标准化软件环境和Rest API在推广中的重要性。Su强调领导者需要具备远见、建立可靠的合作伙伴关系以及为研究人员提供优质服务的重要性。

该研究团队在反思所学经验时，意识到尽早参与并认识组织内部挑战的重要性。然而，如果他们能够有效地协调微观和宏观细节，未来的发展潜力仍然令人充满期待。最终，他们的目标是关注可能影响的各种利益相关者，无论是政策、社会还是研究方面，以实现真正的影响力。

演讲原文

https://blog.csdn.net/just2gooo/article/details/134838384

想了解更多精彩完整内容吗？立即访问re:Invent 官网中文网站！

2023亚马逊云科技re:Invent全球大会 - 官方网站

点击此处，一键获取亚马逊云科技全球最新产品/服务资讯！

点击此处，一键获取亚马逊云科技中国区最新产品/服务资讯！

即刻注册亚马逊云科技账户，开启云端之旅！

【免费】亚马逊云科技“100 余种核心云服务产品免费试用”

【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用”

亚马逊云科技是谁？

亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者，自 2006 年以来一直以不断创新、技术领先、服务丰富、应用广泛而享誉业界。亚马逊云科技可以支持几乎云上任意工作负载。亚马逊云科技目前提供超过 200 项全功能的服务，涵盖计算、存储、网络、数据库、数据分析、机器人、机器学习与人工智能、物联网、移动、安全、混合云、虚拟现实与增强现实、媒体，以及应用开发、部署与管理等方面；基础设施遍及 31 个地理区域的 99 个可用区，并计划新建 4 个区域和 12 个可用区。全球数百万客户，从初创公司、中小企业，到大型企业和政府机构都信赖亚马逊云科技，通过亚马逊云科技的服务强化其基础设施，提高敏捷性，降低成本，加快创新，提升竞争力，实现业务成长和成功。