联邦学习&云计算&边缘计算的应用场景及异同点
本文主要讲解联邦学习与云计算、边缘计算这三种技术的概念以及三者的应用场景及异同点。一、联邦学习联邦学习是一个分布式的机器学习框架,能有效帮助多个机构在满足用户隐私保护、数据安全和政府法规的要求下,进行数据使用和机器学习建模。其技术能有效解决数据孤岛问题,让参与方在不共享数据的基础上联合建模,能从技术上打破数据孤岛,实现AI协作。根据参与各方数据源分布的情况不同,联邦学习可以被分为三类:横向联邦学习
本文主要讲解联邦学习与云计算、边缘计算这三种技术的概念以及三者的应用场景及异同点。
一、联邦学习
联邦学习是一个分布式的机器学习框架,能有效帮助多个机构在满足用户隐私保护、数据安全和政府法规的要求下,进行数据使用和机器学习建模。其技术能有效解决数据孤岛问题,让参与方在不共享数据的基础上联合建模,能从技术上打破数据孤岛,实现AI协作。
根据参与各方数据源分布的情况不同,联邦学习可以被分为三类:横向联邦学习、纵向联邦学习、联邦迁移学习。联邦学习的侧重点是在多方数据不出库的情况,通过加密技术实现多方之间的数据传输与交互,从而实现联合建模,侧重于数据交流之间的安全性计算。
二、边缘计算
边缘计算起源于传媒领域,是指在靠近物或数据源头的一侧,采用网络、计算、存储、应用核心能力为一体的开放平台,就近提供最近端服务。它是一种分散式运算的架构,将应用程序、数据资料与服务的运算,由网络中心节点移往网络逻辑上的边缘节点来处理。边缘计算将原本完全由中心节点处理的大型服务加以分解,切割成更小与更容易管理的部分,分散到边缘节点去处理。其应用程序在边缘侧发起,产生更快的网络服务响应,满足行业在实时业务、应用智能、安全与隐私保护等方面的基本需求。
边缘计算最形象的例子就是上最魔性的生物之一——章鱼。章鱼就是用“边缘计算”来解决实际问题的。作为无脊椎动物中智商最高的一种动物,章鱼拥有巨量的神经元,但60%分布在章鱼的八条腿(腕足)上,脑部仅有40%。章鱼在捕猎时异常灵巧迅速,腕足之间配合极好,从不会缠绕打结。这得益于它们类似分布式计算的“多个小脑+一个大脑”。
在当今现实世界中,一直以来,公共和企业设施的监测和维护消耗着大量的人力、物力成本;电力、制造等行业数字化转型中对海量数据的实时、智能处理也有着强烈需求。如果用常规模式构建物联网,随着设备的迅速增加,网络边缘侧所产生的数据量级将非常巨大。这些数据如果都交由云端的管理平台来处理,将会对现实网络流量巨大压力,使得一些设备的底时延、实时协同工作难以保证,给特殊信息的数据安全带来很大的风险。如果能像章鱼一样,采用边缘计算的方式,海量数据则能够就近处理,大量的设备也能实现高效协同的工作,诸多问题迎刃而解。因此,边缘计算理论上可满足许多行业在敏捷性、实时性、数据优化、应用智能、以及安全与隐私保护等方面的关键需求。
三、云计算
云计算(cloud computing)是分布式计算的一种,指的是通过网络“云”将巨大的数据计算处理程序分解成无数个小程序,然后通过多服务器组成的系统对其进行处理和分析,最后将得到的结果返回给用户。云计算早期,就是一种简单的分布式计算,解决任务分发并进行计算结果的合并。因此,云计算又称为网格计算。通过这项技术,可以在很短的时间内(几秒种)完成对数以万计的数据的处理,从而达到强大的网络服务。
“云”实质上就是一个网络,狭义上讲,云计算就是一种提供资源的网络,使用者可以随时获取“云”上的资源,按需求量使用,并且可以看成是无限扩展的,只要按使用量付费就可以,“云”就像自来水厂一样,我们可以随时接水,并且不限量,按照自己家的用水量,付费给自来水厂就可以[2]。
通常,云计算的服务类型分为三类,即基础设施即服务(IaaS)、平台即服务(PaaS)和软件即服务(SaaS)。这3种云计算服务也被称为云计算堆栈,因为它们通过构建堆栈,位于彼此之上,以下是这三种服务的概述:
- 基础设施即服务(IaaS)
基础设施即服务是主要的服务类别之一,它向云计算提供商的个人或组织提供虚拟化计算资源,如虚拟机、存储、网络和操作系统。 - 平台即服务(PaaS)
平台即服务是一种服务类别,为开发人员提供通过全球互联网构建应用程序和服务的平台,Paas为开发、测试和管理软件应用程序提供按需开发环境。 - 软件即服务(SaaS)
软件即服务也是其服务的一类,通过互联网提供按需软件付费应用程序,云计算提供商托管和管理软件应用程序,并允许其用户连接到应用程序并通过全球互联网访问应用程序。
四、三者的异同点
这三种技术都是一种分布式计算方式,都需要多方参与共同完成任务。但是这三种技术也各有其不同侧重点:联邦学习讲的是对数据隐私的保护,同时合作建模;边缘计算讲的是每个用户端有自己的计算设施,强调的是各个弱端点之间进行数据通信和计算,偏向于多对多的方式;云计算讲的是将各个客户端利用云平台来进行计算,云平台整合所有的信息,偏向于一对多的方式。
1、联邦学习和边缘计算的区别是什么?
边缘计算讲的是用户在最近的计算设施上处理和应用数据,保护己方的隐私;联邦学习讲的是使用其它远端数据并对远方的数据进行隐私保护,同时合作建模。这两者在概念上还是非常不一样。当然,联邦学习在进行模型训练的时候,它也会用到各自的客户端,有自己的计算设备,在这一点上它会和边缘计算有一些结合点。
2、边缘计算和云计算的区别是什么?
边缘计算和云计算相比主要有如下优点:
边缘计算可以实时或更快的进行数据处理和分析,让数据处理更靠近源,而不是外部数据中心或者云平台,可以缩短延迟时间。
在成本预算上可以大大减轻经费预算。企业在本地设备上的数据管理解决方案所花费的成本大大低于云和数据中心网络。
减少网络流量。随着物联网设备数量的增加,数据生成将以创纪录的速度增长,通过边缘计算,可以有效降低与云端服务器之间进行网络传输和计算带来的压力。
提高应用程序效率。通过降低延迟级别,应用程序可以更高效、更快速地运行。
个性化。通过边缘计算,可以持续学习,根据个人的需求调整模型,带来个性化互动体验。
当然边缘计算和云计算相比,也有一些弊端:边缘计算对边缘设备也要有一定要求,可能会造成数据通信失败,服务不可用;如果数据计算量比较大,边缘计算其计算能力以及稳定性也无法满足。
3、联邦学习和云计算的区别是什么?
联邦学习是在云计算平台上一种联合建模方式,联邦学习依靠于云计算平台。总之,这三者都分别各有侧重点,但是对于联邦学习来说,可以结合边缘计算和云计算技术,更好的为联邦学习服务。
获取更多技术干货&独家福利
欢迎关注“京东数科技术说”微信公众号,我们只凭技术说话!
更多推荐
所有评论(0)