什么叫大数据,与云计算有何关系
大数据(big data),是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。 大数据的4V特点:Volume(大量)、Velocity(高速)、Variety(多样)、Value(价值)。 从技术上看,大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理,必须采用分布式计算架构。它的特色在于对海量数据的挖掘,但它必
大数据(big data),是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。
大数据的4V特点:Volume(大量)、Velocity(高速)、Variety(多样)、Value(价值)。
从技术上看,大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理,必须采用分布式计算架构。它的特色在于对海量数据的挖掘,但它必须依托云计算的分布式处理、分布式数据库、云存储和虚拟化技术。
大数据和云计算到底是何关系?
关于大数据和云计算的关系人们通常会有误解。而且也会把它们混起来说,分别做一句话直白解释就是:云计算就是硬件资源的虚拟化;大数据就是海量数据的高效处理。
虽然上面的一句话解释不是非常的贴切,但是可以帮助你简单的理解二者的区别。另外,如果做一个更形象的解释,云计算相当于我们的计算机和操作系统,将大量的硬件资源虚拟化之后再进行分配使用,在云计算领域目前的老大应该算是Amazon,可以说为云计算提供了商业化的标准,另外值得关注的还有VMware(其实从这一点可以帮助你理解云计算和虚拟化的关系),开源的云平台最有活力的就是Openstack了;
大数据相当于海量数据的“数据库”,而且通观大数据领域的发展也能看出,当前的大数据处理一直在向着近似于传统数据库体验的方向发展,Hadoop的产生使我们能够用普通机器建立稳定的处理TB级数据的集群,把传统而昂贵的并行计算等概念一下就拉到了我们的面前,但是其不适合数据分析人员使用(因为MapReduce开发复杂),所以PigLatin和Hive出现了(分别是Yahoo!和facebook发起的项目,说到这补充一下,在大数据领域Google、facebook、twitter等前沿的互联网公司作出了很积极和强大的贡献),为我们带来了类SQL的操作,到这里操作方式像SQL了,但是处理效率很慢,绝对和传统的数据库的处理效率有天壤之别,所以人们又在想怎样在大数据处理上不只是操作方式类SQL,而处理速度也能“类SQL”,Google为我们带来了Dremel/PowerDrill等技术,Cloudera(Hadoop商业化最强的公司,Hadoop之父cutting就在这里负责技术领导)的Impala也出现了。
整体来看,未来的趋势是,云计算作为计算资源的底层,支撑着上层的大数据处理,而大数据的发展趋势是,实时交互式的查询效率和分析能力,借用Google一篇技术论文中的话,“动一下鼠标就可以在秒级操作PB级别的数据”难道不让人兴奋吗?(田原)
近200篇云计算、虚拟化、Hadoop、MapReduce、HDFS等云计算相关资料整理下载
- [PPT]云计算时代的社交网络平台和技术
- [PPT]汉周云计算白皮书简版
- [PDF]《云计算 信息产业新浪潮》第一篇 云计算概念解读 -- 锋迈正德云计算报告
- [PPT] 3G时代的云计算-刘鹏
- [PDF] 【百度世界2011】潜龙骄首 志在凌云
- [PDF] HDFS2,一种分布式NN实现
- [PDF] Hadoop在海量网页检索中的应用之我见
- [RAR] 云计算ERP开发框架
- [PDF] 清华云存储:从Corsair到MeePo
- [PDF] 如何考虑及规划动态的 IT 基础架构
- [PPT] Java与云计算
- [PDF] DOT一个开发处理大数据软件的分析模型
- [PDF] 云计算中运营商效益最优的资源分配机制
- Hadoop 作业调度技术研究
- [PDF] 云计算下的酒店管理与市场营销
- [PDF] 2010版桌面虚拟化技术教程
- [PPT] 云计算时代的社交网络平台和技术
- [PDF] SAE数据存储的演化
- [PDF] 云计算数据中心可行性研究报告
- [PDF] 建立异构环境下的信息架构-虚拟化存储解决方案
- [PDF] 支付宝数据平台及应用
- [PDF] 基于云计算技术的业务平台整合方案研究
- [PDF] IBM-大数据及云计算背景下的信息管理
- [PPT] 个人Blog架设攻略
- [PDF] 数据中心和云计算对存储的需求
- [PDF] SAE云计算平台
- [PDF] 白皮书 :VMware拨开云雾 认识云计算
- [PDF] IBM-实现电信云计算管理平台的关键因素
- [PDF] 高新区云计算中心建设调研报告
- [PDF] 基于云计算系统的资源负载均衡的方法和设备
- [PDF] 基于风险的云计算环境用户效用分析
- [PDF] 基于Hadoop的城市交通碳排放数据挖掘研究
- [PDF] 虚拟的路 真实的云
- [PDF] 云计算的技术挑战
- [PDF] 微软三大云计算产品全概览
- [PPT] Hadoop与数据分析
- [PDF] 虚拟化软件 云计算
- [PDF] 云安全与隐私:解决方法与安全框架
- [PDF] 云计算:体系架构与关键技术
- [PPT] 网格计算与云计算-刘鹏
- [PPT] 基于海量用户的云安全技术发展
- [PDF] 世纪互联云计算培训材料
- [PDF] 跨平台虚拟化管理之道——IBM Systems Director VMControl
- [PDF] HDFS的透明压缩存储
- [PDF] 互联网超级云计算平台
- [PDF] 企业应用的动态交付-Power 服务器虚拟化方案
- [PDF] 世纪互联刘黎明《云计算与开源》
- [PDF] Oracle云计算解决方案综览
- [PDF] HDFS元数据的独立服务和独立持久化存储
- [PDF] 一种面向虚拟化数字中心资源按需重配置方法
- [PDF] 数据中心网络高可靠性解决方案
- [PDF] 云计算科研与应用最新动态
- [PDF] IBM 企业级数据资源动态优化解决方案
- [PPT] 基于云计算的物联网关键技术研究
- [PDF] 下一代绿色数据中心概览
- [PDF] IBM—借力云计算 腾飞业务转型
- [PPT] 物联网与云计算
- [PDF] 云计算&SOA调研报告
- [PDF] Power驱动地球-为智慧的地球提供智慧的系统
- [PDF] 智慧企业与云计算
- [PDF] 云数据管理技术与挑战
- [PDF] 一步一步教你打造私有云
- [PDF] 云计算应用 - 国家科学图书馆机构知识库
- [PDF] 云服务性能监测和评估指南
- [PDF] 中国云计算产业发展白皮书
- [PDF] 分布式流数据实时与持续计算
- [PPT] 云计算--第三次IT产业变革
- [PDF] 数字校园平台及应用案例介绍
- [PDF] 工信部电信研究院云计算白皮书(2012)
- [PDF] 跨平台2地3中心高可用及容灾解决方案深度探讨
- [PDF] 云计算 系统实例与研究现状
- [PDF] 云计算安全研究
- [PPT] 架构变革-云计算的架构
- 赛迪顾问—中国三大电信运营商面向云计算转型战略研究(2012)
- [PPT] 谷歌与云计算-Google and Cloud Computing
- [PDF] 鸿泉云网—物联网云计算解决方案
- [PDF] 基于Hodoop的SNS统计平台和聚类推荐
- [PPT] 那些云端运算教我的事
- [PDF] 直入云端"——IBM 云计算策略概览
- [PDF] 现代云计算加密技术
- [PPT] 新一代P2P如何向互联网基础设施演进
- [PDF] 中国移动业务支撑云计算整体规划简介
- [PDF] 微软云计算之道
- [PDF] 新一代企业级虚拟网格存储 XIV,构建存储云计算
- [PDF] 英特尔中国大数据最佳云实践
- [PDF] 云计算—31家公司经验分享
- [PDF] 云计算环境下动态资源管理
- [PDF] 云计算深度报告
- [PDF] 中国云计算基础设施产业地图白皮书(2011)
- [PDF] 云计算研究报告
- [PDF] 正确理解和运用云计算
- 走近云计算PDF完整版
- 云计算的关键技术与应用实例_王鹏_高清PDF扫描版下载
- Hadoop开发者1-4期打包整理下载,需要的赶紧
- [PPT] 云计算时代的社交网络平台和技术
- [PPT] 汉周云计算白皮书简版
- [PDF] Eucalyptus A Technical Report on an Elastic Utility Computing
- [PDF] The Challenges and Opportunities in Interfacing Hadoop with Condor
- [PDF] Cloud Computing What to Ask When the Clouds Roll In
- eBay’s Hadoop Stack Evolution and Revolution
- [PPT] Resources and Services Virtualization without Barriers
- [PDF] Programming Abstractions for Clouds
- [PDF] The Google File System
- [PDF] The Apache Way
- [PDF] Special Issue on Cloud Computing
- [PDF] Santonu-Accenture-SaaS
- [PPT] Virtualization, Cloud Computing,and TeraGrid
- [PDF] The Grid, Cloud Computing and our Manycore Future
- [PDF] Toward a Unified Ontology of Cloud Computing
- [PDF] Cloud Computing for parallel Scientific HPC Applications
- [PDF] Cost-Benifit Analysis of Cloud Computing Versus Desktop Grids
- [PDF] MapReduce Simplified Data Processing on Large Clusters
- [PDF] Toward a Unified Ontology of Cloud Computing
- [PDF] A Testbed for Datacenter Computing
- [PDF] A Short Introduction To Cloud Platform
- [PDF] A Service for Data-Intensive Computations on Virtual Clusters
- [PDF] Cloud Computing
- [PDF] Cloud Computing Today and Tomorrow
- [PDF] The Challenges and Opportunities in Interfacing Hadoop with Condor
- PDF] The State of the Apache Hadoop Ecosystem(Doug Cutting)
- [PDF] From Grid Computing to Cloud Computing – The IBM Approach
- [PPT] Cloud Computing From 30,000 Feet
- [PDF] Cloud Computing and Net Centric Operations
- [PDF] The Eucalyptus Open-source Cloud-computing System
- [PDF] The Economic Impact of Cloud Computing on Business Creation, Employmen...
- [PDF] Cloud Computing and Grid Computing 360-Degree Compared
- [PDF] LINQ-to-Datacenter
- [PDF] Cloud-Computing Good bye Big Datacentres Hello Applications running in...
- [PPT] Cloud Computing
- [PDF] Enabling Interactive Jobs in Virtualized Data Centers (Extended Abstra...
- [PDF] Cloud-Computing-and-Grid-Computing-360-Degree-Compared
- [PDF] Tech Brief Cloud Computing
- [PDF] IEEE INTERNET COMPUTING Special Issue on Cloud Computing
- [PDF] The Impact of Cloud Computing on Enterprise Architecture
- [PDF] Digital Ecosystems in the Clouds Towards Community Cloud Computing
- [PDF] Cloud-computing-wp-final-8Oct
- [PDF] Science Clouds Early Experiences in Cloud Computing for Scientific App...
- [PDF] IBM Moves Toward a -Cloud Computing- Infrastructure
- [PPT] Google and Cloud Computing
- [PDF] Application Architecture for Cloud Computing
- [PDF] Towards Self-Adaptive Service-Oriented Architectures
- [PDF] Big Data Intelligence
- [PDF] Big Data Systems and Architecture(NQ)
- PDF] Sunny Days with Cloud Computing
- [PDF] Bigtable A Distributed Storage System for Structured Data
- [PDF] Bring Cloud Computing Inside
- [PDF] Building mission critical messaging system(Guoqiang Jerry)
- [PDF] Capacity Leasing in Cloud Systems using the OpenNebula Engine
- [PDF] Chukwa A large-scale monitoring system
- [PDF] Cloud Computing What to Ask When the Clouds Roll In
- [url=http://www.aiitee.com/thread-5693-1-1.html][PDF] Introduction to Cloud Computing Power-All Networks[/url]
- [PDF] Cloud Computing
- [PPT] Cloud Computing @ UW
- [PDF] IBM Introduces Ready-to-Use Cloud Computing
- [PDF] THUIRDB A Large-Scale, Highly-Efficient Index, Fast-Access Key-Value S...
- [PDF] Cloud Computing and Cloud Networking
- [PDF] Cloud Computing And Equal Access For All
- [PDF] Clover A NameNode Cluster Version of HDFS
- [PDF] CloudComputing CACM
- [PDF] HBase Coprocessors and Security
- [PDF] Using HadoopMapReduce with SolrLucene for Large Scale Distributed Sear...
- [PDF] Towards Cloud Computing Opportunities and challenges for e-Science
- [PDF] Perspectives on Cloud Computing and Standards
- [PDF] MRGIS A MapReduce-Enabled High Performance Workflow System for GIS
- [PDF] MapReduce 综述
- [PDF] Technical Report TR-08-07 An Evaluation of Amazon-s Grid
- [PDF] Cloudstone Multi-Platform, Multi-Language Benchmark and Measurement To...
- [PDF] Future of Big Data Analytics(Ronaldo Ama)
- [PDF] Amazon S3 for Science Grids a Viable Solution
- [PDF] Licensing Oracle Software in the Cloud Computing Environment
- [PPT] Cloud Computing BOF
- [PPT] Amazon Web Services Building Highly Scalable Web Applications
- [PDF] Search Index Building with HBase at eBay(Ming Ma)
- [PPT] An Introduction to SaaS and Cloud Computing
- [PPT] Clouds An Opportunity for Scientific Applications
- [PDF] Data Freeway and Puma Realtime Data Streams and Analytics
- [PPT] IBM-s Perspective on Cloud Computing
- [PDF] Big Data Migration Practice using Column Database(p-c)
- [PPT] CloudComputing
- [PDF] Deploying Database Appliances in the Cloud
- [PDF] An-Architectural-Map-of-the-Cloud-Landscape
- [PDF] Apache BookKeeper High-performance reliable write-ahead logging
- [PDF] Sector and Sphere The Design and Implementation of a High Performance...
- Hadoop:The Definitive Guide Second Edition
- Hadoop_The_Definitive_Guide_First_Edition
- Hadoop_The_Definitive_Guide_Third_Edition
更多推荐
所有评论(0)