带大家走一下大数据项目的整个实战流程,让读者了解大数据项目是如何运行的。对大数据有一个总体的概念。

一、搭建大数据集群环境

1.搭建大数据实验环境

(1)Linux系统虚拟机的安装与克隆
(2)配置虚拟机网络与SSH服务
(3)搭建Hadoop集群
(4)安装MySql数据库
(5)安装 Hive
(6) 安装 Sqoop
(7) 其他组件的安装
以上内容不再详细讲解,参考相关内容。

二、数据爬取

1.数据爬取技术

数据爬取可以采用Java爬取,也可以采用python进行爬取。python在数据爬取方面代码简单,尽量采用python进行数据爬取。

2.爬取的数据上传到HDFS

在windows上采集的数据,上传到hdfs方式很多。采集网页的数据上传到hdfs主要有以下两种:
(1) 通过java 或者python操作hdfs上传。
python操作hdfs模块上传文件到HDFS
https://blog.csdn.net/Smallcaff/article/details/79488350
(2)将采集的数据先上传到linux服务器,再上传到hdfs
参考:https://blog.csdn.net/qq_43584847/article/details/98874497

三、数据预处理

可以通过mapreduce对数据进行处理。
在windows上编写mr 程序,把写好的mr程序打包成jar包上传到hdfs,在hdfs上运行打好的jar程序。
对上传到hdfs的采集的数据进行预处理。

四、数据分析

使用hive对数据进行分析。

五、数据可视化

使用sqoop把hive里面的分析好的数据导入到mysql数据库。
编写web程序读取mysql数据,把读取到的数据通过echarts工具进行图像化显示。
编写web程序可以使用javaweb,也可以使用python,或者python 中的flask框架。

只是列出了大致的流程。

Logo

华为云1024程序员节送福利,参与活动赢单人4000元礼包,更有热门技术干货免费学习

更多推荐