最近，报了一个俱乐部，第一节课的作业是对数据进行处理，查看异常值以及重复值，并研究气象参数与pm2.5的关系。

一.数据内容及任务

本次待处理的数据比较简单，首先看一下具体的数据内容：

分为以下几个维度：时间、风力、风向、湿度等，接下来我们对数据进行导入而后处理。

二.数据处理

包的导入

import pandas as pd
import missingno as msno
import matplotlib.pyplot as plt

# 文字规格
plt.rcParams['font.sans-serif']=['SimHei'] #显示中文标签
plt.rcParams['axes.unicode_minus']=False   #这两行需要手动设置

（一）数据读取

 

#读取文件
data=pd.read_csv("数据1.csv")

#看一下数据规格
data.shape

#看一下数据字段
data.head(10)

data.info()

 （二）数据简单分析处理

1.缺失值

首先对缺失率进行可视化观察一下

empty_column = []
for e, c in enumerate(data.columns):
    if sum(pd.isnull(data[c]))!=0:
        empty_column.append(c)
        print("feature_no:%d \t feature_name:%s \t null_num:%d \t null_rate: %.2f%%"% 
              (e, c , sum(pd.isnull(data[c])), 100*sum(pd.isnull(data[c]))/data(df[c])))

 

msno.matrix(data[data.columns])

看一下缺失率

# 缺失率
def missing_data(data):
    total = data.isnull().sum().sort_values(ascending = True)
    percent = (data.isnull().sum()/data.isnull().count()*100).sort_values(ascending = False)
    return pd.concat([total, percent], axis=1, keys=['Total', 'Percent'])
missing_data(data[data.columns])

惊呆了老铁，这次的数据没有缺失（在这里我都怀疑老师是不是数据给错了）。

2.重复数据

 数据方面也没重复。

3.异常值检测

 

 

plt.subplot(1,2,1)
plt.boxplot(data["湿度(RH)"])
plt.title("湿度(RH)")
plt.subplot(1,2,2)
plt.boxplot(data["风速(m/s)"])
plt.title("风速(m/s)")
plt.show()


plt.subplot(1,3,1)
plt.boxplot(data["温度(℃)"])
plt.title("温度(℃)")
plt.subplot(1,3,2)
plt.boxplot(data["PM2.5(ug/m3)"])
plt.title("PM2.5(ug/m3)")
plt.subplot(1,3,3)
plt.boxplot(data["PM10(ug/m3)"])
plt.title("PM10(ug/m3)")
plt.show()

 （三）.数据分析

 

 

 

 

 

分析可得时间的颗粒度太细，我们需要对时间进行压缩来进一步对数据进行观察。 

 

 

 

 数据特征分析：相关性分析

 

 

 

 

Pearson相关系数

相关系数的绝对值越大，相关性越强：相关系数越接近于1或-1，相关度越强，相关系数越接近于0，相关度越弱。

通常情况下通过以下取值范围判断变量的相关强度：

相关系数绝对值 ：

0.8-1.0 极强相关

0.6-0.8 强相关

0.4-0.6 中等程度相关

0.2-0.4 弱相关

0.0-0.2 极弱相关或无相关

采用Pearson相关系数检验相关性时，应先检验数据是否服从正态分布：

 

 （四）可视分析

 

后面会把数据分享给大家

本文章仅供交流，如有转载，请标明来处 谢谢