day09数据分析作业

day09数据分析作业

作业1

需求：

1. 导入文件，查看原始数据
2. 将人口数据和各州简称数据进行合并
3. 将合并的数据中重复的abbreviation列进行删除
4. 查看存在缺失数据的列
5. 找到有哪些state/region使得state的值为NaN，进行去重操作
6. 为找到的这些state/region的state项补上正确的值，从而去除掉state这一列的所有NaN
7. 合并各州面积数据areas
8. 我们会发现area(sq.mi)这一列有缺失数据，找出是哪些行
9. 去除含有缺失数据的行
10. 找出2010年的全民人口数据
11. 计算各州的人口密度
12. 排序，并找出人口密度最高的五个州 df.sort_values()

1

import numpy as np
from pandas import DataFrame,Series
import pandas as pd

abb = pd.read_csv('./data/state-abbrevs.csv')
pop = pd.read_csv('./data/state-population.csv')
area = pd.read_csv('./data/state-areas.csv')

2

将人口数据和各州简称数据进行合并
abb_pop = pd.merge(abb,pop,left_on='abbreviation',right_on='state/region',how='outer')
abb_pop.head(3)

3

将合并的数据中重复的abbreviation列进行删除
abb_pop.drop(labels='abbreviation',axis=1,inplace=True)

4

查看存在缺失数据的列
abb_pop.isnull().any(axis=0) # notnull()和all() 里面还得填axis啊

5

找到有哪些state/region使得state的值为NaN，进行去重操作
abb_pop.head(5)

1.找出state中的空值

abb_pop['state'].isnull()

2.将布尔值作为元数据的行索引：定位到所有state为空对应的行数据

abb_pop.loc[abb_pop['state'].isnull()]

3.将空对应的行数据中的简称这一列的数据取出进行去重操作

abb_pop.loc[abb_pop['state'].isnull()]['state/region'].unique()

结果--->array(['USA','PR'], dtype=object)

6

为找到的这些state/region的state项补上正确的值，从而去除掉state这一列的所有NaN

给state的NAN补United States

1.找出USA对应state列中的空值

abb_pop['state/region'] == 'USA'

2.取出USA对应的行数据

abb_pop.loc[abb_pop['state/region'] == 'USA']
indexs = abb_pop.loc[abb_pop['state/region'] == 'USA'].index

3.将USA对应的空值覆盖成对应的值

abb_pop.loc[indexs,'state'] = 'United States'

同理处理'PR'
abb_pop['state/region'] == 'PR'
abb_pop.loc[abb_pop['state/region'] == 'PR']
indexs = abb_pop.loc[abb_pop['state/region'] == 'PR'].index
abb_pop.loc[indexs,'state'] = 'ppprrr'

<u># 提醒不要忘了loc取行,不能直接取(df)

7

合并各州面积数据areas

abb_pop_area = pd.merge(abb_pop,area,how='outer')

<u># 提醒不要忘了how

8

我们会发现area(sq.mi)这一列有缺失数据，找出是哪些行

9

去除含有缺失数据的行

abb_pop_area['area (sq. mi)'].isnull()
abb_pop_area.loc[abb_pop_area['area (sq. mi)'].isnull()]
indexs = abb_pop_area.loc[abb_pop_area['area (sq. mi)'].isnull()].indexabb_pop_area.drop(labels=indexs,axis=0,inplace=True)

10

找出2010年的全民人口数据
df_2010 = abb_pop_area.query('year == 2010 & ages == "total"')

query筛选

11

计算各州的人口密度
abb_pop_area['midu'] = abb_pop_area['population'] / abb_pop_area['area (sq. mi)']
abb_pop_area.head(1)

12

排序，并找出人口密度最高的五个州 df.sort_values()
abb_pop_area.sort_values(by='midu',ascending=False)['state'].unique()[0:5]

练习7：

简述None与NaN的区别

假设张三李四参加模拟考试，但张三因为突然想明白人生放弃了英语考试，因此记为None，请据此创建一个DataFrame,命名为ddd3

老师决定根据用数学的分数填充张三的英语成绩，如何实现？ 用李四的英语成绩填充张三的英语成绩？

============================================

import random

ddd = DataFrame(data =np.random.randint(90,130,size=(2,2)),index=['英语','数学'],columns=['张三','李四'])
ddd
ddd.loc['数学','张三'] = np.nan
ddd
ddd.fillna(method='ffill',axis=0)
ddd.fillna(method='bfill',axis=1)

练习20：

新增两列，分别为张三、李四的成绩状态，如果分数低于90，则为"failed"，如果分数高于120，则为"excellent"，其他则为"pass"

 df chengji(s):
     if s<90:
         return 'failed'
     if s>120:
         return 'excellent'
     else:
         return 'pass'
             
 【提示】使用函数作为map的参数

def kaoshi(s):
if s<6000:
return 'failed'
if s>7200:
return 'excellent'
else:
return 'pass'

df['after_sal'] = df['salary'].map(kaoshi)# 也是
df