您当前的位置:首页 > 计算机 > 编程开发 > Python

python --Pandas详解

时间:08-16来源:作者:点击数:

python --Pandas详解

本文详细介绍了Pandas库的安装、基础操作,包括Series和DataFrame数据结构的创建、索引操作、数据读写以及基本的增删改查。通过实例展示了如何利用Pandas处理和分析数据,如导入CSV和Excel文件,并提供了数据可视化资源链接。

安装

pip install pandas

检验是否安装成功

import pandas

print(pandas.__version__)
输出: 1.3.4

入门示例:

import pandas as pd

a = {
    '列名1': ['01', '02', '03'],
    '列名2': ['08', '09', '10']
}

b = pd.DataFrame(a)
print(b)

输出:
  列名1 列名2
0  01  08
1  02  09
2  03  10

Pandas 数据结构 - Series

Pandas Series 类似表格中的一个列(column),类似于一维数组,可以保存任何数据类型。

Series 由索引(index)和列组成,函数如下:

pandas.Series( data, index, dtype, name, copy)

参数说明:

  • data:一组数据(ndarray 类型)。
  • index:数据索引标签,如果不指定,默认从 0 开始。
  • dtype:数据类型,默认会自己判断。
  • name:设置名称。
  • copy:拷贝数据,默认为 False。

创建一个简单的 Series 实例:

import pandas as pd

a = [1, 2, 3]
myvar = pd.Series(a)
print(myvar)

输出:
0    1
1    2
2    3
dtype: int64

索引

如果没有指定索引,索引值就从 0 开始,我们可以根据索引值读取数据!

import pandas as pd

a = [1, 2, 3]
myvar = pd.Series(a)
print(myvar[2])

# print(myvar.get(10)) 可以通过get方式拿  拿不到返回None,也可指定默认值

输出:
3

可以指定索引值,如下:

import pandas as pd

a = ["Google", "Runoob", "Wiki"]

myvar = pd.Series(a, index=["x", "y", "z"])
print(myvar)
print('-------------------华丽的分割线------------------')
print(myvar['x'])

输出:
x    Google
y    Runoob
z      Wiki
dtype: object
-------------------华丽的分割线------------------
Google

也可以使用 key/value 对象,类似字典来创建 Series:

import pandas as pd

sites = {1: "Google", 5: "Runoob", 6: "Wiki"}

myvar = pd.Series(sites)  #  key变为了索引;
#也可以指定索引,例如 pd.Series(sites, index=[1,5])

print(myvar)

输出:
1    Google
5    Runoob
6      Wiki
dtype: object

Pandas 数据结构 - DataFrame

DataFrame 是一个表格型的数据结构,它含有一组有序的列,每列可以是不同的值类型(数值、字符串、布尔型值)。DataFrame 既有行索引也有列索引,它可以被看做由 Series 组成的字典(共同用一个索引)。

DataFrame 构造方法如下:

pandas.DataFrame( data, index, columns, dtype, copy)

参数说明:

  • data:一组数据(ndarray、series, map, lists, dict 等类型)。
  • index:索引值,或者可以称为行标签。
  • columns:列标签,默认为 RangeIndex (0, 1, 2, …, n) 。
  • dtype:数据类型。
  • copy:拷贝数据,默认为 False。

Pandas DataFrame 是一个二维的数组结构,类似二维数组。

实例 - 使用列表创建

import pandas as pd

data = [['Google', 10], ['Runoob', 12], ['Wiki', 13]]

df = pd.DataFrame(data, columns=['Site', 'Age'], dtype=float)

print(df)

输出:
     Site   Age
0  Google  10.0
1  Runoob  12.0
2    Wiki  13.0

实例 - 使用 ndarrays 创建

使用 ndarrays 创建,ndarray 的长度必须相同, 如果传递了 index,则索引的长度应等于数组的长度。如果没有传递索引,则默认情况下,索引将是range(n),其中n是数组长度。

import pandas as pd

data = {'Site': ['Google', 'Runoob', 'Wiki'], 'Age': [10, 12, 13]}

df = pd.DataFrame(data)

print(df)

输出:
     Site  Age
0  Google   10
1  Runoob   12
2    Wiki   13

使用字典(key/value),其中字典的 key 为列名:

import pandas as pd

data = [{'a': 1, 'b': 2}, {'a': 5, 'b': 10, 'c': 20}]

df = pd.DataFrame(data)

print(df)

输出:
   a   b     c
0  1   2   NaN
1  5  10  20.0

没有对应的部分数据为 NaN

Pandas 可以使用 loc 属性返回指定行的数据,如果没有设置索引,第一行索引为 0,第二行索引为 1,以此类推:

import pandas as pd

data = {
    "calories": [420, 380, 390],
    "duration": [50, 40, 45]
}

# 数据载入到 DataFrame 对象
df = pd.DataFrame(data)
print(df)
print('-' * 20)
# 返回第一行
print(df.loc[0])
print('-' * 20)
# 返回第二行
print(df.loc[1])

输出:
   calories  duration
0       420        50
1       380        40
2       390        45
--------------------
calories    420
duration     50
Name: 0, dtype: int64
--------------------
calories    380
duration     40
Name: 1, dtype: int64

注:返回结果其实就是一个 Pandas Series 数据。

也可以返回多行数据,使用 [[ … ]] 格式,… 为各行的索引,以逗号隔开

import pandas as pd

data = {
    "calories": [420, 380, 390],
    "duration": [50, 40, 45]
}

# 数据载入到 DataFrame 对象
df = pd.DataFrame(data)
print(df)
print('-' * 20)
# 返回第二行和第三行
print(df.loc[[1, 2]])

输出:
   calories  duration
0       420        50
1       380        40
2       390        45
--------------------
   calories  duration
1       380        40
2       390        45

注:返回结果其实就是一个 Pandas DataFrame 数据。

可以指定索引值,如下实例

import pandas as pd

data = {
    "calories": [420, 380, 390],
    "duration": [50, 40, 45]
}

df = pd.DataFrame(data, index=["day1", "day2", "day3"])

print(df)
print(df.loc["day2"]) # 按行取值

输出:
      calories  duration
day1       420        50
day2       380        40
day3       390        45

DataFrame 增删改查

import pandas as pd

data = {
    "calories": [420, 380, 390],
    "duration": [50, 40, 45]
}

df = pd.DataFrame(data, index=('10', '11', '12'))

# print(df['calories']) # 按列提取
print(df.iloc[0])  # 按行索引提取
# print(df.loc['10']) # 按行自定义索引提取



 # del df['duration']  # del 方法删除
df.pop('duration') # pop方法删除
print(df)



df['add'] = [88, 89, 90]  #新增
print(df)

# df.insert(0, 'insert', '98')   # 插入列索引,列名,值
df.insert(0, 'insert', [98, 99, 100])

处理CSV

读csv并输出

import pandas as pd
df = pd.read_csv(r'C:\Users\ht-desktop-001\Desktop\nba.csv')

print(type(df))  
print(df.to_string())
注: to_string() 用于返回 DataFrame 类型的数据,如果不使用该函数,则
输出结果为数据的前面 5 行和末尾 5 行,中间部分以 ... 代替。

输出:
<class 'pandas.core.frame.DataFrame'>
                         Name                    Team  Number Position   Age Height  Weight                College      Salary
0               Avery Bradley          Boston Celtics     0.0       PG  25.0    6-2   180.0                  Texas   7730337.0
1                 Jae Crowder          Boston Celtics    99.0       SF  25.0    6-6   235.0              Marquette   6796117.0
2                John Holland          Boston Celtics    30.0       SG  27.0    6-5   205.0      Boston University         NaN
...太长未复制

写入csv

import pandas as pd

# 三个字段 name, site, age
nme = ["Google", "Runoob", "Taobao", "Wiki"]
st = ["www.google.com", "www.cdsy.xyz", "www.taobao.com", "www.wikipedia.org"]
ag = [90, 40, 80, 98]

# 字典
dict = {'name': nme, 'site': st, 'age': ag}

df = pd.DataFrame(dict)

# 保存 dataframe
df.to_csv('site.csv')

head()

head( n ) 方法用于读取前面的 n 行,如果不填参数 n ,默认返回 5 行。

import pandas as pd

df = pd.read_csv('nba.csv')

print(df.head())  #  默认5行
# print(df.head(1)) 读1行

输出:
            Name            Team  Number  ... Weight            College     Salary
0  Avery Bradley  Boston Celtics     0.0  ...  180.0              Texas  7730337.0
1    Jae Crowder  Boston Celtics    99.0  ...  235.0          Marquette  6796117.0
2   John Holland  Boston Celtics    30.0  ...  205.0  Boston University        NaN
3    R.J. Hunter  Boston Celtics    28.0  ...  185.0      Georgia State  1148640.0
4  Jonas Jerebko  Boston Celtics     8.0  ...  231.0                NaN  5000000.0

[5 rows x 9 columns]

tail()

tail( n ) 方法用于读取尾部的 n 行,如果不填参数 n ,默认返回 5 行,空行各个字段的值返回 NaN。

import pandas as pd

df = pd.read_csv('nba.csv')

print(df.tail())

info()返回表格的一些基本信息

import pandas as pd

df = pd.read_csv(r'C:\Users\ht-desktop-001\Desktop\nba.csv')

print(df.info())

输出:
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 458 entries, 0 to 457          # 行数,458 行,第一行编号为 0
Data columns (total 9 columns):            # 列数,9列
 #   Column    Non-Null Count  Dtype       # 各列的数据类型
---  ------    --------------  -----  
 0   Name      457 non-null    object 
 1   Team      457 non-null    object 
 2   Number    457 non-null    float64
 3   Position  457 non-null    object 
 4   Age       457 non-null    float64
 5   Height    457 non-null    object 
 6   Weight    457 non-null    float64
 7   College   373 non-null    object         # non-null,意思为非空的数据    
 8   Salary    446 non-null    float64
dtypes: float64(4), object(5)                 # 类型

# non-null 为非空数据,我们可以看到上面的信息中,总共 458 行,College 字段的空值最多。

读excel

在利用pandas模块进行操作前,可以先引入这个模块,如下:

import  pandas  as pd

读取Excel文件的两种方式:

#方法一:默认读取第一个表单
df=pd.read_excel('lemon.xlsx')#这个会直接默认读取到这个Excel的第一个表单
data=df.head()#默认读取前5行的数据
print("获取到所有的值:\n{0}".format(data))#格式化输出


#方法二:通过指定表单名的方式来读取
df=pd.read_excel('lemon.xlsx',sheet_name='student')#可以通过sheet_name来指定读取的表单
data=df.head()#默认读取前5行的数据
print("获取到所有的值:\n{0}".format(data))#格式化输出


#方法三:通过表单索引来指定要访问的表单,0表示第一个表单
#也可以采用表单名和索引的双重方式来定位表单
#也可以同时定位多个表单,方式都罗列如下所示
df=pd.read_excel('lemon.xlsx',sheet_name=['python','student'])#可以通过表单名同时指定多个
# df=pd.read_excel('lemon.xlsx',sheet_name=0)#可以通过表单索引来指定读取的表单
# df=pd.read_excel('lemon.xlsx',sheet_name=['python',1])#可以混合的方式来指定
# df=pd.read_excel('lemon.xlsx',sheet_name=[1,2])#可以通过索引 同时指定多个
data=df.values#获取所有的数据,注意这里不能用head()方法哦~
print("获取到所有的值:\n{0}".format(data))#格式化输出

1、io,Excel的存储路径

2、sheet_name,要读取的工作表名称

3、header, 用哪一行作列名

4、names, 自定义最终的列名

5、index_col, 用作索引的列

6、usecols,需要读取哪些列

7、squeeze,当数据仅包含一列

8、converters ,强制规定列数据类型

9、skiprows,跳过特定行

10、nrows ,需要读取的行数

11、skipfooter , 跳过末尾n行

中文数据可视化文档

https://gallery.pyecharts.org/#/Bar/bar_rotate_xaxis_label
方便获取更多学习、工作、生活信息请关注本站微信公众号城东书院 微信服务号城东书院 微信订阅号
推荐内容
相关内容
栏目更新
栏目热门
本栏推荐