python --Pandas详解

本文详细介绍了Pandas库的安装、基础操作，包括Series和DataFrame数据结构的创建、索引操作、数据读写以及基本的增删改查。通过实例展示了如何利用Pandas处理和分析数据，如导入CSV和Excel文件，并提供了数据可视化资源链接。

安装

pip install pandas

检验是否安装成功

import pandas

print(pandas.__version__)
输出: 1.3.4

入门示例:

import pandas as pd

a = {
    '列名1': ['01', '02', '03'],
    '列名2': ['08', '09', '10']
}

b = pd.DataFrame(a)
print(b)

输出:
  列名1 列名2
0  01  08
1  02  09
2  03  10

Pandas 数据结构 - Series

Pandas Series 类似表格中的一个列（column），类似于一维数组，可以保存任何数据类型。

Series 由索引（index）和列组成，函数如下：

pandas.Series( data, index, dtype, name, copy)

参数说明：

• data：一组数据(ndarray 类型)。
• index：数据索引标签，如果不指定，默认从 0 开始。
• dtype：数据类型，默认会自己判断。
• name：设置名称。
• copy：拷贝数据，默认为 False。

创建一个简单的 Series 实例：

import pandas as pd

a = [1, 2, 3]
myvar = pd.Series(a)
print(myvar)

输出:
0    1
1    2
2    3
dtype: int64

索引

如果没有指定索引，索引值就从 0 开始，我们可以根据索引值读取数据！

import pandas as pd

a = [1, 2, 3]
myvar = pd.Series(a)
print(myvar[2])

# print(myvar.get(10)) 可以通过get方式拿  拿不到返回None，也可指定默认值

输出:
3

可以指定索引值，如下:

import pandas as pd

a = ["Google", "Runoob", "Wiki"]

myvar = pd.Series(a, index=["x", "y", "z"])
print(myvar)
print('-------------------华丽的分割线------------------')
print(myvar['x'])

输出:
x    Google
y    Runoob
z      Wiki
dtype: object
-------------------华丽的分割线------------------
Google

也可以使用 key/value 对象，类似字典来创建 Series：

import pandas as pd

sites = {1: "Google", 5: "Runoob", 6: "Wiki"}

myvar = pd.Series(sites)  #  key变为了索引;
#也可以指定索引,例如 pd.Series(sites, index=[1,5])

print(myvar)

输出:
1    Google
5    Runoob
6      Wiki
dtype: object

Pandas 数据结构 - DataFrame

DataFrame 是一个表格型的数据结构，它含有一组有序的列，每列可以是不同的值类型（数值、字符串、布尔型值）。DataFrame 既有行索引也有列索引，它可以被看做由 Series 组成的字典（共同用一个索引）。

DataFrame 构造方法如下：

pandas.DataFrame( data, index, columns, dtype, copy)

参数说明：

• data：一组数据(ndarray、series, map, lists, dict 等类型)。
• index：索引值，或者可以称为行标签。
• columns：列标签，默认为 RangeIndex (0, 1, 2, …, n) 。
• dtype：数据类型。
• copy：拷贝数据，默认为 False。

Pandas DataFrame 是一个二维的数组结构，类似二维数组。

实例 - 使用列表创建

import pandas as pd

data = [['Google', 10], ['Runoob', 12], ['Wiki', 13]]

df = pd.DataFrame(data, columns=['Site', 'Age'], dtype=float)

print(df)

输出:
     Site   Age
0  Google  10.0
1  Runoob  12.0
2    Wiki  13.0

实例 - 使用 ndarrays 创建

使用 ndarrays 创建，ndarray 的长度必须相同， 如果传递了 index，则索引的长度应等于数组的长度。如果没有传递索引，则默认情况下，索引将是range(n)，其中n是数组长度。

import pandas as pd

data = {'Site': ['Google', 'Runoob', 'Wiki'], 'Age': [10, 12, 13]}

df = pd.DataFrame(data)

print(df)

输出:
     Site  Age
0  Google   10
1  Runoob   12
2    Wiki   13

使用字典（key/value），其中字典的 key 为列名:

import pandas as pd

data = [{'a': 1, 'b': 2}, {'a': 5, 'b': 10, 'c': 20}]

df = pd.DataFrame(data)

print(df)

输出:
   a   b     c
0  1   2   NaN
1  5  10  20.0

没有对应的部分数据为 NaN

Pandas 可以使用 loc 属性返回指定行的数据，如果没有设置索引，第一行索引为 0，第二行索引为 1，以此类推：

import pandas as pd

data = {
    "calories": [420, 380, 390],
    "duration": [50, 40, 45]
}

# 数据载入到 DataFrame 对象
df = pd.DataFrame(data)
print(df)
print('-' * 20)
# 返回第一行
print(df.loc[0])
print('-' * 20)
# 返回第二行
print(df.loc[1])

输出:
   calories  duration
0       420        50
1       380        40
2       390        45
--------------------
calories    420
duration     50
Name: 0, dtype: int64
--------------------
calories    380
duration     40
Name: 1, dtype: int64

注:返回结果其实就是一个 Pandas Series 数据。

也可以返回多行数据，使用 [[ … ]] 格式，… 为各行的索引，以逗号隔开

import pandas as pd

data = {
    "calories": [420, 380, 390],
    "duration": [50, 40, 45]
}

# 数据载入到 DataFrame 对象
df = pd.DataFrame(data)
print(df)
print('-' * 20)
# 返回第二行和第三行
print(df.loc[[1, 2]])

输出:
   calories  duration
0       420        50
1       380        40
2       390        45
--------------------
   calories  duration
1       380        40
2       390        45

注：返回结果其实就是一个 Pandas DataFrame 数据。

可以指定索引值，如下实例

import pandas as pd

data = {
    "calories": [420, 380, 390],
    "duration": [50, 40, 45]
}

df = pd.DataFrame(data, index=["day1", "day2", "day3"])

print(df)
print(df.loc["day2"]) # 按行取值

输出:
      calories  duration
day1       420        50
day2       380        40
day3       390        45

DataFrame 增删改查

import pandas as pd

data = {
    "calories": [420, 380, 390],
    "duration": [50, 40, 45]
}

df = pd.DataFrame(data, index=('10', '11', '12'))

# print(df['calories']) # 按列提取
print(df.iloc[0])  # 按行索引提取
# print(df.loc['10']) # 按行自定义索引提取



 # del df['duration']  # del 方法删除
df.pop('duration') # pop方法删除
print(df)



df['add'] = [88, 89, 90]  #新增
print(df)

# df.insert(0, 'insert', '98')   # 插入列索引,列名,值
df.insert(0, 'insert', [98, 99, 100])

处理CSV

读csv并输出

import pandas as pd
df = pd.read_csv(r'C:\Users\ht-desktop-001\Desktop\nba.csv')

print(type(df))  
print(df.to_string())
注： to_string() 用于返回 DataFrame 类型的数据，如果不使用该函数，则
输出结果为数据的前面 5 行和末尾 5 行，中间部分以 ... 代替。

输出:
<class 'pandas.core.frame.DataFrame'>
                         Name                    Team  Number Position   Age Height  Weight                College      Salary
0               Avery Bradley          Boston Celtics     0.0       PG  25.0    6-2   180.0                  Texas   7730337.0
1                 Jae Crowder          Boston Celtics    99.0       SF  25.0    6-6   235.0              Marquette   6796117.0
2                John Holland          Boston Celtics    30.0       SG  27.0    6-5   205.0      Boston University         NaN
...太长未复制

写入csv

import pandas as pd

# 三个字段 name, site, age
nme = ["Google", "Runoob", "Taobao", "Wiki"]
st = ["www.google.com", "www.cdsy.xyz", "www.taobao.com", "www.wikipedia.org"]
ag = [90, 40, 80, 98]

# 字典
dict = {'name': nme, 'site': st, 'age': ag}

df = pd.DataFrame(dict)

# 保存 dataframe
df.to_csv('site.csv')

head()

head( n ) 方法用于读取前面的 n 行，如果不填参数 n ，默认返回 5 行。

import pandas as pd

df = pd.read_csv('nba.csv')

print(df.head())  #  默认5行
# print(df.head(1)) 读1行

输出:
            Name            Team  Number  ... Weight            College     Salary
0  Avery Bradley  Boston Celtics     0.0  ...  180.0              Texas  7730337.0
1    Jae Crowder  Boston Celtics    99.0  ...  235.0          Marquette  6796117.0
2   John Holland  Boston Celtics    30.0  ...  205.0  Boston University        NaN
3    R.J. Hunter  Boston Celtics    28.0  ...  185.0      Georgia State  1148640.0
4  Jonas Jerebko  Boston Celtics     8.0  ...  231.0                NaN  5000000.0

[5 rows x 9 columns]

tail()

tail( n ) 方法用于读取尾部的 n 行，如果不填参数 n ，默认返回 5 行，空行各个字段的值返回 NaN。

import pandas as pd

df = pd.read_csv('nba.csv')

print(df.tail())

info()返回表格的一些基本信息

import pandas as pd

df = pd.read_csv(r'C:\Users\ht-desktop-001\Desktop\nba.csv')

print(df.info())

输出:
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 458 entries, 0 to 457          # 行数，458 行，第一行编号为 0
Data columns (total 9 columns):            # 列数，9列
 #   Column    Non-Null Count  Dtype       # 各列的数据类型
---  ------    --------------  -----  
 0   Name      457 non-null    object 
 1   Team      457 non-null    object 
 2   Number    457 non-null    float64
 3   Position  457 non-null    object 
 4   Age       457 non-null    float64
 5   Height    457 non-null    object 
 6   Weight    457 non-null    float64
 7   College   373 non-null    object         # non-null，意思为非空的数据    
 8   Salary    446 non-null    float64
dtypes: float64(4), object(5)                 # 类型

# non-null 为非空数据，我们可以看到上面的信息中，总共 458 行，College 字段的空值最多。

读excel

在利用pandas模块进行操作前，可以先引入这个模块，如下：

import  pandas  as pd

读取Excel文件的两种方式：

#方法一：默认读取第一个表单
df=pd.read_excel('lemon.xlsx')#这个会直接默认读取到这个Excel的第一个表单
data=df.head()#默认读取前5行的数据
print("获取到所有的值:\n{0}".format(data))#格式化输出


#方法二：通过指定表单名的方式来读取
df=pd.read_excel('lemon.xlsx',sheet_name='student')#可以通过sheet_name来指定读取的表单
data=df.head()#默认读取前5行的数据
print("获取到所有的值:\n{0}".format(data))#格式化输出


#方法三：通过表单索引来指定要访问的表单，0表示第一个表单
#也可以采用表单名和索引的双重方式来定位表单
#也可以同时定位多个表单，方式都罗列如下所示
df=pd.read_excel('lemon.xlsx',sheet_name=['python','student'])#可以通过表单名同时指定多个
# df=pd.read_excel('lemon.xlsx',sheet_name=0)#可以通过表单索引来指定读取的表单
# df=pd.read_excel('lemon.xlsx',sheet_name=['python',1])#可以混合的方式来指定
# df=pd.read_excel('lemon.xlsx',sheet_name=[1,2])#可以通过索引 同时指定多个
data=df.values#获取所有的数据，注意这里不能用head()方法哦~
print("获取到所有的值:\n{0}".format(data))#格式化输出

1、io，Excel的存储路径

2、sheet_name，要读取的工作表名称

3、header， 用哪一行作列名

4、names， 自定义最终的列名

5、index_col， 用作索引的列

6、usecols，需要读取哪些列

7、squeeze，当数据仅包含一列

8、converters ，强制规定列数据类型

9、skiprows，跳过特定行

10、nrows ，需要读取的行数

11、skipfooter ， 跳过末尾n行

中文数据可视化文档

https://gallery.pyecharts.org/#/Bar/bar_rotate_xaxis_label