Pandas小技巧：使用query()优雅的查询

本文介绍了Pandas DataFrame中使用query方法进行数据筛选的方法，包括根据单条件、多条件筛选，引用外部变量，以及处理多索引数据。query方法使得代码更加简洁易读，并且内存效率高。示例展示了如何选取A列字母在B列中的行，以及结合其他条件如C列小于D列进行筛选。同时，文章还提到了如何处理列名包含特殊字符的情况。

对于 Pandas 根据条件获取指定数据，相信大家都能够轻松的写出相应代码，但是如果你还没用过 query，相信你会被它的简洁所折服！

常规用法

先创建一个 DataFrame。

import pandas as pd

df = pd.DataFrame(
    {'A': ['e', 'd', 'c', 'b', 'a'],
     'B': ['f', 'b', 'c', 'd', 'e'],
     'C': range(0, 10, 2),
     'D': range(10, 0, -2),
     'E.E': range(10, 5, -1)})

我们现在选取 A列字母出现在B列 的所有行。先看两种常见写法。

>>> df[df['A'].isin(df['B'])]
   A  B  C   D  E.E
0  e  f  0  10   10
1  d  b  2   8    9
2  c  c  4   6    8
3  b  d  6   4    7
>>> df.loc[df['A'].isin(df['B'])]
   A  B  C   D  E.E
0  e  f  0  10   10
1  d  b  2   8    9
2  c  c  4   6    8
3  b  d  6   4    7

下面使用 query() 来实现。

>>> df.query("A in B")
   A  B  C   D  E.E
0  e  f  0  10   10
1  d  b  2   8    9
2  c  c  4   6    8
3  b  d  6   4    7

可以看到使用 query 后的代码简洁易懂，并且它对于内存的消耗也更小。

多条件查询

选取 A列字母出现在B列，并且C列小于D列 的所有行。

>>> df.query('A in B and C < D')
   A  B  C   D  E.E
0  e  f  0  10   10
1  d  b  2   8    9
2  c  c  4   6    8

这里 and 也可以用 & 表示。

引用变量

表达式中也可以使用外部定义的变量，在变量名前用@标明。

>>> number = 5
>>> df.query('A in B & C > @number')
   A  B  C  D  E.E
3  b  d  6  4    7

索引选取

选取 A列字母出现在B列，并且索引大于2 的所有行。

>>> df.query('A in B and index > 2')
   A  B  C  D  E.E
3  b  d  6  4    7

多索引选取

创建一个两层索引的 DataFrame。

>>> import numpy as np
>>> colors = ['yellow']*3 + ['red']*2
>>> rank = [str(i) for i in range(5)]
>>> index = pd.MultiIndex.from_arrays([colors, rank], names=['color', 'rank'])
>>> df = pd.DataFrame(np.arange(10).reshape(5, 2),columns=['A', 'B'] , index=index)
>>> df = pd.DataFrame(np.arange(10).reshape(5, 2),columns=['A', 'B'] , index=index)
>>> df
             A  B
color  rank      
yellow 0     0  1
       1     2  3
       2     4  5
red    3     6  7
       4     8  9

1.当有多层索引有名称时，通过索引名称直接选取。

>>> df.query("color == 'red'")
            A  B
color rank      
red   3     6  7
      4     8  9

2.当有多层索引无名时，通过索引级别来选取。

>>> df.index.names = [None, None]
>>> df.query("ilevel_0 == 'red'")
       A  B
red 3  6  7
    4  8  9
>>> df.query("ilevel_1 == '4'")
       A  B
red 4  8  9

特殊字符

对于列名中间有空格或运算符等其他特殊符号，需要使用反引号 ``。

>>> df.query('A == B | (C + 2 > `E.E`)')
   A  B  C  D  E.E
2  c  c  4  6    8
3  b  d  6  4    7
4  a  e  8  2    6

总的来说，query() 用法比较简单，可以快速上手，代码可读性也提高了不少。