Python自动化测试—使用Pandas来高效处理测试数据

一、思考

1.Pandas是什么？ 　　

• 功能极其强大的数据分析库

• 可以高效地操作各种数据集

  1. csv格式的文件
  2. Excel文件
  3. HTML文件
  4. XML格式的文件
  5. JSON格式的文件
  6. 数据库操作

2.经典面试题

通过面试题引出主题，读者可以思考，如果你遇到这题，该如何解答呢？

二、使用pandas来操作Excel文件

1.安装

a.通过Pypi来安装

pip install pandas

b.通过源码来安装

git clone git://github.com/pydata/pandas.git

cd pandas

python setup.py install

2.按列读取数据

案例中的lemon_cases.xlsx文件内容如下所示： 　　

import pandas as pd

# 读excel文件

# 返回一个DataFrame对象，多维数据结构

df = pd.read_excel('lemon_cases.xlsx', sheet_name='multiply')

print(df)

# 1.读取一列数据

# df["title"] 返回一个Series对象，记录title这列的数据

print(df["title"])

# Series对象能转化为任何序列类型和dict字典类型

print(list(df['title']))    # 转化为列表

# title为DataFrame对象的属性

print(list(df.title))    # 转化为列表

print(tuple(df['title']))   # 转化为元组

print(dict(df['title']))    # 转化为字典，key为数字索引

# 2.读取某一个单元格数据

# 不包括表头，指定列名和行索引

print(df['title'][0])   # title列，不包括表头的第一个单元格

# 3.读取多列数据

print(df[["title", "actual"]])

3.按行读取数据

import pandas as pd

# 读excel文件

df = pd.read_excel('lemon_cases.xlsx', sheet_name='multiply')   # 返回一个DataFrame对象，多维数据结构

print(df)

# 1.读取一行数据

# 不包括表头，第一个索引值为0

# 获取第一行数据，可以将其转化为list、tuple、dict

print(list(df.iloc[0]))  # 转成列表

print(tuple(df.iloc[0]))  # 转成元组

print(dict(df.iloc[0]))  # 转成字典

print(dict(df.iloc[-1]))  # 也支持负索引

# 2.读取某一个单元格数据

# 不包括表头，指定行索引和列索引（或者列名）

print(df.iloc[0]["l_data"])   # 指定行索引和列名

print(df.iloc[0][2])    # 指定行索引和列索引

# 3.读取多行数据

print(df.iloc[0:3])

4.iloc和loc方法

import pandas as pd

　　# 读excel文件

　　df = pd.read_excel('lemon_cases.xlsx', sheet_name='multiply')   # 返回一个DataFrame对象，多维数据结构

　　print(df)

　　# 1.iloc方法

　　# iloc使用数字索引来读取行和列

　　# 也可以使用iloc方法读取某一列

　　print(df.iloc[:, 0])

　　print(df.iloc[:, 1])

　　print(df.iloc[:, -1])

　　# 读取多列

　　print(df.iloc[:, 0:3])

　　# 读取多行多列

　　print(df.iloc[2:4, 1:4])

　　print(df.iloc[[1, 3], [2, 4]])

　　# 2.loc方法

　　# loc方法，基于标签名或者索引名来选择

　　print(df.loc[1:2, "title"])             # 多行一列

　　print(df.loc[1:2, "title":"r_data"])    # 多列多行

　　# 基于布尔类型来选择

　　print(df["r_data"] > 5)  # 某一列中大于5的数值为True，否则为False

　　print(df.loc[df["r_data"] > 5])  # 把r_data列中大于5，所在的行选择出来

　　print(df.loc[df["r_data"] > 5, "r_data":"actual"])  # 把r_data到actual列选择出来

5.读取所有数据

import pandas as pd

# 读excel文件

df = pd.read_excel('lemon_cases.xlsx', sheet_name='multiply')   # 返回一个DataFrame对象，多维数据结构

print(df)

# 读取的数据为嵌套列表的列表类型，此方法不推荐使用

print(df.values)

# 嵌套字典的列表

datas_list = []

for r_index in df.index:

datas_list.append(df.iloc[r_index].to_dict())

print(datas_list)

6.写入数据

import pandas as pd

# 读excel文件

df = pd.read_excel('lemon_cases.xlsx', sheet_name='multiply')   # 返回一个DataFrame对象，多维数据结构

print(df)

df['result'][0] = 1000

print(df)

with pd.ExcelWriter('lemon_cases_new.xlsx') as writer:

df.to_excel(writer, sheet_name="New", index=False)

三、使用pandas来操作csv文件

1.读取csv文件

案例中的data.log文件内容如下所示：

TestID,TestTime,Success

0,149,0

1,69,0

2,45,0

3,18,1

4,18,1

import pandas as pd

# 读取csv文件

# 方法一，使用read_csv读取，列与列之间默认以逗号分隔（推荐方法）

# a.第一行为列名信息

csvframe = pd.read_csv('data.log')

# b.第一行没有列名信息，直接为数据

csvframe = pd.read_csv('data.log', header=None)

# c.第一行没有列名信息，直接为数据，也可以指定列名

csvframe = pd.read_csv('data.log', header=None, names=["Col1", "Col2", "Col3"])

# 方法二，read_table，需要指定列与列之间分隔符为逗号

csvframe = pd.read_table('data.log', sep=",")

2.解答面试题

i

mport pandas as pd

# 1.读取csv文件

csvframe = pd.read_csv('data.log')

# 2.选择Success为0的行

new_csvframe = csvframe.loc[csvframe["Success"] == 0]

result_csvframe = new_csvframe["TestTime"]

avg_result = round(sum(result_csvframe)/len(result_csvframe), 2)

print("TestTime最小值为：{}\nTestTime最大值为：{}\nTestTime平均值为：{}".

format(min(result_csvframe), max(result_csvframe), avg_result))

四、总结

在数据分析、数据可视化领域，Pandas的应用极其广泛；在大规模数据、多种类数据处理上效率非常高

在软件测试领域也有应用，但如果仅仅用excel来存放测试数据，使用Pandas就有点“杀鸡焉用宰牛刀”的感觉，那么建议使用特定的模块来处理（比如openpyxl）

如有任何问题或想技术探讨等：

• 软件测试学习交流群：785128166
• 软件测试学习路线+配套资源，可关注公众号：程序员二黑，免费获取
• 以后的路我们一起加油！

精彩推荐

在职阿里6年，一个29岁女软件测试工程师的心声

拒绝B站邀约，从月薪3k到年薪47W，我的经验值得每一个测试人借鉴

公司新来的阿里p8，看了我做的APP和接口测试，甩给了我这份文档