pandas读取excel

andas是一个功能强大的数据处理库，它提供了多种方法来读取Excel文件，在处理Excel数据时，我们通常需要根据具体的文件结构和需求来选择合适的读取方式,以下是一些常见的使用场景和方法：

基本读取

假设你有一个名为data.xlsx的Excel文件，其中包含一个工作表Sheet1,你可以使用以下代码将其读取为一个DataFrame：

import pandas as pd
# 读取第一个工作表
df = pd.read_excel('data.xlsx')
print(df.head())
# 读取指定名称的工作表
df_sheet1 = pd.read_excel('data.xlsx', sheet_name='Sheet1')
print(df_sheet1.head())

选择特定的列和行

如果你只对文件中的某些列感兴趣，可以使用usecols参数来指定要读取的列，如果你只想读取A、C和D列,可以这样做：

# 按列字母读取
df = pd.read_excel('data.xlsx', usecols='A,C:D')
print(df.head())
# 按列名读取
df = pd.read_excel('data.xlsx', usecols=['日期', '销量'])
print(df.head())
# 按索引读取
df = pd.read_excel('data.xlsx', usecols=[0, 3])
print(df.head())

你还可以使用skiprows和nrows参数来跳过文件顶部或底部的行,或者只读取特定数量的行：

# 跳过前2行和末尾1行
df = pd.read_excel('report.xlsx', header=0, skiprows=2, skipfooter=1)
print(df.head())
# 读取前10行数据
df = pd.read_excel('data.xlsx', nrows=10)
print(df.head())

处理缺失值

在实际数据中，缺失值可能以各种形式存在，如"N/A", "-", "空"等，你可以使用na_values参数来指定哪些值应被视为缺失值：

# 将"N/A"和"-"识别为缺失值
df = pd.read_excel('data_with_missing.xlsx', na_values=['N/A', '-'])
print(df.isnull().sum())

指定数据类型

有时Pandas可能会错误地推断数据类型（将数字编码的ID读取为整数而不是字符串），你可以使用dtype参数来强制指定列的数据类型：

# 将"产品ID"读取为字符串，"销量"读取为浮点数
df = pd.read_excel('products.xlsx', dtype={'产品ID': str, '销量': float})
print(df.dtypes)

读取多个工作表

如果Excel文件包含多个工作表，你可以一次性加载所有工作表，或者只加载指定的几个工作表。sheet_name参数可以接受一个列表,用于指定要读取的工作表名称或索引：

# 读取所有工作表，返回一个字典
all_sheets = pd.read_excel('sales_multi_sheet.xlsx', sheet_name=None)
print(all_sheets.keys())
# 访问第一个工作表的DataFrame
df_sheet1 = all_sheets['Sheet1']
print(df_sheet1.head())
# 读取指定的一些工作表
quarterly_data = pd.read_excel('sales_multi_sheet.xlsx', sheet_name=['Q1', 'Q2'])
print(quarterly_data[0].head())  # Q1的数据
print(quarterly_data[1].head())  # Q2的数据

处理大型Excel文件

当处理大型Excel文件时，一次性将整个文件加载到内存中可能会导致内存不足，此时可以使用chunksize参数进行分块读取：

chunk_size = 1000
chunks = pd.read_excel('large_file.xlsx', chunksize=chunk_size)
for chunk in chunks:
    # 处理每个数据块
    processed_chunk = chunk[chunk['销量'] > 100]
    print(processed_chunk.head())

实战演练：清洗一个不规范的Excel文件

假设我们有一个不规范的报告messy_report.xlsx，其中包含一些杂乱的信息,我们可以使用Pandas的各种参数来清洗这个文件：

# 自定义列名并跳过前两行
df = pd.read_excel('messy_report.xlsx', header=None, names=['ID', '下单日期', '城市', '产品名称', '销量', '备注'], skiprows=2)
print(df.head())
# 转换日期格式
df['下单日期'] = pd.to_datetime(df['下单日期'], format='%Y-%m-%d')
print(df.head())
# 填充缺失值
df.fillna(0, inplace=True)
print(df.isnull().sum())

FAQs

Q1: 如何读取Excel文件中的特定区域？

A1: 你可以使用usecols参数指定要读取的列范围，使用skiprows和nrows参数指定要跳过的行和读取的行数。

# 读取第1到第3列，跳过前2行，读取10行
df = pd.read_excel('data.xlsx', usecols="A:C", skiprows=2, nrows=10)
print(df.head())

Q2: 如何处理Excel文件中的合并单元格？

A2: 你可以使用openpyxl库来处理合并单元格，你需要加载工作簿并获取合并单元格的信息,然后根据这些信息填充数据。

from openpyxl import load_workbook
wb = load_workbook('merged_cells.xlsx')
ws = wb['Sheet1']
# 获取合并单元格信息
merged_ranges = ws.merged_cells.ranges
# 填充合并单元格值
for merged_range in merged_ranges:
    min_row, min_col, max_row, max_col = merged_range.bounds
    cell_value = ws.cell(row=min_row, column=min_col).value
    for row in range(min_row, max_row + 1):
        for col in range(min_col, max_col + 1):
            ws.cell(row=row, column=col).value = cell_value
# 保存修改后的文件
wb.save('merged_cells_filled.xlsx