简介

Python的Pandas库是数据分析的基本工具，提供了强大的数据操作和分析功能。在本文中，将探讨每个数据科学家都应该将其掌握的15个高级Pandas代码片段。这些代码片段将帮助简化数据分析任务，并从数据集中提取有价值的见解。

1.过滤数据

import pandas as pd

# 创建一个DataFrame
data = {'Name': ['Alice', 'Bob', 'Charlie', 'David'],
        'Age': [25, 30, 35, 40]}

df = pd.DataFrame(data)

# 过滤年龄大于30的记录
filtered_df = df[df['Age'] > 30]
print(filtered_df)

2.分组和聚合数据

# 按列分组并计算平均值
grouped = df.groupby('Age').mean()
print(grouped)

3.处理缺失数据

# 检查缺失值
missing_values = df.isnull().sum()


# 使用特定值填充缺失值
df['Age'].fillna(0, inplace=True)

4.对列应用函数

# 对列应用自定义函数
df['Age'] = df['Age'].apply(lambda x: x * 2)

5.连接DataFrame

# 连接两个DataFrame
df1 = pd.DataFrame({'A': ['A0', 'A1'], 'B': ['B0', 'B1']})
df2 = pd.DataFrame({'A': ['A2', 'A3'], 'B': ['B2', 'B3']})


result = pd.concat([df1, df2], ignore_index=True)
print(result)

6.合并DataFrame

# 合并两个DataFrame
left = pd.DataFrame({'key': ['A', 'B', 'C'], 'value': [1, 2, 3]})
right = pd.DataFrame({'key': ['B', 'C', 'D'], 'value': [4, 5, 6]})

merged = pd.merge(left, right, on='key', how='inner')
print(merged)

7.透视表

# 创建数据透视表
pivot_table = df.pivot_table(index='Name', columns='Age', values='Value')
print(pivot_table)

8.处理日期时间数据

# 将列转换为DateTime类型
df['Date'] = pd.to_datetime(df['Date'])

9.重塑数据

# 将DataFrame进行融合
melted_df = pd.melt(df, id_vars=['Name'], value_vars=['A', 'B'])
print(melted_df)

10. 处理分类数据

# 对分类变量进行编码
df['Category'] = df['Category'].astype('category')
df['Category'] = df['Category'].cat.codes

11. 数据采样

# 从DataFrame中随机抽取行
sampled_df = df.sample(n=2)

12. 计算累积和

# 计算累积和
df['Cumulative_Sum'] = df['Values'].cumsum()

13. 去除重复值

# 去除重复行
df.drop_duplicates(subset=['Column1', 'Column2'], keep='first', inplace=True)

14. 创建虚拟变量

# 为分类数据创建虚拟变量
dummy_df = pd.get_dummies(df, columns=['Category'])

15. 导出数据

# 将DataFrame导出为CSV文件
df.to_csv('output.csv', index=False)

掌握这15个Pandas代码片段，将极大增强你的数据操作和分析能力。将它们纳入工作流程中，可以更加高效地处理和探索数据集。