Pandas 进阶 —— 数据转换、聚合与可视化

引言

在数据分析的旅程中，Pandas 库提供了从数据转换到聚合再到可视化的全面解决方案。上篇我们掌握了数据的导入和清洗，本篇我们将探索如何通过 Pandas 对数据进行更高级的处理，包括数据转换、聚合分析以及可视化展示。

数据转换

数据转换是数据分析中的重要环节，它涉及到数据结构的调整和变换，以适应不同的分析需求。

• 数据重塑：通过 melt(), pivot(), pivot_table() 函数，我们可以将数据从宽格式转换为长格式，或者重新排列数据的行列，以便于分析。
• 数据类型转换：使用 astype() 函数可以转换数据的类型，例如将字符串转换为数值类型，以便进行数值计算。
• 数据排序：sort_values() 函数可以用来根据某个或某些列的值进行排序，这对于数据的直观理解和后续分析至关重要。

  代码示例：

  # 将宽格式数据转换为长格式
  df_long = df.melt(id_vars=['Name', 'Age'], 
                     value_vars=['Gender', 'Salary'], 
                     var_name='Attribute', 
                     value_name='Value')
  print(df_long)
  # 转换数据类型
  df['Age'] = df['Age'].astype(int)
  # 根据薪资进行排序
  df_sorted = df.sort_values(by='Salary', ascending=False)
  

  数据聚合

  数据聚合是通过某种方式将数据汇总起来，以得出有意义的统计信息。

  • 分组和聚合：groupby() 函数结合 agg() 可以对数据进行分组，并应用多种聚合函数，如求和、平均、最大值等。
  • 窗口函数：rolling() 和 expanding() 函数用于执行移动窗口计算，这在时间序列分析中尤其有用。

    代码示例：

    # 按性别分组并计算平均薪资
    gender_salary_avg = df.groupby('Gender')['Salary'].mean()
    print(gender_salary_avg)
    # 使用窗口函数计算薪资的移动平均值
    salary_rolling_mean = df['Salary'].rolling(window=3).mean()
    

    时间序列分析

    时间序列分析是数据分析中的一个重要领域，特别是在处理具有时间戳的数据时。

    • 解析日期时间：to_datetime() 函数用于将字符串转换为日期时间格式，这是进行时间序列分析的第一步。
    • 时间索引：使用 set_index() 可以将日期时间设置为 DataFrame 的索引，从而方便进行时间序列的切片和重采样。
    • 重采样：resample() 函数用于更改时间序列的频率，进行上采样或下采样。

      代码示例：

      # 解析日期时间并设置为索引
      df['Date'] = pd.to_datetime(df['Date'])
      df.set_index('Date', inplace=True)
      # 按月重采样并计算平均薪资
      monthly_avg_salary = df.resample('M').mean()['Salary']
      

      数据可视化

      数据可视化是数据分析的直观展示，Pandas 与 Matplotlib 等绘图库的结合使用，可以创建各种图表。

      • 基本绘图：使用 plot() 函数可以快速绘制折线图、柱状图、饼图等。
      • 高级图表：包括直方图、箱线图、散点图等，这些图表可以帮助我们发现数据的分布、异常值和相关性。

        代码示例：

        import matplotlib.pyplot as plt
        # 绘制薪资的直方图
        df['Salary'].plot(kind='hist')
        plt.title('Salary Distribution')
        plt.xlabel('Salary')
        plt.ylabel('Frequency')
        plt.show()
        # 绘制薪资和年龄的散点图
        df.plot(kind='scatter', x='Age', y='Salary')
        plt.title('Salary vs Age')
        plt.xlabel('Age')
        plt.ylabel('Salary')
        plt.show()
        

        结语

        通过本文的学习，我们不仅掌握了 Pandas 的数据转换、聚合和可视化技巧，而且通过具体的代码示例，能够将这些理论知识应用到实际的数据分析工作中。数据的探索和分析是一个不断深入的过程，Pandas 提供了强大的工具来帮助我们从不同角度理解和解释数据。希望你能将这些技能运用到自己的项目中，不断探索和发现数据的潜在价值。