「Python｜Pandas｜场景案例」如何只保留DataFrame数据集的某些列（要保留的列不固定）

本文主要介绍在使用pandas进行数据分析过程中的数据预处理时，如果希望仅保留某些列的数据需要如何操作。同时介绍一些特殊情况，比如列是用变量存储；或者列是一个全集，处理的数据集中不一定包括列出的全部列名。

文章目录

• 场景说明
• 解决方案
• • 基本使用
  • 加入变量
  • 考虑数据集没有包含全部目标字段的情况

    场景说明

    在数据处理的时候，可能会遇到数据集包含的数据字段并不是全部会用到，甚至有些用不到的字段内容较多，在存储上会占用较多空间，在读取和使用上可能会影响性能，所以需要考虑丢弃用不到的字段，仅保留需要使用的字段。

    同时，我们可能遇到一些稍微复杂一点的场景，比如：

    • 你想写一套通用程序来处理不同数据集。这些数据集对应相同类型但是不同场景，所以要使用的字段可能是作为变量传入的
    • 你使用的数据集因为业务发生变化或者扩展到多个业务场景，不同场景使用同一个数据集，但使用到的字段集合不同
    • 你使用的数据集来自爬虫，爬取的数据源网站会不断改版，能获取的到的数据字段可能发生变化

      这就要求能够使用变量存储要使用的字段，同时数据集中的字段就算没有包含全部指定字段，也不能抛出KeyError之类的处理错误。

      解决方案

      基本使用

      假设我们的数据集有四列，分别是col_1, col_2, col_3, col_4

      python数据分析的预处理过程中常用的是pandas库，pandas库中对这种保留指定列/丢弃指定列有对应的写法和函数：

      • 只保留两列 col_1 和 col_2

        df = df[['col_1', 'col_2']]

      • 丢弃col_3这一列

        df = df.drop(['col_3', 'col_4'], axis=1)

        加入变量

        用变量把字段集合存储起来就可以改成：

        fileds_to_use = ['col_1', 'col_2']
        # 只保留两列 `col_1` 和 `col_2` 
        df = df[ fileds_to_use ]
        # 丢弃`col_3`这一列
        fields_to_drop = set(df.columns) - set(fileds_to_use)
        df = df.drop(fields_to_drop, axis=1)
        

        考虑数据集没有包含全部目标字段的情况

        如果我们的数据集字段只有col_1, col_3, col_4三列，我们要使用的还是col_1, col_2两列，那么：

        • 尝试drop用不到的col_3和col_4不会出错
        • 但是尝试用df[ fileds_to_use ]会因为数据集里没有col_2而抛出KeyError: "['col_2'] not in index"的错误

          解决这个问题本质上就是加一层检查，只有字段在数据集包含的列名中，才进行保留，可以自己写，也可以调用pandas的函数，如下：

          # 自己写一个过滤
          fileds_to_use  = ['col_1', 'col_2']
          fileds_set = set(fileds_to_use)
          column_to_use = [column for column in df.columns if column in fileds_set]
          df = df[ column_to_use ]
          # 调用 pandas 的函数
          column_to_use = df.columns[ df.columns.isin(fileds_to_use) ]
          df = df[ column_to_use  ]
          # 因为 pandas 还有取反操作，所以额外说一下drop可以有下面这种写法
          column_to_drop = df.columns[ ~df.columns.isin(fileds_to_use) ]
          df = df.drop(column_to_drop, axis=1)
          

          以上就是根据变量值保留数据集某些列的做法，挑选一种自己喜欢的写法即可。

          好书推荐：

          • 流畅的python
          • Python编程 从入门到实践 第2版
          • Python数据结构与算法分析 第2版

            好课推荐：

            • 零基础学python
            • python核心技术与实战
            • python自动化办公实战

              写文不易，如果对你有帮助的话，来一波点赞、收藏、关注吧~👇