python 小记

• 读写文件
  • 读取文件

    • # 利用pandas读取文件，数据类型为DataFrame； 若需指定分隔符使用sep='',默认',',只能单个字符；
      data = pd.read_csv(datafile, header=None, usecols=[0, 1, 3, 5, 6, 15])
      # header指示列标签位置所在行号，默认第一行； nrows指定读取文件前n列
      
      # 指定列标签名，通常配合header=None使用
      data.columns = ['start', 'end', 'taskId', 'cpu_uti', 'memory', 'CPI']
      
      # 删除指定列存在空值的 所在行
      data.dropna(subset=['CPI'], inplace=True)  # 删除存在空值的行

  • 写入文件

    • # 此法输出分隔符只能用单个字符，同样用sep标签
      data.to_csv('filtedData', index=False, header=False)
      # index, header=False表示不输出行号和列表签名
      
      # 此法分隔符可用多个字符，使用numpy模块，delimiter标签
      # fmt标签指定输出每个数据的格式
      fmt = '%d', '%d', '%d', '%.1f', '%d', '%f', '%f', '%d', '%d'
      np.savetxt('filtedData', data.values, delimiter=', ', fmt=fmt)

  • 顺带一提，DataFrame相关操作：

    • # 取数
      data.loc[x, y]
      
      # 新增一列
      # 可用其余列做运算得到新列，或复制，或直接赋值
      data.loc[:, 'size'] = (data.loc[:, 'end'] - data.loc[:, 'start']) / data.loc[:, 'CPI'] / 1e3
      data.loc[:, 'mobileId'] = [random.randint(0, 9) for x in range(Num)]       # mobileId随机生成
      data['taskType'] = 0
      data['uploadSize'] = data['size']
      
      #删除多余列
      data.drop(labels=['end', 'CPI'], axis=1, inplace=True)
      # inplace=True表示对原数据保存修改
      
      # 列重排，换位置
      data = data[['mobileId', 'taskId', 'taskType', 'start', 'size', 'memory', 'cpu_uti', 'uploadSize', 'downloadSize']]