zoukankan      html  css  js  c++  java
  • 一.在Linux中for和cat遍历文件内容出现no space

    以前使用for var in file方式逐行读取文件内容的时候,都没有出现问题,但是今天使用如下代码,会出现“no space” ,目标数据文件内容为6.8M,

    # 写入临时文件,第一行不能写入
    fillTempFile(){
      # 先删除临时文件,再创建
      rm -rf $fullTempFileName
      touch $fullTempFileName
      i=0
      for line in $(cat $targetFilePath$1)
      do    
          # 去掉第一行数据
          if [ $i -gt 0 ]
          then
              # 解析从第4位开始的数据,即为当前备注的数据行数
              echo $line >> $fullTempFileName
          fi
          # 遍历完一行之后,行号加1
          let i+=1
      done
    }

    造成这个问题的原因是:我使用的是AIX系统(/bin/ksh  ksh88的栈系统很低效)。当使用for i in $targetFile的时候,系统会读取整个文件到栈系统中,造成当前系统内存溢出。

    但是另外一个AIX系统的另外一个版本ksh93使用的是另外一种很高效的库,也就不会发生这个问题。其他一些shell,比如bash,在处理大数据量文件的时候更加高效。

    但是ksh88是AIX系统的默认版本,系统工具、SMIT等都是使用ksh88。

    解决这个问题的办法是避免使用冗余的方式,而是逐步加载,如下:

    # 写入临时文件,第一行不能写入
    fillTempFile(){
      # 先删除临时文件,再创建
      rm -rf $fullTempFileName
      touch $fullTempFileName
      i=0
      cat $targetFilePath$1 | while read line
      do    
          # 去掉第一行数据
          if [ $i -gt 0 ]
          then
              # 解析从第4位开始的数据,即为当前备注的数据行数
              echo "{$line}" >> $fullTempFileName
          fi
          # 遍历完一行之后,行号加1
          let i+=1
      done
    }
  • 相关阅读:
    浅谈MVVM模式和MVP模式——Vue.js向
    浅谈JavaScript中的null和undefined
    js的单线程和异步
    字符串替换replace方法
    数组的长度、数组元素的添加和删除
    去掉数组中的空元素
    创建数组方法、数组元素的读和写
    Android中H5和Native交互的两种方式
    请求抓取工具
    css层叠规则(层叠样式表)
  • 原文地址:https://www.cnblogs.com/qizhelongdeyang/p/6101124.html
Copyright © 2011-2022 走看看