linux 下处理大文件

摘要:
1.Headtailmore2.首先拆分大文件拆分参数:-a,--suffix length=N指定输出文件名的后缀。默认值为两个-b,--bytes=SIZE指定输出文件中的字节数-C,--line bytes=IZE每个输出文件中单行的最大字节数-d,--numeric后缀使用数字而不是字母作为后缀-l,--lines=number值是每个输出文件的列
1head tail more
2、先把大文件进行分割 split
split参数:
-a, --suffix-length=N   指定输出文件名的后缀,默认为2个
-b, --bytes=SIZE        指定输出文件的字节数
-C, --line-bytes=SIZE  每一输出档中,单行的最大 byte-d, --numeric-suffixes  使用数字代替字母做后缀
-l, --lines=NUMBER    NUMBER 值为每一输出档的列数大小
例:
[root@10.10.90.97 sh]# split -b 1024 -a 3 push.sh
[root@10.10.90.97 sh]# ls
push.shxaaa  xaab  xaac  xaad  xaae  xaaf
使用-a参数指定文件后缀名的个数为3
[root@10.10.90.97 sh]# split -b 1024 push.shpush_  
[root@10.10.90.97 sh]# ls
push_aa  push_ab  push_ac  push_ad  push_ae  push_af    push.sh
-b参数指定输出文件的大小为1024字节,push_指定输出文件的前缀代替默认的x 
[root@10.10.90.97 sh]# split -b 1024 -d push.sh
[root@10.10.90.97 sh]# ls
push.shx00  x01  x02  x03  x04  x05
-d参数设置输出文件的后缀为数字,默认的为字符  
[root@10.10.90.97 sh]# split -l 5 push.sh
[root@10.10.90.97 sh]# ls
push.shxaa  xac  xae  xag  xai  xak  xam  xao  xaq  xas  xau  xaw  xay  xba
xab  xad  xaf  xah  xaj  xal  xan  xap  xar  xat  xav  xax  xaz
-l指定输出稳定的行数为5 
附:合并文件命令(会自动按后缀排序连接):
    cat small_files* >large_file
3sed按行进行处理
    总行数:wc -l 文件名
    sed -n '1,1024(文件总行数)p'filename;#依次输出文件的每一行
4awk一次读取文件中的一行
    awk '{print;}' employee.txt  #依次输出文件的每一行

免责声明:文章转载自《linux 下处理大文件》仅用于学习参考。如对内容有疑问,请及时联系本站处理。

上篇单节点GI(ASM)+DB 安装以及它对oracle DB自动重启的守护(11g)webpack入门(转载)下篇

宿迁高防,2C2G15M,22元/月;香港BGP,2C5G5M,25元/月 雨云优惠码:MjYwNzM=

相关文章

交叉编译工具链(详解)

交叉编译工具链  1、嵌入式开发模型-交叉开发     在嵌入式开发过程中有宿主机和目标机的角色之分:宿主机是执行编译、链接嵌入式软件的计算机;目标机是运行嵌入式软件的硬件平台。                在宿主机执行编译的流程如下:                   2、交叉编译工具链详解 参考: http://www.crifan.com/fi...

每天一个Linux命令(4)touch命令

     touch命令有两个功能:一是用于把已存在文件的时间标签更新为系统当前的时间(默认方式),它们的数据将原封不动地保留下来;二是用来创建新的空文件。       (1)用法       用法:touch [选项]... 文件...     (2)功能       1)将每个文件的访问时间和修改时间改为当前时间;       2)不存在的文件将会被创...

Linux shell awk中printf使用

printf 是 awk 的重要格式化输出命令printf格式化输出内容 格式:printf format,item1,item2...要点: 1,printf输出时要指定格式format2,formay用于指定后面的每个item输出的格式3,printf语句不会自动打印换行符 format格式: %c:显示单个字符%d,%i:十进制整数%e,%E:科学...

Linux设置默认的声卡

首先查看自己电脑上的声卡 使用命令行查看 orangepi@orangepi3:~$ ll /proc/asound/ total 0 dr-xr-xr-x 4 root root 0 Dec 23 02:58 ./ dr-xr-xr-x 178 root root 0 Jan 1 1970 ../ dr-xr-xr-x 4 root root...

manjaro:vmware workstation 16新建虚拟机提示:“Could not open /dev/vmmon: No such file or directory. Please make sure that the kernel module 'vmmon' is loaded.”解决

0x00 报错界面 0x02 解决办法   1、加载vmmon模块,命令: modprobe -a vmw_vmci vmmon   2、如果出现如下警告:   modprobe: WARNING: Module vmmon not found in directory /lib/modules/5.9.16-1-MANJARO 报错解决方案   1...

循序渐进Linux 2:Linux的常用命令及使用技巧

一、Shell   shell本身是一个以C语言编写的程序,是用户和操作系统内核之间通信的桥梁。shell既是一种命令解释程序,又是一种功能强大的解释型程序设计语言。shell解释用户输入的命令,提交到内核处理,最后返回结果给用户。 1. shell命令语法分析 command [option] -[arguments] 2. shell的通配符 bash...