linux文件合并

摘要:
命令sortfile|uniq-u可以删除所有重复的行,即文件中不重复的行!有关详细信息,您可以查看cat、sort、uniq和其他命令的详细介绍。其次,将两个文件合并为顶部的一个文件、底部的catfile1file2˃file3中的一个、左侧的一个和右侧的pastefile1file3˃file3的一个。(连接粘贴时,将使用空格或制表符分隔新行中的不同文本。除非指定-d选项,否则它将成为域分隔符。-s将每个文件合并为一行,而不是逐行粘贴。

第一:两个文件的交集,并集
前提条件:每个文件中不得有重复行
1. 取出两个文件的并集(重复的行只保留一份)
2. 取出两个文件的交集(只留下同时存在于两个文件中的文件)
3. 删除交集,留下其他的行
1. cat file1 file2 | sort | uniq > file3
2. cat file1 file2 | sort | uniq -d > file3
3. cat file1 file2 | sort | uniq -u > file3

第一:两个文件的交集,并集
前提条件:每个文件中不得有重复行
1. 取出两个文件的并集(重复的行只保留一份)
2. 取出两个文件的交集(只留下同时存在于两个文件中的文件)
3. 删除交集,留下其他的行
1. cat file1 file2 | sort | uniq > file3
2. cat file1 file2 | sort | uniq -d > file3
3. cat file1 file2 | sort | uniq -u > file3
(-u unique,仅仅打印独一无二的行)。

-d, --repeated
only print duplicate lines


第二:两个文件合并
一个文件在上,一个文件在下
cat file1 file2 > file3
一个文件在左,一个文件在右
paste file1 file2 > file3

第三:一个文件去掉重复的行:
sort file |uniq
注意:重复的多行记为一行,也就是说这些重复的行还在,只是全部省略为一行!
sort file |uniq -u
上面的命令可以把重复的行全部去掉,也就是文件中的非重复行!

具体细节可以查看,cat,sort,uniq等命令的详细介绍


第二:两个文件合并
一个文件在上,一个文件在下
cat file1 file2 > file3
一个文件在左,一个文件在右
paste file1 file2 > file3

paste连接时,用空格或tab键分隔新行中不同文本,除非指定-d选项,它将成为域分隔符。 
paste格式为: 
paste -d -s -file1 file2 
选项含义如下: 
-d 指定不同于空格或tab键的域分隔符。例如用@分隔域,使用- d @。 
-s 将每个文件合并成行而不是按行粘贴。 (

由默认的“并行输出”改为“串行输出”了,或者说由“并排”变为“横排”了!
 
其实-s参数就是输出一行一个文件,有多少个文件就有多少行。原始每个文件里的每行内容都成为输出结果一行里的各个字段

file1:

user1 pwd1

user2 pwd2

file2:

user3 pwd3

user4 pwd4

 变成:

use1 pwd1 user2 pwd2

user3 pwd3 user4 pwd4

)


第三:一个文件去掉重复的行:
sort file |uniq
注意:重复的多行记为一行,也就是说这些重复的行还在,只是全部省略为一行!
sort file |uniq -u
上面的命令可以把重复的行全部去掉,也就是文件中的非重复行!

具体细节可以查看,cat,sort,uniq等命令的详细介绍

免责声明:文章转载自《linux文件合并》仅用于学习参考。如对内容有疑问,请及时联系本站处理。

上篇vue中el-upload上传多图片且携带参数,批量而不是一张一张的解决方案消息处理(MSMQ)基础知识下篇

宿迁高防,2C2G15M,22元/月;香港BGP,2C5G5M,25元/月 雨云优惠码:MjYwNzM=

相关文章

采用layui框架实现表格的简单制作

 最近想把项目用layui来做,研究了下并记录下来,数据源这个案例放到了new1.json文件中,使用layui框架返回的数据必须按照他们的格式,否则会报请求数据错误。 先上一张展示图: 效果还是很好看的,看下如何实现的吧 1、首先做个准备资源 这里主要下载layui文件,因为需要用到其中的layui.css与layui.js这两个文件。 <lin...

文件合并工具FileMerge的用法

FileMerge的功能与FileSplit相反,作用是把多个同类的文件合并成一个大文件。 假设A:Music有一些歌曲,现在需要按这个顺序连成一首歌。  启动命令提示符窗口,输入命令: A:music>  E:FileMergeFileMerge.exe 三首联唱.mp3 涛声依旧.mp3 天仙子.mp3 同桌的你.mp3 其中,“三首联唱.mp...

利用Python进行数据分析-Pandas(第五部分-数据规整:聚合、合并和重塑)

  在许多应用中,数据可能分散在许多文件或数据库中,存储的形式也不利于分析。本部分关注可以聚合、合并、重塑数据的方法。 1、层次化索引   层次化索引(hierarchical indexing)是pandas的一项重要功能,它使你能在一个轴上拥有多个(两个以上)索引级别。抽象点说,它使你能以低纬度形式处理高纬度数据。我们来看一个简单的栗子:创建一个Ser...

ps --sort排序功能

ps aux --sort +rss/rss根据内存正序排 ps aux --sort -rss 逆序 ps aux --sort -pid/pid ps aux --sort %cpu/-%cpu 根据cpu排序 关于ps命令显示不全的解决方法:ps aux |  more ;  ps auxww 后面的w要写两遍 man ps看下帮助信息:  -w  ...

python操作excel向同一sheet循环追加数据

参考文章:https://blog.csdn.net/sdaujz/article/details/102080900?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-15.nonecase&depth_1-utm_source=dis...

MongoDB分页的Java实现和分页需求的思考

前言 传统关系数据库中都提供了基于row number的分页功能,切换MongoDB后,想要实现分页,则需要修改一下思路。 传统分页思路 假设一页大小为10条。则 //page 1 1-10 //page 2 11-20 //page 3 21-30 ... //page n 10*(n-1) +1 - 10*n MongoDB提供了skip()和...