1樓：匿名使用者
樓上 uniq必須是連續的重複才行把
用awk肯定行
這是一個cu的精華帖，差不多，對於你的問題你給稍等我修改一下。（ps感謝紅袖添香大姐）
cu精華 經典回顧
#假設我有如下檔案:
#cat aa
#123 def1 456
#345 def2 812
#123 def3 563
#322 def4 684
#123 def5 879
#......................
#現在我想把第一列中欄位相同的合併，第一列不相同的則保留，合併的原則就是保留第一個出現的前兩個欄位，第三個欄位則把結果相加，以上面的示例為例:
##就是對於123開頭的需要合併，合併後應該成為如下:
#cat aa
#123 def1 1898
#345 def2 812
#322 def4 684
#用shell如何實現？
#希望各位幫助，，謝謝，，
#要求總結:
#1 合併相同的第一列資料，並且計算第三列和
#2 第二列只保留第一次出現
#3 第一列順序不變
覺得這個問題很經典，所以從cu論壇轉過來了。
請大家一起學習
我們站在巨人的肩膀上。
問題補充:
看不太懂實現可以講一下思路嗎？
a[$1]+=$3
if(length(b[$1])==0)b[$1]=$2
我是這樣做的
－－－－－－－－－－－－－－－－－－－－－－－－－－2
謝謝你的補充， 已經明白了你對split的適用技巧，是用split(a[$1]，tmp)在碰到匹配的$1時取出以前的統計結然後再用$3加上以前的結果是吧，很巧妙。謝謝
但是有2個問題:
1不滿足 第二列保留第一次出現記錄（現在是保留最後一次出現）
2不滿足 第一列按照原來檔案順序出現
看看這個
awk 'being
end' filename
＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃
＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃
＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃
這樣就行了
#，/bin/bash
awk 'begin
end' data
前提是你的資料檔案裡面每行沒有空格，如果有用-f設定一個沒有的字元作分隔符就。
2樓：匿名使用者
cat file_a | uniq > file_b
linux檔案行排序去重結果不同sort和uniq
3樓：匿名使用者
uniq命令的幫助bai：
-u, --unique：only print unique lines
第一個方du法中，你加上-u選項導致zhi了daouniq只輸出唯一存專在的行屬
，有重複的行被過濾掉了
所以，問題出在你的地一種方法上
解決方法：uniq中不適用-u選項
linux中passwd檔案中每一行以:為分隔符，提取出每行的最後一列，排序去重，要求去重後顯示重複欄位的個數
4樓：叉燒帝
# cat /etc/passwd |cut -d':' -f7|sort|uniq -c
sql中如何刪除表中重複的記錄，sql中如何刪除一個表中重複的記錄
sql中刪除一個表中的重複記錄可以採用如下步驟 1 把a dist表的記錄用distinct去重，結果放到臨時表中。select distinct into temp from a dist 2 把a dist表的記錄全部刪除。delete from a dist 3 把臨時表中的資料資訊導進到a ...
excel中如何刪除有多項重複的行
自有自在 先按主要關鍵字 號碼和次要關鍵字姓名升序排，然後用篩選中的高階篩選，勾選 選擇不重複記錄，也可將篩選結果到新 中！ 1.選定表頭 資料 篩選 自動篩選 單擊 號碼 一列的篩選箭頭 單擊 空白 在行號欄選定篩選出來的所有空白行進行刪除 返回 全部 儲存。這樣沒 號碼的行已經刪除。2.刪除重複...
如何在excel中刪除連續重複的資料
苗喬恩 vba 如下 sub del dim a,i a range a65536 end xlup rowfor i 2 to a if range a i range a i 1 and range a i then range a i delete shift xlup i i 1 next ...