本文共 10954 字，大约阅读时间需要 36 分钟。
版本：V1.1问题提出者：python群友问题是否解决：已解决文档作者：悠久之翼(老男孩老师支持)修改记录：2015-04-06系统环境：Centos 6.6 （适合32bit and 64bit）内核版本：2.6.32-504.el6.x86_64
问题描述：
以下是原文：来自网友的。
老男孩老师，你好：我要取如下数据：
1.单独第一列去重后的结果，这个我已做出来
awk '{count[$1]++}; END{for(name in count) print name,count[name]}' testfile.txt
2.取第一列和第二列同时去重后的wc–l ，麻烦老师帮忙看下，谢谢！
统计后的结果格式如：000 2227 60
这是网友第一次提交给老男孩老师的问题。由于这些问题就是刚刚讲过的awk数组问题，正好交给学生练手！
下面是学生的完整分析，加上太多次的和老男孩的不断沟通，到底问题者想问什么问题
####蒙了吗？看下面分析吧。
数据文件如下：见本文附件
AYST002 010121012003771AYST002 010121012003771001 012345678912345AYST002 010121012003771AYST002 010121012003771AYST002 010121012003771AYST002 010121012003771AYST002 010121012003771AYST002 010121012003771AYST002 010121012003771AYST002 010121012003771AYST002 010121012002696AYST002 010121012003771一共2万多行测试数据数据文件如下：见本文附件
0 2227 601 3880 44 53 2014B002 6 2014B004 202 2014B010 1414 52014B050 10 1014B062 1276 36014B090 53 6014BA00 1367 1320 34 740 6 4600 1669 50A0001 3245 18ATM001 815 2AYST001 254 7AYST002 5451 156
1． 上面问题实在让人费解，两天后终于想明白，他是什么问题è沟通代价太大，引以为戒。
2． 问题分析如下
3． 取得$1去重之后的计数
4． $0去重之后，$1相同$2不同的个数（最后花了2天理解问题，哎~~，提问的人没说明白，我也没理解）
[wxr@C66-test oldboy]$ awk '{array[$0]++}END{for(nin array) print n,array[n]}' 11.txt|sort##先进行$0去重，截取 000 c78f62db913017ea 18000 e15cdefdc82edf20 25000 e78dff28765d30fd 14000 f636438c74685fcb 4001 010121012002346 1001 012345678912345 3646001 015159014078175 1001 1152 232004 010121011079336 48004 012345678912345 5014B002 010121009019316 3014B002 010121009201084 3014B004 57e22bae43dfeafa 36014B004 9e0647d809f4e31f 166014B010 1c6bf2d598b3d9b5 69014B010 2b6d303654a64ef3 6014B010 2b742e4ee5aef95d 14 ##获得的结果： 一共出现的次数 $0去重后，以000开头$2不同的个数000 18+25+14+4 4001 1+3646 4004 48+5 2014B002 3+5 2014B004 36+166 2014B010 69+6+14 3难理解的是最后一列：他是对$0去重后的$1相同 $2不同的，总共的可能性。配合我的例子，和结果理解就好了。 确定需求用了太久的时间，比解决问题时间长了很多！
简单粗暴：
[wxr@C66-test oldboy]$sort testfile.txt|uniq -c|awk -f sort_old.awk|sort000 2227 60001 3880 4004 53 2014B002 6 2014B004 202 2014B010 1414 52014B050 10 1014B062 1276 36014B090 53 6014BA00 1367 13020 34 7040 6 4600 1669 50A0001 3245 18aim total singal_totalATM001 815 2AYST001 254 7AYST002 5451 156Z0001 3 1[wxr@C66-test oldboy]$cat sort_old.awkBEGIN{print"aim""\t" "total" "\t""singal_total"}{array_count[$2]+=$1if(array[$2] != $3){count[$2]++array[$2]=$3} }END{for(n in count)printn"\t"array_count[n]"\t"count[n]}
只用awk[wxr@C66-test awk]$ awk '{array[$0]++}END{for(keyin array)print key,array[key]}' 11.txt|awk '{array_count[$1]+=$3;if(array[$1]!= $2) { count[$1]++;array[$1]=$2 }} END {for(n in count) printn"\t"array_count[n]"\t"count[n]}'Z0001 3 1000 2227 60ATM001 815 2001 3880 4014B062 1276 36014B090 53 6020 34 7040 6 4004 53 2600 1669 50014B010 1414 52014B002 6 2AYST001 254 7AYST002 5451 156014B004 202 2014BA00 1367 13A0001 3245 18014B050 10 1 [wxr@C66-test awk]$ catsort_paste.awk{split($0,xarry,FS)one=xarry[1]two=xarry[2] array_count[one]++ if(!((one,two) intree)){ tree[one,two]=1 count[one]++ }}END{for(k in count){printf("%16s %16s%16s \n",k,count[k],array_count[k])|"sort" }}[wxr@C66-test awk]$ awk-f sort_paste.awk 11.txt 000 60 2227 001 4 3880 004 2 53 014B002 2 6 014B004 2 202 014B010 52 1414 014B050 1 10 014B062 36 1276 014B090 6 53 014BA00 13 1367 020 7 34 040 4 6 600 50 1669 A0001 18 3245 ATM001 2 815 AYST001 7 254 AYST002 156 5451 Z0001 1 3 [wxr@C66-test awk]$ awk'!array_check[$0]++{array[$1]++}{count[$1]++}END{for (n in array)printf("%16s %16s %16s\n",n,array[n],count[n])|"sort"}'11.txt 000 60 2227 001 4 3880 004 2 53 014B002 2 6 014B004 2 202 014B010 52 1414 014B050 1 10 014B062 36 1276 014B090 6 53 014BA00 13 1367 020 7 34 040 4 6 600 50 1669 A0001 18 3245 ATM001 2 815 AYST001 7 254 AYST002 156 5451 Z0001 1 3 1． 上面的还可以继续改进加上标题，BEGIN{}自由发挥吧。
2． 练习使用awk数组，理解数组下标就是个字符串。
解决后的答案很光鲜，看看背后的花絮吧。
老男孩 2015/4/6 17:24:16不太好理解这位网友的意思沟通成本太大了你好好理解下 说明给我吧，然后老师指导你搞定，你们学了awk数组了，这是练兵的最好机会，呵呵！21期学员-悠久之翼 2015/4/6 17:24:34嗯是的。 我花了2天才理解。[wxr@C66-test oldboy]$ awk '{array[$0]++}END{for(n in array) print n,array[n]}' 11.txt|sort |grep ^000000 010121008040030 13000 010121009642993 84000 010121009794788 1000 010121011000030 1000 010121011079336 56000 010121011153649 14000 010121012000089 8000 010121012002325 159000 010121012002400 7000 010121012002687 14000 010121012002692 2000 010121012002722 43000 010121012003231 15000 010121012003452 1000 010121012003516 9000 010121012003711 24000 010121012003875 8000 010121012003986 6000 012345678912345 62000 014421001000002 1000 014444000015121 10000 101211489913522 30000 106552913112164 36000 108112812133281 3000 1151 1000 117128150151313 13000 121460828135981 33000 157135111231073 33000 1bad6941cfcd81a7 89000 201213741313151 2这是第一步然后对他 wc -l [wxr@C66-test oldboy]$ awk '{array[$0]++}END{for(n in array) print n,array[n]}' 11.txt|sort |grep ^000|wc -l6021期学员-悠久之翼 2015/4/6 17:26:31是在$0 基础之上在统计数目。 21期学员-悠久之翼 2015/4/6 17:28:1660是在对 $0 作为key 之后，再次进行统计。老男孩 2015/4/6 17:31:24你使用少量数据给出要的效果不然 难以理解，几条数据说明问题，表达能力比技术更重要21期学员-悠久之翼 2015/4/6 17:32:55好的 21期学员-悠久之翼 2015/4/6 17:38:15[wxr@C66-test oldboy]$ awk '{array[$0]++}END{for(n in array) print n,array[n]}' 11.txt|sort先进行$0去重，截取000 c78f62db913017ea 18000 e15cdefdc82edf20 25000 e78dff28765d30fd 14000 f636438c74685fcb 4001 010121012002346 1001 012345678912345 3646001 015159014078175 1001 1152 232004 010121011079336 48004 012345678912345 5014B002 010121009019316 3014B002 010121009201084 3014B004 57e22bae43dfeafa 36014B004 9e0647d809f4e31f 166014B010 1c6bf2d598b3d9b5 69014B010 2b6d303654a64ef3 6014B010 2b742e4ee5aef95d 14获得的结果：000 一共出现的次数 $0去重后，以000开头$2不同的个数000 18+25+14+4 4001 1+3646 4004 48+5 2014B002 3+5 2 014B004 36+166 2 014B010 69+6+14 3 老男孩 2015/4/6 17:42:53以000开头$2不同的个数 $2是c78f62db913017ea 列？还是$321期学员-悠久之翼 2015/4/6 17:43:19$2 老男孩 2015/4/6 17:43:20你这个结果的第三列哪来的老男孩 2015/4/6 17:44:15明白了21期学员-悠久之翼 2015/4/6 17:44:19000 c78f62db913017ea 18000 e15cdefdc82edf20 25000 e78dff28765d30fd 14000 f636438c74685fcb 4000开头 $2 不同的个数 就是 $2老男孩 2015/4/6 17:44:25这是你理解的 还是人家真是这个意思21期学员-悠久之翼 2015/4/6 17:44:35这题不说明白很难理解。老男孩 2015/4/6 17:44:46是的21期学员-悠久之翼 2015/4/6 17:44:49我的理解 然后 我对比了 他的结果 看样子是对的。21期学员-悠久之翼 2015/4/6 17:45:51从结果看是这样的意思。老男孩 2015/4/6 17:46:16呵呵，聊天记录都保留，你说这理解别人的思想多难自己不说清楚 就更难21期学员-悠久之翼 2015/4/6 17:46:41用数据说话才是王道。老男孩 2015/4/6 17:46:43我这时间有限啊，不喜欢猜别人的想法。这就是表达能力21期学员-悠久之翼 2015/4/6 17:48:52我会下次整理的更好 再问的。 老男孩 2015/4/6 17:50:19你没搞定么，不难啊，可以两条awk，也可以多维数组，不过要awk编程了21期学员-悠久之翼 2015/4/6 17:51:112条就简单了。我就想着一条。老男孩 2015/4/6 17:51:46别啊!21期学员-悠久之翼 2015/4/6 17:51:46sort uniq 换成awk|awk 就行了。老男孩 2015/4/6 17:51:59先来两条给个答案看看,事情都是一步步解决的。一条就要多个数组，甚至多为数组了21期学员-悠久之翼 2015/4/6 17:53:06我就是纠结那个多维数组。 蒙了。。老男孩 2015/4/6 17:53:14你先分两条搞定，回头老师帮你实现一条的方法一步步来，等你结果！21期学员-悠久之翼 2015/4/6 17:53:45好的老男孩 2015/4/6 17:54:282条搞定后 你自然可以多条搞定，我给你一个我以前写的awk多数组加函数的例子接文件仔细看21期学员-悠久之翼 2015/4/6 17:58:37[wxr@C66-test oldboy]$ awk '{array[$0]++}END{for(n in array) print n,array[n]}' 11.txt|awk '{array_count[$1]+=$3;if(array[$1] != $2){count[$1]++;array[$1]=$3}}END{for (n in count)print n"\t"array_count[n]"\t"count[n]|"sort -n"}'000 2227 60A0001 3245 18ATM001 815 2AYST001 254 7AYST002 5451 156Z0001 3 1001 3880 4004 53 2014B002 6 2014B004 202 2014B010 1414 52014B050 10 1014B062 1276 36014B090 53 6014BA00 1367 13020 34 7040 6 4600 1669 5021期学员-悠久之翼 2015/4/6 17:59:44自己看着都晕。老男孩 2015/4/6 18:01:48哇，搞定了？对方已成功接收了您发送的离线文件“parse-awk例子老男孩教育案例.rar”(29.84KB)。21期学员-悠久之翼 2015/4/6 18:02:52是的 因为 两个awk 就是拼积木了。 第一个$0 第二个 $1 $2 计数 我之前做好的 改一下就能用。21期学员-悠久之翼 2015/4/6 18:06:08好东西。谢谢老师。老男孩 2015/4/6 18:07:21先2条搞定这个就可以了，接下来要AWK编程了处理完不输出，继续处理。用我给你的例子 就可以了21期学员-悠久之翼 2015/4/6 18:07:53明白 那些函数的使用 很头痛。老男孩 2015/4/6 18:08:58思路清晰了 就简单了啊接下来要AWK编程，处理完不输出，继续处理，直到得到最终结果再输出这个搞定了 你AWK能力就 再运维层次里NO1了21期学员-悠久之翼 2015/4/6 18:10:13谢谢老师指点。老男孩 2015/4/6 18:10:49有思路没？现在21期学员-悠久之翼 2015/4/6 18:13:19有一点点 使用split把数据分块。 A B 然后 A,B in array 查询 不存在就 count++理解到这里。 21期学员-悠久之翼 2015/4/6 18:15:22之前我也这样想过 可是没办法实现。现在可以尝试一下了。谢谢老师。21期学员-悠久之翼 2015/4/7 7:25:53[wxr@C66-test awk]$ cat sort_paste.awk {split($0,xarry,FS)one=xarry[1]two=xarry[2]array_count[one]++if(!((one,two) in tree)){ tree[one,two]=1 count[one]++ }}END{for(k in count){printf("%16s %16s %16s \n",k,count[k],array_count[k])|"sort" }}[wxr@C66-test awk]$ awk -f sort_paste.awk 11.txt 000 60 2227 001 4 3880 004 2 53 014B002 2 6 014B004 2 202 014B010 52 1414 014B050 1 10 014B062 36 1276 014B090 6 53 014BA00 13 1367 020 7 34 040 4 6 600 50 1669 A0001 18 3245 ATM001 2 815 AYST001 7 254 AYST002 156 5451 Z0001 1 3 21期学员-悠久之翼 2015/4/7 22:58:46问题已经解决，四种方法。 请老师指点一下，哪里需要 改进。
转载地址：http://bzddm.baihongyu.com/