现在的位置: 首页BashShell>正文
Awk1line中文版
发表于8年前 BashShell 暂无评论 ⁄ 被围观 1,811 次+
 
  1. AWK单行脚本快速参考                                      2008年4月28日   
  2. 编辑: Eric Pement eric [at] pement.org                   版本 0.26   
  3. 翻译: 董一粟      yisudong [at] gmail.com   
  4.    最新英文版本文件发布在以下地址:   
  5.    http://www.pement.org/awk/awk1line.txt   
  6.    最新中文翻译版本文件发布在以下地址:   
  7.    http://ximix.org/translation/awk1line_zh-CN.txt   
  8.    翻译问题欢迎联系我:   
  9.    http://hi.baidu.com/ximix/blog/item/e9334cc2204fa330e5dd3bf2.html   
  10.   
  11. 用法:   
  12.   
  13.     Unix:  awk '/pattern/ {print "$1"}'    # 标准 Unix shell环境   
  14. DOS/Win:  awk '/pattern/ {print "$1"}'    # DJGPP 可编译通过   
  15.            awk "/pattern/ {print \"$1\"}"  # GnuWin32,UnxUtils,Mingw环境   
  16.   
  17. 需要特别注意的是,DJGPP编译器可以允许awk脚本使用Unix的引号语法    
  18. '/like/ {"this"}'。但是,用户必须知道在DOS/Windows环境下,使用CMD.EXE或者   
  19. COMMAND.COM程序的话,单引号并不能保护重定向符号(<, >)和管道(|)。    
  20. 如果使用双引号的话,在DOS/CMD命令解释器下的特殊符号和他们的特殊含义都   
  21. 会被忽略。如果你的命令提示符是bash、ksh或者其他的Unix终端,单引号和双引号   
  22. 会沿用Unix标准的用法。   
  23.   
  24. 同样,DOS/Win用户必须记住用,百分号(%)用来标记DOS/Win环境变量,   
  25. 如果想要在awk使用的话,需要使用双百分号(%%)来表示一个百分号%。   
  26.   
  27. 如果我能确定一个脚本不需要被指出是使用在Unix, DOS或者CMD环境下,我通常   
  28. 会省略引号。如果一个例子是GNU awk所特有的,将会用 'gawk'命令来代替。如   
  29. 果你发现错误或者新的命令想要添加到这个列表里(总长度控制在65个字符一下)   
  30. ,请通知我。首先我经常会尝试去写一个最短字符的脚本。为了省空间,我通常使用   
  31. '1'来代替'{print}'去打印每行,两种写法都能正确运行。   
  32.   
  33. 文本间隔:   
  34.   
  35. # 每行后面增加一行空行   
  36. awk '1;{print ""}'   
  37. awk 'BEGIN{ORS="\n\n"};1'   
  38.   
  39. # 每行后面增加一行空行。输出文件不会包含连续的两个或两个以上的空行    
  40. # 注意:在Unix系统, DOS行包括的 CRLF (\r\n) 通常会被作为非空行对待   
  41. # 因此 'NF' 将会返回TRUE。   
  42. awk 'NF{print $0 "\n"}'   
  43.   
  44. # 每行后面增加两行空行   
  45. awk '1;{print "\n"}'   
  46.   
  47. 编号和计算:   
  48.   
  49. # 以文件为单位,在每句行前加上编号 (左对齐)   
  50. # 使用制表符 (\t) 来代替空格可以有效保护页变的空白。   
  51. awk '{print FNR "\t" $0}' files*   
  52.   
  53. # 用制表符 (\t) 给所有文件加上连贯的编号。   
  54. awk '{print NR "\t" $0}' files*   
  55.   
  56. # 以文件为单位,在每句行前加上编号 (编号在左,右对齐)   
  57. # 如果在DOS环境下,需要写两个'%'   
  58. awk '{printf("%5d : %s\n", NR,$0)}'   
  59.   
  60. # 给非空白行的行加上编号   
  61. # 记得Unix对于 \r 的处理的特殊之处。(上面已经提到)   
  62. awk 'NF{$0=++a " :" $0};{print}'   
  63. awk '{print (NF? ++a " :" :"") $0}'   
  64.   
  65. # 计算行数 (模拟 "wc -l")   
  66. awk 'END{print NR}'   
  67.   
  68. # 计算每行每个区域之和   
  69. awk '{s=0; for (i=1; i<=NF; i++) s=s+$i; print s}'   
  70.   
  71. # 计算所有行所有区域的总和   
  72. awk '{for (i=1; i<=NF; i++) s=s+$i}; END{print s}'   
  73.   
  74. # 打印每行每区域的绝对值   
  75. awk '{for (i=1; i<=NF; i++) if ($i < 0) $i = -$i; print }'   
  76. awk '{for (i=1; i<=NF; i++) $i = ($i < 0) ? -$i : $i; print }'   
  77.   
  78. # 计算所有行所有区域(词)的个数   
  79. awk '{ total = total + NF }; END {print total}' file  
  80.   
  81. # 打印包含 "Beth" 的行数   
  82. awk '/Beth/{n++}; END {print n+0}' file  
  83.   
  84. # 打印第一列最大的行   
  85. # 并且在行前打印出这个最大的数   
  86. awk '$1 > max {max=$1; maxline=$0}; END{ print max, maxline}'   
  87.   
  88. # 打印每行的列数,并在后面跟上此行内容   
  89. awk '{ print NF ":" $0 } '   
  90.   
  91. # 打印每行的最后一列   
  92. awk '{ print $NF }'   
  93.   
  94. # 打印最后一行的最后一列   
  95. awk '{ field = $NF }; END{ print field }'   
  96.   
  97. # 打印列数超过4的行   
  98. awk 'NF > 4'   
  99.   
  100. # 打印最后一列大于4的行   
  101. awk '$NF > 4'   
  102.   
  103. 构建字符串:   
  104.   
  105. # 构建一指定长度的字符串(比如,513个空格)   
  106. awk 'BEGIN{while (a++<513) s=s " "; print s}'   
  107.   
  108. # 在某一位置中插入以特定长度的字符串   
  109. # 例子:在每行第6列后插入49个空格   
  110. gawk --re-interval 'BEGIN{while(a++<49)s=s " "};{sub(/^.{6}/,"&" s)};1'   
  111.   
  112. 构建数组:   
  113.   
  114. # 以下两个部分并不是一句话脚本,但是这些技巧相当便捷所以也包括进来   
  115.   
  116. # 构建一个叫"month"的数组,以数字为索引,month[1]就是'Jan',month[2]就是   
  117. # 'Feb',month[3]就是'Mar',以此类推。   
  118. split("Jan Feb Mar Apr May Jun Jul Aug Sep Oct Nov Dec", month, " ")   
  119.   
  120. # 构建一个叫"mdigit"的数组,以字符串为索引,mdigit["Jan"] 等于 1,   
  121. # mdigit["Feb"] 等于 2,等等。需要有"month"数组。   
  122. for (i=1; i<=12; i++) m_digit[month[i]] = i   
  123.   
  124. 文本转换和替代:   
  125.   
  126. # 在Unix环境:转换DOS新行 (CR/LF) 为Unix格式   
  127. awk '{sub(/\r$/,"")};1'   # 假设每行都以Ctrl-M结尾   
  128.   
  129. # 在Unix环境:转换Unix新行 (LF) 为DOS格式   
  130. awk '{sub(/$/,"\r")};1'   
  131.   
  132. # 在DOS环境:转换Unix新行 (LF) 为DOS格式   
  133. awk 1   
  134.   
  135. # 在DOS环境:转换DOS新行 (CR/LF) 为Unix格式   
  136. # DOS版本的awk不能运行, 只能用gawk:   
  137. gawk -v BINMODE="w" '1' infile >outfile   
  138.   
  139. # 用 "tr" 替代的方法。   
  140. tr -d \r <infile >outfile            # GNU tr 版本为 1.22 或者更高   
  141.   
  142. # 删除每行前的空白(包括空格符和制表符)   
  143. # 使所有文本左对齐   
  144. awk '{sub(/^[ \t]+/, "")};1'   
  145.   
  146. # 删除每行结尾的空白(包括空格符和制表符)   
  147. awk '{sub(/[ \t]+$/, "")};1'   
  148.   
  149. # 删除每行开头和结尾的所有空白(包括空格符和制表符)   
  150. awk '{gsub(/^[ \t]+|[ \t]+$/,"")};1'   
  151. awk '{$1=$1};1'           # 每列之间的空白也被删除   
  152.   
  153. # 在每一行开头处插入5个空格 (做整页的左位移)   
  154. awk '{sub(/^/, "     ")};1'   
  155.   
  156. # 用79个字符为宽度,将全部文本右对齐   
  157. awk '{printf "%79s\n", $0}' file*   
  158.   
  159. # 用79个字符为宽度,将全部文本居中对齐   
  160. awk '{l=length();s=int((79-l)/2); printf "%"(s+l)"s\n",$0}' file*   
  161.   
  162. # 每行用 "bar" 查找替换 "foo"   
  163. awk '{sub(/foo/,"bar")}; 1'           # 仅仅替换第一个找到的"foo"   
  164. gawk '{$0=gensub(/foo/,"bar",4)}; 1'  # 仅仅替换第四个找到的"foo"   
  165. awk '{gsub(/foo/,"bar")}; 1'          # 全部替换   
  166.   
  167. # 在包含 "baz" 的行里,将 "foo" 替换为 "bar"   
  168. awk '/baz/{gsub(/foo/, "bar")}; 1'   
  169.   
  170. # 在不包含 "baz" 的行里,将 "foo" 替换为 "bar"   
  171. awk '!/baz/{gsub(/foo/, "bar")}; 1'   
  172.   
  173. # 将 "scarlet" 或者 "ruby" 或者 "puce" 替换为 "red"   
  174. awk '{gsub(/scarlet|ruby|puce/, "red")}; 1'   
  175.   
  176. # 倒排文本 (模拟 "tac")   
  177. awk '{a[i++]=$0} END {for (j=i-1; j>=0;) print a[j--] }' file*   
  178.   
  179. # 如果一行结尾为反斜线符,将下一行接到这行后面   
  180. # (如果有连续多行后面带反斜线符,将会失败)   
  181. awk '/\\$/ {sub(/\\$/,""); getline t; print $0 t; next}; 1' file*   
  182.   
  183. # 排序并打印所有登录用户的姓名   
  184. awk -F ":" '{ print $1 | "sort" }' /etc/passwd   
  185.   
  186. # 以相反的顺序打印出每行的前两列   
  187. awk '{print $2, $1}' file  
  188.   
  189. # 调换前两列的位置   
  190. awk '{temp = $1; $1 = $2; $2 = temp}' file  
  191.   
  192. # 打印每行,并删除第二列   
  193. awk '{ $2 = ""; print }'   
  194.   
  195. # 倒置每行并打印   
  196. awk '{for (i=NF; i>0; i--) printf("%s ",i);printf ("\n")}' file  
  197.   
  198. # 用逗号链接每5行   
  199. awk 'ORS=NR%5?",":"\n"' file    
  200.   
  201. 选择性的打印某些行:   
  202.   
  203. # 打印文件的前十行 (模拟 "head")   
  204. awk 'NR < 11'   
  205.   
  206. # 打印文件的第一行 (模拟 "head -1")   
  207. awk 'NR>1{exit};1'   
  208.   
  209.   # 打印文件的最后两行 (模拟 "tail -2")   
  210. awk '{y=x "\n" $0; x=$0};END{print y}'   
  211.   
  212. # 打印文件的最后一行 (模拟 "tail -1")   
  213. awk 'END{print}'   
  214.   
  215. # 打印匹配正则表达式的行 (模拟 "grep")   
  216. awk '/regex/'   
  217.   
  218. # 打印不匹配正则表达式的行 (模拟 "grep -v")   
  219. awk '!/regex/'   
  220.   
  221. # 打印第5列等于"abc123"的行   
  222. awk '$5 == "abc123"'   
  223.   
  224. # 打印第5列不等于"abc123"的行   
  225. # 这个同样可以用于打印少于5列的行   
  226. awk '$5 != "abc123"'   
  227. awk '!($5 == "abc123")'   
  228.   
  229. # 用正则匹配某一列   
  230. awk '$7  ~ /^[a-f]/'    # 打印第7列匹配的行   
  231. awk '$7 !~ /^[a-f]/'    # 打印第7列不匹配的行   
  232.   
  233. # 打印匹配正则表达式的前一行,但是不打印当前行   
  234. awk '/regex/{print x};{x=$0}'   
  235. awk '/regex/{print (x=="" ? "match on line 1" : x)};{x=$0}'   
  236.   
  237. # 打印匹配正则表达式的后一行,但是不打印当前行   
  238. awk '/regex/{getline;print}'   
  239.   
  240. # 以任何顺序查找包含 AAA、BBB 和 CCC 的行   
  241. awk '/AAA/; /BBB/; /CCC/'   
  242.   
  243. # 以指定顺序查找包含 AAA、BBB 和 CCC 的行   
  244. awk '/AAA.*BBB.*CCC/'   
  245.   
  246. # 打印长度大于64个字节的行   
  247. awk 'length > 64'   
  248.   
  249. # 打印长度小于64个字节的行   
  250. awk 'length < 64'   
  251.   
  252. # 打印从匹配正则起到文件末尾的内容   
  253. awk '/regex/,0'   
  254. awk '/regex/,EOF'   
  255.   
  256. # 打印指定行之间的内容 (8-12行, 包括第8和第12行)   
  257. awk 'NR==8,NR==12'   
  258.   
  259. # 打印第52行   
  260. awk 'NR==52'   
  261. awk 'NR==52 {print;exit}'          # 对于大文件更有效率   
  262.   
  263. # 打印两个正则匹配间的内容 (包括正则的内容)   
  264. awk '/Iowa/,/Montana/'             # 大小写敏感   
  265.   
  266. 选择性的删除某些行:   
  267.   
  268. # 删除所有空白行 (类似于 "grep '.' ")   
  269. awk NF   
  270. awk '/./'   
  271.   
  272. # 删除重复连续的行 (模拟 "uniq")   
  273. awk 'a !~ $0; {a=$0}'   
  274.   
  275. # 删除重复的、非连续的行   
  276. awk '! a[$0]++'                     # 最简练   
  277. awk '!($0 in a) {a[$0];print}'      # 最有效   
  278.   
  279. 致谢:   
  280.   
  281. 特别感谢 Peter S. Tillier 帮助我完成了一版的FAQ。同样感谢Daniel Jana、   
  282. 董一粟和其他提出建议和修正的人。   
  283.   
  284. 更多的语法指令,包括用文件脚本来使用awk,可以参考如下:   
  285.   
  286. "sed & awk, 2nd Edition," by Dale Dougherty and Arnold Robbins   
  287.   O'Reilly, 1997   
  288. "UNIX Text Processing," by Dale Dougherty and Tim O'Reilly   
  289.   Hayden Books, 1987   
  290.   "GAWK: Effective awk Programming," 3d edition, by Arnold D. Robbins   
  291.   (O'Reilly, 2003) 或者网址 http://www.gnu.org/software/gawk/manual/   
  292.   
  293. 为了能开发awk的强大功能,开发人员必须知道 "正则表达式"。关于正则   
  294. 的详细讨论,可以查看    
  295. "Mastering Regular Expressions, 3d edition" by Jeffrey Friedl (O'Reilly,   
  296. 2006).   
  297.   
  298. 在Unix系统下info和帮助手册("man")会非常有帮助(尝试使用"man awk"、   
  299. "man nawk"、"man gawk"、"man regexp"或者"man ed"里面的正则表达式章节)。   
  300.   
  301. 在awk脚本里面使用 '\t':为了使文档变得清晰,我们在脚本里使用了表达式'\t'   
  302. 来显示一个制表符 (0x99)。所有awk的版本,甚至UNIX系统7的版本应该能认出   
  303. '\t'这种缩写。  

给我留言

留言无头像?