二进制文件处理之尾部补0和尾部去0

背景

有时候我们需要在某个二进制文件的尾部增加一些字节，使文件大小对齐到某个边界，以便满足某些操作的需求。例如某个文件下一步的写入操作需要块对齐。

有时候我们需要将某个二进制文件尾部的大量十六进制0字节去除。例如某工具生成的文件系统镜像，实际包含的有效数据不多，但尾部默认用0填充到了整个文件系统大小，此时会想将其尾部的0去掉以加快烧录。

尾部补0

可以使用dd来完成。dd支持conv参数，conv指定sync，则可将每个输入块填充到ibs个字节，不足部分用空（NUL）字符补齐。

  sync      pad every input block with NULs to ibs-size; when used
            with block or unblock, pad with spaces rather than NULs

例如

zqb-all-PC:~$ echo "https://www.cnblogs.com/zqb-all/" > demo

zqb-all-PC:~$ dd if=demo of=demo_align bs=512 conv=sync
记录了0+1 的读入
记录了1+0 的写出
512 bytes copied, 0.000572995 s, 894 kB/s

zqb-all-PC:~$ du -b demo demo_align
33	demo
512	demo_align

zqb-all-PC:~$ hexdump -C demo ;hexdump -C demo_align
00000000  68 74 74 70 73 3a 2f 2f  77 77 77 2e 63 6e 62 6c  |https://www.cnbl|
00000010  6f 67 73 2e 63 6f 6d 2f  7a 71 62 2d 61 6c 6c 2f  |ogs.com/zqb-all/|
00000020  0a                                                |.|
00000021
00000000  68 74 74 70 73 3a 2f 2f  77 77 77 2e 63 6e 62 6c  |https://www.cnbl|
00000010  6f 67 73 2e 63 6f 6d 2f  7a 71 62 2d 61 6c 6c 2f  |ogs.com/zqb-all/|
00000020  0a 00 00 00 00 00 00 00  00 00 00 00 00 00 00 00  |................|
00000030  00 00 00 00 00 00 00 00  00 00 00 00 00 00 00 00  |................|
*
00000200

尾部去0

可以使用sed来完成，替换掉最后一行的末尾的0即可

sed '$ s/x00*$//'  源文件  >  新文件

例如

zqb-all-PC:~$ sed '$ s/x00*$//' demo_align > demo_cut

zqb-all-PC:~$ du -b demo_align demo_cut
512	demo_align
33	demo_cut

zqb-all-PC:~$ hexdump -C demo_align;hexdump -C demo_cut
00000000  68 74 74 70 73 3a 2f 2f  77 77 77 2e 63 6e 62 6c  |https://www.cnbl|
00000010  6f 67 73 2e 63 6f 6d 2f  7a 71 62 2d 61 6c 6c 2f  |ogs.com/zqb-all/|
00000020  0a 00 00 00 00 00 00 00  00 00 00 00 00 00 00 00  |................|
00000030  00 00 00 00 00 00 00 00  00 00 00 00 00 00 00 00  |................|
*
00000200
00000000  68 74 74 70 73 3a 2f 2f  77 77 77 2e 63 6e 62 6c  |https://www.cnbl|
00000010  6f 67 73 2e 63 6f 6d 2f  7a 71 62 2d 61 6c 6c 2f  |ogs.com/zqb-all/|
00000020  0a                                                |.|
00000021

20200406更新：本方法对大文件不适用，请参考：cut-trailing-bytes：二进制尾部去0小工具

其他

如果不是0x00，是其他的怎么处理？

尾部去0xFF，从尾部去0命令可以看出，其实是可以很方便地改成成去掉其他的字符

sed '$ s/xFF*$//'  源文件  >  新文件

尾部补全对齐0xFF，这个暂时没有想到很简单方式。搜了下，找到了 https://superuser.com/questions/274972/how-to-pad-a-file-with-ff-using-dd# 但感觉还不够好。

本文链接：https://www.cnblogs.com/zqb-all/p/11920964.html