Linux 分区和文件系统操作笔记（Gparted, fdisk, resize2fs, grub, Clonezilla）

                     

贡献者： addis

1. 文件操作

• sudo dd 是一个很危险的命令，它直接操作硬盘上的任意位置的数据，无论是否被挂载。sudo dd if=/dev/random of=/dev/sda 会把整个硬盘包括分区方式（MBR，GPT）等所有信息抹掉
• MBR (Master Boot Record) 和 GPT (GUID Partition Table) 几乎是唯一两种硬盘的分区方式（partition schemes）
• 要备份 MBR，用 dd if=/dev/sda of=/data/disk.img bs=446 count=1，还原同理，但还原最好只用 440 字节
• 用 dd 把一个硬盘的分区克隆的另一个硬盘的分区后（两个分区大小必须完全相同），再 clone MBR 用 dd if=/dev/sda of=/dev/sdc bs=440 count=1
• 要擦除 MBR 中的 grub，首先备份！ 然后用 sudo dd if=/dev/zero of=/dev/sdx bs=440 count=1
• 不同的分区当然可以有不同的文件系统
• Gparted 是一个 GUI 硬盘分区工具，在 Ubuntu live CD 中自带
• GParted 使用 e2image -ra -p /dev/sda1 /dev/sdb1 来复制分区，没有数据的部分不会复制，Arch Wiki 中的 disk cloning 词条列出了很多工具。用 e2image 来备份和恢复参考这里。
• sda, sdb 等编号是不稳定的，可能重启等操作之后会变
• fdisk -l 查看所有挂载的硬盘
• lsblk 也可以查看
• 用 sudo e2fsck -f test.img 可以检查并自动修复文件系统。
• resize2fs -p /dev/sd? ???K 可以改变 ext4 文件系统的大小，Gparted 用的就是这个命令。这个命令需要很长时间。
• mklabel 修改分区的 label，ntfslabel /dev/nvme0n1p3 win 改变 ntfs 分区的 label，还有 e2label 用法一样。注意用 gparted 里面的 label 功能似乎并不是真正的 label，/etc/fstab 识别不出后者。用 e2label /dev/sda1 可以查看某个分区的 label。
• mkfs.ext4 /dev/sdx1 或者 mke4fs -t ext4 /dev/sdb1 把某个分区格式化为 ext4
• Clonezilla 的分区备份对 GPT 和 MBR 都是通用的，如果发生任何问题，用 live cd 重装系统，确保能正常启动，然后还原对应的分区就行，无需任何额外设置。
• 之前 SMART 提示 threshold exceeded，但并没有看到那一项有问题，现在重新写 GPT，安装，clonezilla 还原，又可以正常用了。
• 正常的 ext4 系统分区用 Gparted 缩小以后，突然就不能启动了！貌似并不是 grub 的问题，内核已经加载然后弄出一堆错误。
• 有一个工具叫做 boot-repair 可能可以用来修复 bootloader 的问题
• extFAT 在 Ubuntu 中并不怎么支持 resize 和移动，还是用 windows 的傲梅比较好

fstab（File System Table）

• /etc/fstab 用于设置如何把不同的分区或网络硬盘挂载到不同文件夹。
• 格式为 <file system> <mount point> <type> <options> <dump> <pass>
• uid=1000,gid=1000 是当前登录用户的 user/group id，也可以直接把数字换成用户名和组名。
• NTFS 的设置是 LABEL=mydrive2 /mnt/drive2 ntfs-3g nofail,x-gvfs-show,uid=1000,gid=1000 0 0
• LABEL=win /mnt/win ntfs defaults,auto,rw,nofail,umask=000,uid=addis,gid=addis 0 0
• exFAT 的设置是 LABEL=mydrive1 /mnt/drive1 exfat nofail,x-gvfs-show,uid=1000,gid=1000 0 0
• 第一列可以是 LABEL= 或者 UUID=，第二列是 mount point，第三列是文件系统，用 auto 可以自动检测。第四列是一些选项，nofail 是即使硬盘没有插入也不会报错，x-gvfs-show 是在 gnome 文件浏览器和 taskbar 中显示。uid 和 gid 是挂载后文件的 owner，1000 是当前用户。auto 是开机的时候自动挂载。
• defaults 选项相当于 rw, suid, dev, exec, auto, nouser, async.
• rw 是支持读写，suid 支持 SetUID 权限，exec 支持可执行文件。dev 选项可以支持挂载文件夹中的设备文件（block device 和 character device）, nodev 则禁止。nouser 只允许管理员挂载或弹出硬盘。user 允许任何用户挂载或弹出硬盘。users 允许任何用户挂载，但只有挂载的用户可以弹出某个硬盘。
• user 和 users 自动开启 noexec，除非明确指定 exec 选项。此时即使文件显示有 x 权限也无法执行（但 script 仍然可以用 source 执行）。
• sudo mount -a 会挂载 fstab 中的所有硬盘（如果没有已经挂载）。sudo umount -a 同理（如果被占用则不会弹出）。
• mount 未必需要 sudo，如果被挂载的目录不需要管理员权限。
• sudo mount 挂载目录 可以根据 fstab 中该目录的设置挂载。umount 挂载目录 同理。可以是相对或绝对目录。
• 注意如果某个目录中有打开的 bash（包括当前正在用的），那么 umount 就会失败（target is busy）。

挂载文件作为硬盘

• 参考这个教程。
• 先随便创建一个文件，文件大小就是硬盘的初始大小（下面可以 resize）。如 sudo dd if=/dev/zero of=/路径/虚拟硬盘名.img bs=1M count=100。其中镜像文件 .img 是不必须的。
• 格式化为 ext4：sudo mkfs -t ext4 /路径/虚拟硬盘名.img。注意运行完以后，镜像文件会自动缩小的刚好够用，所以第一步中不需要弄太大的文件。
• 临时挂载：sudo mount -t auto -o loop /路径/虚拟硬盘名.img 挂载目录 其中 -t 是文件系统类型。镜像文件甚至可以存在于 挂载目录 中。但是挂载以后并不能看到该文件。
• 要永久挂载，可以用 /路径/虚拟硬盘名.img /挂载目录 ext4 nofail 0 0
• 使用 df -h 查看文件系统会看到例如 /dev/loop13 488M 24K 452M 1% /mnt/test_dir
• resize2fs 虚拟硬盘名.img 1G 可以改变分区大小。
• 如果文件在 ext4 系统中 du 镜像文件，那么 resize 后所占硬盘空间仍然会是刚好够用。这只是 ext4 特有的优化，实际上文件的大小的确是 resize2fs 的目标大小（可以用 stat 文件 确认）。如果把这个文件移动到比如说 exFat 文件系统中，那么占用空间就会变成后者的大小。

逻辑卷管理（LVM）

　　 可以把多个物理硬盘融合为一个逻辑硬盘，见 Logical Volume Management（LVM）笔记。

2. Bootloader

• 开机的时候，BIOS/UEFI 会先启动 bootloader 然后再由 bootloader 加载系统（也就是按 F2 或 Del 以后进入的那个界面选择的其实是 bootloader)
• 有一个设置 Grub 的 GUI 软件叫做 grub-customizer, 可以设置 grub 菜单，记住上次的选择，检测新系统，等。
• os-prober 也可以发现新系统并加入 grub 菜单（会被 grub-customizer 使用）
• grub 可以装在和系统不同的盘上
• MBR 的 grub 设置文件在 /boot/grub/grub.cfg，GPT 的在 /boot/efi/EFI/ubuntu/grub.cfg
• lilo 是一个可以安装 generic windows boot loader on MBR 的命令
• sda, sdb 等在 grub2 命令行里面的 ls 名字叫做 hd1, hd2...
• windows 的 bootloader 自动加载 windows，而 grub 会搜索每个硬盘和分区，并列出所有选项
• 在 GPT 中，bootloader 总是会在 EFI 分区，而在 MBR 中，bootloader 在 masterrecord 中
• sudo grub-install /dev/sd# 可以在某个硬盘中安装 grub (注意如果硬盘只有一个分区的话，分区名和硬盘名相同，安装可能就会出错)
• 注意 grub-install 可能使用 grub-pc 包也可能使用 grub-efi-amd64 包。前者给 MBR 硬盘安装，后者给 GPT 硬盘安装。它们可以同时安装。
• 如果遇到 failed to get canonical path of... 就用 sudo grub-install /dev/sdX --root-directory=/mnt/[mount point directory]
• 如果安装遇到 will not proceed with blocklist，就在安装命令后面加 --force。
• df 只会显示已挂载的硬盘，而 fdisk 或者 disk, gparted 软件才会显示所有连接的硬盘
• 要安装 ubuntu live 镜像到 disk, 用 sudo dd bs=4M if=/path/to/ISOfile of=/dev/sda status=progress oflag=sync 注意 sda 后面不能有数字！ 这样 dd 会把整个硬盘克隆成 iso 的内容而无视之前的任何 partition table 和分区。此时 u 盘和光盘完全等效，都是只读的（亲测成功）.

• grub 在菜单中按 c 进入命令行模式，然后 ls 可以看见有哪些硬盘和分区，例如（hd0,msdos1），然后继续 ls (hd0,msdos1)/ 按 tab，就会提示该目录下有什么
• grub 在菜单中按 e 就可以编辑临时的 grub config 文件，填入 ls 获得的信息即可
• grub 的菜单是由 /boot/grub/grub.cfg 或者 grub.config 定义的
• 如何克隆 MBR 硬盘上安装的 Ubuntu?
• 如果克隆 MBR 硬盘的分区，那么 grub 并不会一起克隆过去，所以还需要 sudo grub-install ... 在新硬盘上面安装 grub（如果说什么不推荐用啥不稳定的，就在后面加 --force）. 然后再把原来的 grub.cfg 拷贝到新硬盘就好了（不确定新安装 grub 会不会把 cfg 重置）.
• 注意克隆分区以后，目标分区的 uuid 会和原来的 uuid 一模一样，如果拔掉原来的硬盘没什么问题，但如果要一起插的话还是需要改一下
• blkid 可以查看所有分区的 uuid
• uuid 需要 umount 才可以修改，随机生成 uuid 用 tune2fs -U random /dev/sdb? , disk 中会看到变化，如果 blkid 看见 uuid 没有变化，就 mount 再 umount 即可刷新
• fdisk 也可以改变 uuid, sudo fdisk /dev/sd? 然后按 x 再按 i 即可
• 理论上 GPT 是可以在 BIOS 主板上 boot 的（实际上对大部分 linux 可以），见这里。

3. Clone Ubuntu 硬盘

　　 以下步骤亲测成功。

• 启动 Ubuntu 的 live cd 的 usb
• 如果目标硬盘/分区比原硬盘/分区小，那么用 GParted 缩小原分区。
• 用 GParted 把每个分区逐一复制粘贴，分区尺寸要一模一样。
• 如果 part table 是 MBR，用上面的 dd 命令备份并拷贝 MBR
• 用 GParted 把目标分区的 UUID 随机生成新的，避免两个分区具有一样的 UUID 发生冲突
• 用 grub-install /dev/sd? 重新安装 grub，确认目标硬盘中 /boot/grub/grub.cfg 配置文件中所有 UUID 都是新分区的 UUID 而不是老的。如果是老的就全部替换。

4. 常见文件系统

NTFS

• 微软专属
• 支持在线扩容（瞬间完成）
• linux 中读写巨慢
• 不支持 symlink，WSL 支持但在 file explorer 中用不了（据说开发者模式可以支持）

exFAT

• exFAT 是 Windows 发明的，适用于几乎所有操作系统的文件系统
• 不支持 symlink
• linux 中性能比 NTFS 要好一些
• 几乎不可能改变分区大小，只能先把文件移走，重新分区再移动回来
• 一般用于移动硬盘，常用操作系统都兼容
• Linux 内核在 5.几之后自动支持 exFat 文件系统，但之前不支持，简单的手动安装即可

  sudo add-apt-repository universe
  sudo apt update
  sudo apt install exfat-fuse exfat-utils
  

ext4

• linux 常用的文件系统，linux 下速度快（尤其是小文件读写）
• 支持在线扩容（时间较长）

btrfs

• Fedora 桌面版的默认文件系统
• 比较现代和 fancy 的文件系统，支持创建和恢复到某个时间点的状态。
• 似乎可以检测到 bitrot，但不能恢复

zfs

• 和 btrfs 功能差不多，还多了 volume 管理，可以在多块硬盘上创建文件系统，可以通过增加硬盘的方式扩容，多用于企业。
• 另外参考储存服务器管理软件 TrueNAS。
• zfs 可以直接创建 RAID-Z 阵列，不需要其他依赖。
• Ubuntu 19 开始支持 zfs 作为系统盘。

5. Windows 上面挂载 ext4 分区

• 最流行的免费软件：Ext2Fsd
• 一个半免费软件（pro 要付费）：Linux Reader
• 高性能付费软件：Paragon ExtFS

6. S.M.A.R.T

• SMART 是硬盘自我检测信息
• Windows 上可以用 CrystalDiskInfo 软件查看 SMART 信息。
• Linux 上安装 sudo apt-get install smartmontools，然后 sudo smartctl -i /dev/sdX 查看是否开启了 smart，sudo smartctl -a /dev/sdX 查看具体 smart 信息。
• 如果硬盘放在 usb 硬盘盒中，可能提示 Unknown USB bridge，加一个选项即可，如 sudo smartctl -d sat -a /dev/sdX（如果硬盘使用 sata 接口）。
• sudo smartctl -t short /dev/sdX 可以做一个简短自测，
• sudo smartctl -t long /dev/sdX 做一个长自测
• 结果列表中，VALUE 是当前的归一化的分数，0-100，100 是最佳，越低越差。WORST 是历史出现过的最低分。THRESH 是阈值，若分数低于阈值就是出问题了。
• TYPE 是每一行的类型，Pre-fail 就是如果低于阈值随时可能会挂，Old_age 就是如果低于阈值就说明设计的使用寿命到了，会增加故障的风险。