磁盘空间去哪里了

发表于 更新于 分类于 本文字数： 3.8k 阅读时长 ≈ 3 分钟

由于阿里云上的ssd的都有吞吐量的限制，而且都很低，于是没办法，只能用lvm条带的方式去进行。可这次加完16块盘后发现，怎么磁盘空间少了200多G，准确的说是240G。
本来以为是lvm条带导致的，但是看了下lvm里面的大小是正确的。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
# lvdisplay
  --- Logical volume ---
  LV Path                /dev/data/es
  LV Name                es
  VG Name                data
  LV UUID                wuvsNO-Sgc2-TrAA-jfPu-K4KC-Teii-wUyfDK
  LV Write Access        read/write
  LV Creation host, time abc-es37, 2018-12-27 19:32:40 +0800
  LV Status              available
  # open                 1
  LV Size                <4.69 TiB
  Current LE             1228784
  Segments               4
  Allocation             inherit
  Read ahead sectors     auto
  - currently set to     8192
  Block device           252:0

首先我们看到的是这里是4993286504KB，约等于是4.65TB，但是上面lvdisplay明明是4.69TB啊，这少了40G啊。
其次我们用df看的时候Used+Avail就是跟总的有240G的差距，这个盘要小还好说，但是现在都差了240G了，这个就实在说不过去了。

1
2
3
4
5
6
7
8
9
# df
Filesystem             1K-blocks       Used Available Use% Mounted on
/dev/vda1               41152832    4116164  34923184  11% /
devtmpfs                32892716          0  32892716   0% /dev
tmpfs                   32903348          0  32903348   0% /dev/shm
tmpfs                   32903348        648  32902700   1% /run
tmpfs                   32903348          0  32903348   0% /sys/fs/cgroup
/dev/mapper/data-apps 4993286504 4104325072 637290088  87% /data
tmpfs                    6580672          0   6580672   0% /run/user/1000

我们知道Linux下的文件系统都有inode的概念，那必定有部分空间是给inode使用的。在ext4文件系统中，一个inode是256byte。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
# tune2fs -l /dev/data/es
tune2fs 1.42.9 (28-Dec-2013)
Filesystem volume name:   <none>
Last mounted on:          /data
Filesystem UUID:          b92bbda3-30d7-4231-8234-f2a9e3ca89e8
Filesystem magic number:  0xEF53
Filesystem revision #:    1 (dynamic)
Filesystem features:      has_journal ext_attr resize_inode dir_index filetype needs_recovery extent 64bit flex_bg sparse_super large_file huge_file uninit_bg dir_nlink extra_isize
Filesystem flags:         signed_directory_hash
Default mount options:    user_xattr acl
Filesystem state:         clean
Errors behavior:          Continue
Filesystem OS type:       Linux
Inode count:              157286400
Block count:              1258274816
Reserved block count:     62913740
Free blocks:              229683365
Free inodes:              157214565
First block:              0
Block size:               4096
Fragment size:            4096
Group descriptor size:    64
Reserved GDT blocks:      1024
Blocks per group:         32768
Fragments per group:      32768
Inodes per group:         4096
Inode blocks per group:   256
RAID stride:              16
RAID stripe width:        64
Flex block group size:    16
Filesystem created:       Thu Dec 27 19:32:50 2018
Last mount time:          Tue Jan  1 15:19:37 2019
Last write time:          Tue Jan  1 15:19:37 2019
Mount count:              3
Maximum mount count:      -1
Last checked:             Thu Dec 27 19:32:50 2018
Check interval:           0 (<none>)
Lifetime writes:          5789 GB
Reserved blocks uid:      0 (user root)
Reserved blocks gid:      0 (group root)
First inode:              11
Inode size:	          256
Required extra isize:     28
Desired extra isize:      28
Journal inode:            8
Default directory hash:   half_md4
Directory Hash Seed:      681bcdd9-8371-4641-a850-4e1d6f23c143
Journal backup:           inode blocks

通过上面信息可以很容易计算出来是37.5G的空间给了inode。这就是lvdisplay和df看到total里面的差距。
那剩下的就是Total和Used+Available之间的差距。答案就是Reserved block里，这个是文件系统预留的大小，防止磁盘真的满了无法进行任何操作了。这个默认是给了5%的空间。 好了这2个加起来就是276.5

1
2
3
4
# expr 157286400 \* 256 / 1024 / 1024 / 1024
37.5
# expr 62913740 \* 4 / 1024 / 1024
239

这样我们算出来，这个4.69TB的磁盘大概有276GB磁盘空间是不能使用的。其中37.5G因为inode原因，这个除非调整inode大小，不然肯定没法用了，那就调整磁盘保留空间的大小，默认是5%，那就改成1%吧。

1
# tune2fs -m 1 /dev/data/es

好了，这下应该就差不多满意了。