Docker overlay2占用磁盘解决方案

一、基本表现及现象

• 服务器磁盘占用90%+甚至100%

• 使用df -Th、查看是/var/docker/overlay2磁盘占用满
  

二、原因分析

• 容器日志没有设置回滚，日志累计导致磁盘占用满

  在docker中，默认启用了 overlay2作为文件管理系统，类似AUFS（ubantu自带的文件系统）的文件系统，但设计更轻量，速度也更快，工作流程图示如下:

  

  一般来说每一个镜像层都在/var/lib/docker/overlay/下有自己的文件夹：

  $ ls -l /var/lib/docker/overlay/
   
  total 22
  -rw-r--r-- 1 root root   64 Jun 20 16:39 lower-id
  drwxr-xr-x 1 root root 4096 Jun 20 16:39 merged
  drwxr-xr-x 4 root root 4096 Jun 20 16:39 upper
  drwx------ 3 root root 4096 Jun 20 16:39 work
  

  • lower-id 文件里面记录的是镜像层的顶层ID，也就是此层的基层 ，OverlayFS概念中的 lowerdir;
  • upper 文件夹就是本层的可读写层（在 overlay2中的变成了diff）,它也就是 OverlayFS概念中的 upperdir;
  • merged 文件夹是和文件夹的联合挂载，在运行中的容器看过去的文件系统就是它;
  • work 文件夹则是OverlayFS内部文件;

  ​ docker容器日志一般存放在/var/lib/docker/containers/container_id/路径下面，一般来说，容器对应服务产生的日志都会在/var/lib/docker/containers/container_id/的container_id-json.log记录，如果没有配置日志回滚等清理操作，这个log文件就会逐渐增长，导致磁盘占用逐渐增加。

三、解决方案

• 正确解决方案

  • 临时方案：命令清理

    cd /var/lib/docker/containers/container_id
     > container_id-json.log
     或者
     cat /dev/null > /var/lib/docker/containers/*/*-json.log
    

  • 稳定方案：配置日志操作

    • 1、将临时方案写成脚本，使用crontab定时执行

      #!/bin/sh 
      echo "======== start clean docker containers logs ========"  
      logs=$(find /var/lib/docker/containers/ -name *-json.log)  
      for log in $logs  
              do  
                      echo "clean logs : $log"  
                      cat /dev/null > $log  
              done  
      echo "======== end clean docker containers logs ========"
      

    • 2、容器配置日志回滚等操作【设置一个容器服务的日志大小上限】

      nginx: 
        image: nginx:1.12.1 
        restart: always 
        logging: 
          driver: “json-file” 
          options: 
            max-size: “10g” 
      

• 错误操作示例

  • 进入/var/lib/docker/containers/container_id目录，删除container_id-josn.log文件

    ​ 使用rm -rf方式删除日志后，通过df -h会发现磁盘空间并没有释放。原因是在Linux或者Unix系统中，通过rm -rf或者文件管理器删除文件，将会从文件系统的目录结构上解除链接（unlink）。如果文件是被打开的（有一个进程正在使用），那么进程将仍然可以读取该文件，磁盘空间也一直被占用。

四、docker常用排查命令

1.删除不再使用的数据卷：
$ docker volume rm $(docker volume ls -q) 或者 $ docker volume prune
2.删除 build cache 
$ docker builder prune
3.docker 系统一键清理没用的空间
$ docker system prune
4.键删除所有已经停止的容器
$ docker container prune
5.查看docker占用
$ docker system df