修改CentOs7 上Docker默认文件系统DeviceMapper为OverlayFS

http://shanker.blog.51cto.com/1189689/1783910最近一直在研究Mesos, Marathon跟Docker结合的容器云平台，Mesos 框架已经搭好，并且Marathon也可以实现简单的Docker应用管理了，然后今天尝试搭建一下mesosphere公司的DC/OS平台（https://dcos.io/），利用这个平台可以很容易实现基于容器的云计算

liukuan73

11614人浏览 · 2016-07-16 13:56:42

liukuan73 · 2016-07-16 13:56:42 发布

http://shanker.blog.51cto.com/1189689/1783910

最近一直在研究Mesos, Marathon跟Docker结合的容器云平台，Mesos 框架已经搭好，并且Marathon也可以实现简单的Docker应用管理了，然后今天尝试搭建一下mesosphere公司的DC/OS平台（https://dcos.io/），利用这个平台可以很容易实现基于容器的云计算平台的资源调度，管理，应用分配，负载均衡，动态扩展，故障转移等。DC/OS底层系统也是基于Docker的，根据官方文档建议，我们把CentOS7系统上Docker默认的文件系统DeviceMapper改为OverlayFS。

Docker最开始支持的文件系统是Aufs的，是一种Union File System,原理就是将多个目录挂在到同一个虚拟目录下，整个文件系统是一个分层的概念，请看图：

然后RedHat系列的系统是不支持Aufs的，当Docker变得越来越流行的时候，RedHat公司发行我也得插一脚进去，然后RedHat公司就对这个Aufs研究了一下，然后说“恩，我们牛逼，我要开发一套新的文件系统用来运行Docker”。后来这套系统就是基于自家的在kernel2.6之后被引进的DeviceMapper技术。主要用到Docker上的就是Snapshot和Thinly-provisioned Snapshot, 这个Snapshot在LVM逻辑卷管理场景下用来创建虚拟快照的，Thin-Provisioning是一项利用虚拟化方法减少物理存储部署的技术，可最大限度提升存储空间利用率。当这两个技术结合起来就是DeviceMapper给RedHat系统实现Docker文件系统的最后方案了。其实这个方案也是基于分层的理论给每一层镜像创建快照。如图：

然而DeviceMapper的性能并不是那么的好，DC/OS官网给出的解释是会出现unknown issue并且不能再Docker里面运行Docker，DeviceMapper默认情况下创建loop-lvm的方式来构建镜像和容器的snapshots。但是在生产环境下Docker官方建议采用直连的lvm卷来构建镜像和容器，然后在启动Docker Daemon的时候使用如下方式来加载：

 
        { 
       
        "storage-driver" 
        :  
        "devicemapper" 
        , 
       
        "storage-opts" 
        : [          
        "dm.thinpooldev=/dev/mapper/docker-thinpool" 
        ,          
        "dm.use_deferred_removal=true" 
       
        ] 
       
        }

在系统里运行docker info即可查看到使用的是什么文件系统：

这是Cent6.5系统的，发现使用的是devicemapper，而且Data File是loop0：

 
        # docker info 
       
        Containers: 11 
       
        Images: 63 
       
        Storage Driver: devicemapper 
       
        Pool Name: docker-252:1-679218-pool 
       
        Pool Blocksize: 65.54 kB 
       
        Backing Filesystem: extfs 
       
        Data  
        file 
        :  
        /dev/loop0 
       
        Metadata  
        file 
        :  
        /dev/loop1 
       
        Data Space Used: 2.221 GB 
       
        Data Space Total: 107.4 GB 
       
        Data Space Available: 9.648 GB 
       
        Metadata Space Used: 4.166 MB 
       
        Metadata Space Total: 2.147 GB 
       
        Metadata Space Available: 2.143 GB 
       
        Udev Sync Supported:  
        true 
       
        Deferred Removal Enabled:  
        false 
       
        Data loop  
        file 
        :  
        /var/lib/docker/devicemapper/devicemapper/data 
       
        Metadata loop  
        file 
        :  
        /var/lib/docker/devicemapper/devicemapper/metadata 
       
        Library Version: 1.02.95-RHEL6 (2015-09-08) 
       
        Execution Driver: native-0.2 
       
        Logging Driver: json- 
        file 
       
        Kernel Version: 2.6.32-573.22.1.el6.x86_64 
       
        Operating System: <unknown> 
       
        CPUs: 2 
       
        Total Memory: 2.819 GiB 
       
        Name: bastion.shanker 
       
        ID: SJVK:KAXO:ZDAB:XWSM:O45I:EF6U:GE2T:RU3Y:NW6B:K4IQ:DYEN:B4BJ

这台是Ubuntu12.04的,使用的Aufs系统：

 
        # docker info 
       
        Containers: 1 
       
        Running: 0 
       
        Paused: 0 
       
        Stopped: 1 
       
        Images: 38 
       
        Server Version: 1.10.3 
       
        Storage Driver: aufs 
       
        Root Dir:  
        /var/lib/docker/aufs 
       
        Backing Filesystem: extfs 
       
        Dirs: 101 
       
        Dirperm1 Supported:  
        false 
       
        Execution Driver: native-0.2 
       
        Logging Driver: json- 
        file 
       
        Plugins:  
       
        Volume:  
        local 
       
        Network: host bridge null 
       
        Kernel Version: 3.13.0-24-generic 
       
        Operating System: Ubuntu 14.04.1 LTS 
       
        OSType: linux 
       
        Architecture: x86_64 
       
        CPUs: 1 
       
        Total Memory: 1.463 GiB 
       
        Name: dbslave.shanker 
       
        ID: IDR4:IA4B:3GDE:O6KF:IACI:BQE2:5SJL:25CA:4KV3:OCIG:RGYC:N22G 
       
        Username: shanker 
       
        Registry: https: 
        //index 
        .docker.io 
        /v1/ 
       
        WARNING: No swap limit support

这台是CentOS7.2系统，使用的是我更改后的OverlayFS系统：

 
        # docker info 
       
        Containers: 3 
       
        Running: 0 
       
        Paused: 0 
       
        Stopped: 3 
       
        Images: 5 
       
        Server Version: 1.11.1 
       
        Storage Driver: overlay 
       
        Backing Filesystem: xfs 
       
        Logging Driver: json- 
        file 
       
        Cgroup Driver: cgroupfs 
       
        Plugins:  
       
        Volume:  
        local 
       
        Network: bridge null host 
       
        Kernel Version: 3.10.0-327.18.2.el7.x86_64 
       
        Operating System: CentOS Linux 7 (Core) 
       
        OSType: linux 
       
        Architecture: x86_64 
       
        CPUs: 1 
       
        Total Memory: 3.703 GiB 
       
        Name: ukcent2.novalocal 
       
        ID: 7Q46:GGPP:HOLP:5ICX:WXV7:ZC73:S45I:HVC2:UEWX:FL6L:DMSC:TVYH 
       
        Docker Root Dir:  
        /var/lib/docker 
       
        Debug mode (client):  
        false 
       
        Debug mode (server):  
        false 
       
        Registry: https: 
        //index 
        .docker.io 
        /v1/

然后我们今天要做的是放弃DeviceMapper，使用OverlayFS来作为默认的存储系统。首先要升级到CentOS7.2，有一个XFS的Bug在7.2系统被修复了。

1. 将OverlayFS加到module目录下

 
        echo  
        "overlay"  
        >  
        /etc/modules-load 
        .d 
        /overlay 
        .conf

2. reboot 系统，执行lsmod看时候看到overlay

 
        # lsmod | grep over 
       
        overlay                42451  0

3. 将Docker源添加到系统里

 
        cat  
        > 
        /etc/yum 
        .repos.d 
        /docker 
        .repo<<E 
       
        [dockerrepo] 
       
        name=Docker Repository 
       
        baseurl=https: 
        //yum 
        .dockerproject.org 
        /repo/main/centos/ 
        $releasever/ 
       
        enabled=1 
       
        gpgcheck=1 
       
        gpgkey=https: 
        //yum 
        .dockerproject.org 
        /gpg 
       
        E

4. 配置Docker Daemon用OverlayFS启动

 
        sudo  
        mkdir  
        -p  
        /etc/systemd/system/docker 
        .service.d 
       
        sudo  
        cat  
        > 
        /etc/systemd/system/docker 
        .service.d 
        /override 
        .conf <<E 
       
        [Service]  
       
        ExecStart=  
       
        ExecStart= 
        /usr/bin/docker  
        daemon --storage-driver=overlay -H fd: 
        //  
       
        E

5. 安装Docker，设置开机自启动

 
        sudo  
        yum -y  
        install  
        docker-engine 
       
        sudo  
        sysctemctl start docker 
       
        sudo  
        systemctl  
        enable  
        docker