• 这里在虚拟机上搭建的,真正服务器搭建同理,废话少说,开始正文
  • 首先准备一台母机(192.168.150.10),此母机上不搭建东西,只是为了后续虚拟机的克隆,我的是centos7.x
  • 准备基本环境
    • 检查c/c++ 环境
      yum -y install gcc gcc-c++
    • 检查zip/unzip
      yum -y install zip unzip
    • 检查vim(因为fastdfs会用到vim,否则安装失败)
      yum -y install vim*
    • 检查nginx所需包
      yum -y install pcre* zlib* opssl*
    • 关闭防火墙
      systemctl stop firewalld.service
    • 禁止防火墙开机启动
      systemctl disable firewalld
    • 准备软件压缩包所在文件夹
      makdir -p /usr/local/apps
    • 下载软件(按我的版本来,因为fastdfs存在版本兼容问题)
      wget https://codeload.github.com/happyfish100/fastdfs/tar.gz/V5.05
      wget https://codeload.github.com/happyfish100/libfastcommon/tar.gz/V1.0.36
      wget http://219.239.26.11/files/1095000009284083/nginx.org/download/nginx-1.8.1.tar.gz
      wget https://codeload.github.com/happyfish100/fastdfs-nginx-module/tar.gz/V1.20
      wget https://codeload.github.com/FRiCKLE/ngx_cache_purge/tar.gz/2.3
    • 所有从github下载的东西,需要重新命名文件名,后缀为tar.gz
  • 以母机(192.168.150.10)为镜像克隆出第一台tracker服务器(192.168.150.20)
  • 修改ipconfig
    vim /etc/sysconfig/network-scripts/[静态网卡名]
  • 搭建第一台tracker
    • 解压
      tar -zxvf libfastcommon.tar.gz
    • 移动
      mv libfastcommon ../
    • 安装
      进入 libfastcommon目录,执行:./make.sh && ./make.sh install
    • 安装fastdfs
    • 解压
      tar ...
    • 移动到/usr/local目录下
    • 进入fastdfs-5.0.5目录
    • 执行:./make.sh && ./make.sh install
    • 创建tracker所在目录mkdir -p /opt/fastdfs_tracker
    • 修改配置文件
      cd /etc/fdfs
      cp tracker.conf.sample tracker.conf
      vim tracker.conf

      disabled=false #启用配置文件（默认启用）
      port=22122 #设置tracker的端口号，通常采用22122这个默认端口
      base_path=/opt/fastdfs_tracker #设置tracker的数据文件和日志目录
      http.server_port=8080 #设置http端口号，默认为8080
    • 创建软引用(因为tracker的脚本里面路径是/usr/local/bin然而,实际安装却是在/usr/bin)

      ln -s /usr/bin/fdfs_trackerd /usr/local/bin
      ln -s /usr/bin/stop.sh /usr/local/bin
      ln -s /usr/bin/restart.sh /usr/local/bin
    • 配置ngx_cache_purge
      • 解压ngx_cache_purge-2.3移动到/usr/local目录下
      • 解压nginx-1.8.1移动到/usr/local目录下
      • 进入nginx-1.8.1目录
      • 执行:./configure --add-module=/usr/local/ngx_cache_purge-2.3
      • 编译安装make && make install
      • 创建缓存目录
        mkdir -p /fastdfs/cache/nginx/proxy_cache
        mkdir -p /fastdfs/cache/nginx/proxy_cache/tmp
      • 修改配置文件
        vim /usr/local/nginx/conf/nginx.conf

        user root;
        worker_processes 1;
        events {
        worker_connections 1024;
        use epoll;
        }
        http {
        include mime.types;
        default_type application/octet-stream;
        sendfile on;
        tcp_nopush on;
        keepalive_timeout 65;
        # 设置缓存
        server_names_hash_bucket_size 128;
        client_header_buffer_size 32k;
        large_client_header_buffers 4 32k;
        client_max_body_size 300m;
        proxy_redirect off;
        proxy_set_header Host $http_host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_connect_timeout 90;
        proxy_send_timeout 90;
        proxy_read_timeout 90;
        proxy_buffer_size 16k;
        proxy_buffers 4 64k;
        proxy_busy_buffers_size 128k;
        proxy_temp_file_write_size 128k;
        # 设置缓存存储路径，存储方式，分别内存大小，磁盘最大空间，缓存期限
        proxy_cache_path /fastdfs/cache/nginx/proxy_cache levels=1:2
        keys_zone=http-cache:200m max_size=1g inactive=30d;
        proxy_temp_path /fastdfs/cache/nginx/proxy_cache/tmp;
        # group1的服务设置
        upstream fdfs_group1 {
        server 192.168.150.22:8888 weight=1 max_fails=2 fail_timeout=30s;
        server 192.168.150.23:8888 weight=1 max_fails=2 fail_timeout=30s;
        }
        # group2的服务设置
        upstream fdfs_group2 {
        server 192.168.150.24:8888 weight=1 max_fails=2 fail_timeout=30s;
        server 192.168.150.25:8888 weight=1 max_fails=2 fail_timeout=30s;
        }
        server {
        listen 8000;
        server_name localhost;
        # charset koi8-r;
        # access_log logs/host.access.log main;
        # group1的负载均衡配置
        location /group1/M00 {
        proxy_next_upstream http_502 http_504 error timeout invalid_header;
        proxy_cache http-cache;
        proxy_cache_valid 200 304 12h;
        proxy_cache_key $uri$is_args$args;
        # 对应group1的服务设置
        proxy_pass http://fdfs_group1;
        expires 30d;
        }
        location /group2/M00 {
        proxy_next_upstream http_502 http_504 error timeout invalid_header;
        proxy_cache http-cache;
        proxy_cache_valid 200 304 12h;
        proxy_cache_key $uri$is_args$args;
        # 对应group2的服务设置
        proxy_pass http://fdfs_group2;
        expires 30d;
        }
        location ~/purge(/.*) {
        allow 127.0.0.1;
        allow 192.168.150.0/255;
        deny all;
        proxy_cache_purge http-cache $1$is_args$args;
        }
        location / {
        root html;
        index index.html index.htm;
        }
        # error_page 404 /404.html;
        # redirect server error pages to the static page /50x.html
        #
        error_page 500 502 503 504 /50x.html;
        location = /50x.html {
        root html;
        }
        }
        }
      • 注意:listen端口监听要和tracker一样,
  • 关闭(192.168.150.20)虚拟机,以(192.168.150.20)为镜像克隆第二台tracker(192.168.150.21,修改ipconfig前面说过了)
  • 以母机克隆第一台storage(192.168.150.22)
  • 同上安装libfastcommon和fastdfs(不需要配置tracker)
  • 配置storage
    • 修改storage配置文件
      vim /etc/fdfs/storage.conf

      disabled=false #启用配置文件（默认启用）
      group_name=group1 #组名，根据实际情况修改
      port=23000 #设置storage的端口号，默认是23000，同一个组的storage端口号必须一致
      base_path=/opt/fastdfs_storage #设置storage数据文件和日志目录
      store_path_count=1 #存储路径个数，需要和store_path个数匹配
      store_path0=/opt/fastdfs_storage_data #实际文件存储路径
      tracker_server=192.168.150.20:22122 #tracker 服务器的 IP地址和端口号，如果是单机搭建，IP不要写127.0.0.1，否则启动不成功（此处的ip是我的CentOS虚拟机ip）
      http.server_port=8888 #设置 http 端口号
    • 创建storage存放目录:
      mkdir -p /opt/fastdfs_storage
      mkdir -p /opt/fastdfs_storage_data
    • 创建软引用
      ln -s /usr/bin/fdfs_storaged /usr/local/bin
    • 解压fastdfs-nginx-module移动到/usr/local
    • 进入fastdfs-nginx-modul
    • 修改配置
      vim src/config
      去掉CORE_INCS中的local,因为实际安装在/usr/bin目录
    • 安装nginx
      • 解压nginx-1.8.1移动到/usr/local
      • 进入nginx-1.8.1,
      • 执行:
        ./configure --prefix=/usr/local/nginx --add-module=/usr/local/fastdfs-nginx-module-master/src
      • 安装:make && make install
      • cp -r /usr/local/fastdfs-5.05/conf/http.conf /etc/fdfs/
      • cp -r /usr/local/fastdfs-5.05/conf/mime.types /etc/fdfs/
      • cp -r /usr/local/fastdfs-nginx-module-master/src/mod_fastdfs.conf /etc/fdfs/
      • vim /etc/fdfs/mod_fastdfs.conf

        connect_timeout=10
        tracker_server=192.168.150.20:22122
        tracker_server=192.168.150.21:22122
        storage_server_port=23000//默认就是2300，不用做修改
        url_have_group_name=true
        store_path0=/opt/fastdfs_storage_data
        group_name=group1
        group_count=2
        [group1]
        group_name=group1
        storage_server_port=23000
        store_path_count=1
        store_path0=/opt/fastdfs_storage_data
        [group2]
        group_name=group2
        storage_server_port=23000
        store_path_count=1
        store_path0=/opt/fastdfs_storage_data
      • 修改nginx配置

        listen 8888;
        location ~/group([0-9])/M00 {
        ngx_fastdfs_module;
        }
      • 注意:此nginx监听端口要和storage中配置的http端口一样
  • 以(192.168.150.22)为虚拟机克隆第二台storage(192.168.150.23),不要做任何修改
  • 以(192.168.150.22)为虚拟机克隆第三台storage(192.168.150.24),修改storage.conf中group_name=group2,修改mod_fastdfs.conf中group_name=group2
  • 以第三台storage(192.168.150.24)克隆第四台storage(192.168.150.25),不要做任何修改
  • 以nginx为代理配置统一出口
  • 以母机为镜像克隆一台nginx虚拟机(192.168.150.26)
  • 解压nginx-1.8.1移动到/usr/local
  • 进入nginx-1.8.1
  • 执行:
    ./configure --prefix=/usr/local/nginx --with-http_ssl_module

  • vim /usr/local/nginx/conf/nginx.conf

    
# 以下在http模块里面

upstream fastdfs_tracker {
       server 192.168.150.20:8080 weight=1 max_fails=2 fail_timeout=30s;
       server 192.168.150.21:8080 weight=1 max_fails=2 fail_timeout=30s;
}

# 以下在server模块里

    listen       80;
    server_name  localhost;

    #charset koi8-r;

    #access_log  logs/host.access.log  main;

    location / {
       root html;
       index index.html index.htm;
       proxy_pass http://fastdfs_tracker/;
       proxy_set_header Host $http_host;
       proxy_set_header Cookie $http_cookie;
       proxy_set_header X-Real-IP $remote_addr;
       proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
       proxy_set_header X-Forwarded-Proto $scheme;
       client_max_body_size 300m;
    }
  • 到此所有配置以及完成了,下面配置开机启动脚本

  • 在两台tracker服务器中执行

    • chmod +x /etc/rc.d/rc.local
    • cd /root

    • vim tracker.sh

      
#!/bin/bash

service network restart;# 重启network,因为配置双网卡,不知道为什么每次都需要重启
/usr/local/nginx/sbin/nginx -c /usr/local/nginx/conf/nginx.conf;# 启动nginx
service fdfs_trackerd start;# 启动tracker服务

    • chmod +x /root/tracker.sh

    • vim /etc/rc.d/rc.local
      最后一行添加/root/tracker.sh

  • 在4台storage做如下配置

    • chmod +x /etc/rc.d/rc.local
    • cd /root

    • vim storage.sh

      
#!/bin/bash

service network restart;# 重启network,因为配置双网卡,不知道为什么每次都需要重启
/usr/local/nginx/sbin/nginx -c /usr/local/nginx/conf/nginx.conf;# 启动nginx
service fdfs_storaged start;# 启动storage

    • chmod +x /root/tracker.sh

    • vim /etc/rc.d/rc.local
      最后一行添加/root/storage.sh
  • 在最后一台nginx反向代理服务器做如下配置
    • chmod +x /etc/rc.d/rc.local
    • vim /etc/rc.d/rc.local
      最后一行添加/usr/local/nginx/sbin/nginx -c /usr/local/nginx/conf/nginx.conf
  • 至此整个服务分布式集群已经搭建好了,当然可以搭建n个tracker,方法同理,m个storage方法也同理,注意:我们虽然有4个storage,但是只有2个group,这样等于主-备,同一个组的一个storage挂了,另外一台立马顶上,当然也可搭建h个nginx反向代理,在加一层slb或者lvs等等,都可以
  • 下面说下启动顺序,因为storage是基于tracker的,所以要先启动两台tracker,再启动4台storage,至于最后一台nginx服务,什么时候启动都可以
  • 检查tracker,storage是否启动成功
    netstat -unltp|grep fdfs看是否有22122,23000端口
  • 测试:
    • 在第一台tracker上准备一张图片,比如test.jpg
    • 修改client.config配置(默认是client.config.sample,需要拷贝一份为client.config)
    • 修改base_path为tracker的base_path,tracker_server修改为实际的tracker服务器ip(不要写127.0.0.1)
    • /usr/bin/fdfs_upload_file /etc/fdfs/client.conf /root/timg.jpg
    • 如果有结果返回就说明上传成功,比如:group1/M00/00/00/wKiWh1tawuqAAjwEAADX0sGyaUA511.jpg
    • 则可以通过nginx反向代理服务器访问:
      http://192.168.150.26/group1/M00/00/00/wKiWh1tawuqAAjwEAADX0sGyaUA511.jpg
  • 如此就是整个fastdfs分布式服务器搭建(高可用集群)
  • 本屌已搭建好的一套,请点击这里,提取码:id6a
# 分布式 # 集群 # nginx
Logo
华为开发者空间

华为开发者空间，是为全球开发者打造的专属开发空间，汇聚了华为优质开发资源及工具，致力于让每一位开发者拥有一台云主机，基于华为根生态开发、创新。

更多推荐

cover

GaussDB高智能--库内AI引擎：模型管理&数据集管理

avatar 华为开发者空间
cover

GaussDB高智能--库内AI引擎：机器学习算法的训练和推理

avatar 华为开发者空间
cover

HCDG城市行·合肥站——合肥高新区数智时代高级研修班圆满成功

avatar 华为开发者空间