zoukankan      html  css  js  c++  java
  • FastDFS+Nginx轻量级分布式

    一 简介

    FastDFS是一个开源的轻量级分布式文件系统,它对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务,如相册网站、视频网站等等。

    FastDFS服务端有两个角色:跟踪器(tracker)和存储节点(storage)。跟踪器主要做调度工作,在访问上起负载均衡的作用。

    二 安装

    1, 本次安装采用三台centos5.10 linux操作系统

    192.168.80.100  tracker Nginx(注意这台不安装fastsfd-niginx插件)

    192.168.80.101  storage nginx

    192.168.80.102  storage nginx

    操作系统的安装这里不多说。

    2, 准备编译环境 yum -y install gcc gcc+ gcc-c++ openssl openssl-devel pcre pcre-devel 三台机器都进行安装,并且创建两个新用户fastdfs nginx  

    useradd fastdfs -M -s /sbin/nologin  useradd nginx -M -s /sbin/nologin

    为了方便测试 请关闭防火墙 service iptables stop

    3, 下载源码

    敲 cd /usr/local/src/ 进入该目录下,运行如下命令,下载fastDFS 5.01 

    wget http://jaist.dl.sourceforge.net/project/fastdfs/FastDFS%20Server%20Source%20Code/FastDFS%20Server%20with%20PHP%20Extension%20Source%20Code%20V5.01/FastDFS_v5.01.tar.

    下载 nginx 1.7.0

    wget http://nginx.org/download/nginx-1.7.0.tar.gz

    下载fastdfs-nginx-module_v1.16

    wget http://jaist.dl.sourceforge.net/project/fastdfs/FastDFS%20Nginx%20Module%20Source%20Code/fastdfs-nginx-module_v1.16.tar.gz

     

    4, 安装FastDFS (三台机器都要安装)

    tar xf FastDFS_v5.01.tar.gz

    cd FastDFS

    ./make.sh && ./make.sh install 

    5, 解压fastDFS-nginx-module

    [root@localhost ~]# cd /usr/local/src/

    [root@localhost src]# tar xf fastdfs-nginx-module_v1.16.tar.gz

    6, 安装Nginx

    192.168.80.100 tarcker 机器的安装

    [root@localhost ~]# cd /usr/local/src/

    [root@localhost src]# tar xf nginx-1.7.0.tar.gz

    [root@localhost src]# cd nginx-1.7.0

    [root@localhost nginx-1.7.0]# ./configure --user=nginx --group=nginx --prefix=/usr/local/nginx

    [root@localhost nginx-1.7.0]# make

    [root@localhost nginx-1.7.0]# make install

    192.168.80.101,102 stroage nginx的安装

    [root@localhost ~]# cd /usr/local/src/

    [root@localhost src]# tar xf nginx-1.7.0.tar.gz

    [root@localhost src]# cd nginx-1.7.0

    [root@localhost nginx-1.7.0]# ./configure --user=nginx --group=nginx --prefix=/usr/local/nginx

    --add-module=../fastdfs-nginx-module/src  //storage 安装nginx时需要加载该模块

    [root@localhost nginx-1.7.0]# make

    [root@localhost nginx-1.7.0]# make install

     

    三 配置

    192.168.80.100 tracker的配置

    1,创建tracker数据以及日志存放目录

    [root@localhost ~]# mkdir -p /data/fastdfs/tracker

    2,修改FastDFS的tracker.conf配置 文件

    [root@localhost ~]# vim /etc/fdfs/tracker.conf 

    base_path=/data/fastdfs/tracker

    max_connections=1024

    work_threads=8

    store_lookup=0

    store_path=0

    reserved_storage_space=4G //

    run_by_group=fastdfs

    run_by_user=fastdfs

    rotate_error_log=true

    配置的解析请参照我的以一篇文章 tracker配置文件解析

    3,修改Nginx的配置文件

    [root@localhost ~]# vim /usr/local/nginx/conf/nginx.conf

    user nginx nginx; //此处为已经建立好的用户 和分组

    worker_processes 3;

    pid /usr/local/nginx/logs/nginx.pid;

    worker_rlimit_nofile 1024;

    events {

    use epoll; // epollLinux内核为处理大批量文件描述符而作了改进的poll

    worker_connections 1024;

    }

    http {

    include mime.types;

    default_type application/octet-stream;

    log_format main '$remote_addr - $remote_user [$time_local] "$request" '

    '$status $body_bytes_sent "$http_referer" '

    '"$http_user_agent" "$http_x_forwarded_for"';

    access_log /usr/local/nginx/logs/access.log main;

    upstream server_g1{

    server 192.168.80.101:80; //这里配置的是storage的IP 可以配多台

    server 192.168.80.102:80;

    }

    server {

    listen 80;

    server_name localhost;

    location /g1 {

    proxy_redirect off;

    proxy_set_header Host $host;

    proxy_set_header X-Real-IP $remote_addr;

    proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;

    proxy_pass http://server_g1;

    }

      }

    }

    4,将tracker交给service管理并且设置开机启动

    [root@localhost ~]# cp /usr/local/src/FastDFS/init.d/fdfs_trackerd /etc/init.d/

    [root@localhost ~]# chkconfig --add fdfs_trackerd

    [root@localhost ~]# chkconfig fdfs_trackerd on

     

    配置storage (分别在192.168.80.101,102上进行配置)

    1, 创建数据存放目录

    [root@localhost ~]# mkdir -p /data/fastdfs/storage/data

     

    2,修改FastDFS的storage.conf配置文件

    [root@localhost ~]# vim /etc/fdfs/storage.conf

    group_name=g1

    base_path=/data/fastdfs

    ##工作线程数,通常设置为 CPU 数

    work_threads=8

    store_path_count=1

    store_path0=/data/fastdfs/storage

    ##tracker_server 的地址

    tracker_server=192.168.80.100:22122

    ##运行 FastDFS 的用户组

    run_by_group=fastdfs

    ##运行 FastDFS 的用户

    run_by_user=fastdfs

    file_distribute_path_mode=1

    rotate_error_log=true

     

    3,把nginx模块的配置文件拷贝到 /etc/fdfs中,进行修改

    [root@localhost ~]# cp /usr/local/src/fastdfs-nginx-module/src/mod_fastdfs.conf /etc/fdfs/

    [root@localhost ~]# vim /etc/fdfs/mod_fastdfs.conf

    connect_timeout=30

    tracker_server=192.168.80.100:22122

    group_name=g1

    url_have_group_name = true

    store_path_count=1

    store_path0=/data/fastdfs/storage

     

    4,修改nginx配置文件

    [root@localhost ~]# vim /usr/local/nginx/conf/nginx.conf

    user nginx nginx;

    worker_processes 8;

    pid /usr/local/nginx/logs/nginx.pid;

    worker_rlimit_nofile 1024;

    events {

    use epoll;

    worker_connections 1024;

    }

    http {

    include mime.types;

    default_type application/octet-stream;

    log_format main '$remote_addr - $remote_user [$time_local] "$request" '

    '$status $body_bytes_sent "$http_referer" '

    '"$http_user_agent" "$http_x_forwarded_for"';

    access_log /usr/local/nginx/logs/access.log main;

    server {

    listen 80;

    server_name localhost;

    location /g1/M00{

    root /data/fastdfs/storage/data;

    ngx_fastdfs_module;

    }

      }

    }

     

    5,把storage 交[root@localhost ~]# cp /usr/local/src/FastDFS/init.d/fdfs_storaged /etc/init.d/

    [root@localhost ~]# chkconfig --add fdfs_storaged

    [root@localhost ~]# chkconfig fdfs_storaged on

    [root@localhost ~]# service fdfs_storaged startservice管理并设置开机启动

    //创建软连接

    [root@localhost ~]# ln -s /data/fastdfs/storage/data /data/fastdfs/storage/data/M00

     

    四 测试

    1,在192.168.80.100 上启动tracker,nginx

    [root@localhost ~]# service fdfs_trackerd start

    [root@localhost ~]# /usr/local/nginx/sbin/nginx

    2,在192.168.80.101,102上面分别启动storage和nginx

    [root@localhost ~]# service fdfs_storaged start

    [root@localhost ~]# /usr/local/nginx/sbin/nginx

    3配置一个client 在tracker上进行

    [root@localhost ~]# vim /etc/fdfs/client.conf

    base_path=/data/fastdfs

    tracker_server=192.168.80.100:22122

    4,查看集群详细

    [root@localhost ~]# fdfs_monitor /etc/fdfs/client.conf

     

    5,测上传

    root@localhost ~]# fdfs_upload_file /etc/fdfs/client.conf aa.jpg

     

    g1/M00/AC/2F/wKgKDVMppoGAMCFNAAIFvJcyojY165.jpg

  • 相关阅读:
    Linux Shell常用技巧(二)
    Linux Shell常用技巧(一)
    Linux Shell常用命令总结
    不大于N的所有素数
    include指令
    PotPlayer 进度条显示缩略图
    PotPlayer 禁止更新
    a标签添加点击事件
    配置JDK环境变量
    电路交换与分组交换的差别
  • 原文地址:https://www.cnblogs.com/chinway/p/5341612.html
Copyright © 2011-2022 走看看