最近被安排开发文件存储微服务,要求是能够通过配置来无缝切换我们公司内部研发的文件存储系统,FastDFS,MongDb GridFS,阿里云OSS,腾讯云OSS等。根据任务紧急度暂时先完成了通过配置来无缝切换内部文件系统以及FastDFS。至于MongDb GridFS,阿里云OSS,腾讯云OSS等则后期需要的话再开发对应的提供者程序集合。
作者:依乐祝
首发公众号:DotNetCore实战
原文链接:?https://www.cnblogs.com/yilezhu/p/12797543.html
今天主要是对开发过程,以及对FastDFS这个通用的分布式文件存储服务的单机及集群安装部署过程做个总结。希望对想要自建分布式文件系统的朋友有所帮助。
什么是FastDFS
这里先简单介绍下分布式文件存储系统。
FastDFS 是一个开源的高性能分布式文件系统(DFS)。 它的主要功能包括:文件存储,文件同步和文件访问,以及高容量和负载平衡。主要解决了海量数据存储问题,特别适合以中小文件(建议范围:4KB < file_size <500MB)为载体的在线服务。
FastDFS 系统有三个角色:跟踪服务器(Tracker Server)、存储服务器(Storage Server)和客户端(Client)。 Tracker Server:跟踪服务器,主要做调度工作,起到均衡的作用;负责管理所有的 storage server和 group,每个 storage 在启动后会连接 Tracker,告知自己所属 group 等信息,并保持周期性心跳。 Storage Server:存储服务器,主要提供容量和备份服务;以 group 为单位,每个 group 内可以有多台 storage server,数据互为备份。 Client:客户端,上传下载数据的服务器,也就是我们自己的项目所部署在的服务器。

FastDFS开源地址:https://github.com/happyfish100
FastDFS的单机版安装
这里先简单介绍下单机版的安装,跟着做你也可以从0还是搭建一个单机版的FastDFS。集群版也是在单机版基础上安装的。
第一步 安装相关工具
如果已经安装和wget可以跳过这一步
yum -y install vim wget unzip
-y:不经过询问直接同意所有操作
vim:linux上面一个比较好用的文本编辑软件
wget:linux上文件下载工具
第二步 安装相关依赖
yum install -y gcc-c++ perl
第三步 安装libfastcommon
大家可以直接到github上面先找到ibfastcommon。这里为了大家方便查找。我已经把把链接给大家整理好了 libfastcommon
这里大家可以先下载到本地,然后再传至服务器上面。这里我使用的是FinalShell。具体操作就不在这里详细说了。
这里目录为:/root/fastdfs/
下载下来的是zip格式压缩包,然后,我们解压zip
unzip libfastcommon-master.zip
进入到刚刚解压的文件里面
cd libfastcommon-master/
进行编译安装
./make.sh && ./make.sh install

``shell
./make.sh && ./make.sh install
#### 第五步 修改配置文件
切换到配置文件目录下
```shell
cd /etc/fdfs/
查看所有配置文件
使用ls命令就行了

去除所有的.sample后缀
cp client.conf.sample client.conf
cp storage.conf.sample storage.conf
cp storage_ids.conf.sample storage_ids.conf
cp tracker.conf.sample tracker.conf
我们再次使用ls命令查看

可以看到我们已经去除了所有的.sample后缀
下一步,创建文件夹,分别创建client,storage,tracker文件夹
mkdir -p /home/software/fastfdfs/data/client
mkdir -p /home/software/fastfdfs/data/storage
mkdir -p /home/software/fastfdfs/data/tracker
client.config配置
下面我们开始配置文件修改,首先修改的是clietn.conf,使用vim编辑器进行文件的编辑
vim client.conf
使用 :set number 显示行数
修改第11行,确定日志文件的存储路径,这里用我们刚刚创建client文件夹路径
base_path = /home/software/fastdfs/data/client

修改第22 行,tracker的地址与端口,根据实际情况进行修改,我的是192.168.1.14。
这里貌似有两个tracker_server,毕竟是单机版部署因此我这里注释了一个
tracker_server = 192.168.1.14:22122

修改号之后记得保存修改!
storage.conf修改
下面我们修改storage.conf。同上是用vim进行修改
首先我们修改下11行的分组设置
group_name = group1

接下来修改49行的基础路径,这里也用上面我们已经创建的路径
base_path = /home/software/fastdfs/data/storage

修改第129行的storage路径。
store_path0 = /home/software/fastdfs/data/storage
注意:这里提示下:存储路径的顺序很重要,不要弄乱了,
基础路径应该独立于存储路径,即尽量让这两个路径不一样。这里我设置了一样

修改第145行 ,配置tracker的IP地址与端口。至于如何填写这个地址,上面配置client.conf的时候,我们就已经说过了。
tracker_server = 192.168.1.14:22122

tracker.conf 配置
现在修改tracker.conf文件
修改第23行,修改tracker的基础路径。这个路径的文件夹我们刚刚在上面已经创建过了
base_path = /home/software/fastdfs/data/tracker

修改第57行 归属组设置
store_group = group1

第六步 启动tracker 与storage
启动tracker
fdfs_trackerd /etc/fdfs/tracker.conf start
启动storage
fdfs_storaged /etc/fdfs/storage.conf start
测试是否启动成功,我们尝试上传文件。我的root文件夹下有一张图片
fdfs_test /etc/fdfs/client.conf upload /root/fastdfs/test.jpeg
如上图所示表示上传成功。
第七步 安装Nginx访问图片
这里由于服务器已经安装了Nginx,因此需要在现有的Nginx的版本基础上安装新的fastdfs的模块。,安装方法可能略有不同
首先查看下Nginx的版本
Nginx -V
这里需要注意一下,如果你服务器上没有安装过Nginx则需要先安装Nginx的依赖,然后再进行安装
yum -y install gcc-c++ zlib-devel pcre-devel
如下图所示:

因此我们需要下载对应版本的源码
wget http://Nginx.org/download/Nginx-1.16.1.tar.gz
解压安装包
tar zxvf Nginx-1.14.0.tar.gz
下载Nginx的fastdfs模块,这里我已经帮大家把这个项目github地址整理好了。 astdfs-nginx-module
这这里我们可以先下载到自己电脑上,再上传服务器。
进行解压
unzip fastdfs-Nginx-module-master.zip
这里由于我们已经安装了Nginx,因此需要备份之前的Nginx防止出现问题进行还原
mv /usr/sbin/Nginx /usr/sbin/Nginx.back
cp -rf /etc/Nginx/ /etc/Nginx.back
切换到Nginx压缩包的解压目录里面去
cd Nginx-1.16.1
进行配置检测并且添加模块
./configure --prefix=/etc/Nginx/ --sbin-path=/usr/sbin/Nginx --add-module=/root/fastdfs/fastdfs-Nginx-module-master/src/
--prefix : Nginx的安装目录
--add-module:解压后模块所在目录,记得要加上src
执行如下命令进行Nginx的重新编译,如果之前已经安装了Nginx则不能执行install,否则会覆盖之前的配置文件,也可以在安装后再把之前的配置覆盖过来。
make && make install
拷贝编译后的Nginx到原来的安装目录
cp objs/Nginx /usr/sbin/Nginx
重启Nginx
systemctl restart Nginx
//第二种方式
Nginx -s reload
//第一次安装,直接输入Nginx
Nginx
切换至fastdfs的解压包里面去
cd /root/fastfdfs/fastdfs-master
进行文件的复制
cp conf/http.conf /etc/fdfs/
cp conf/mime.types /etc/fdfs/
切换至fastdfs-Nginx-module的解压目录下面
cd /root/fastdfs/fastdfs-Nginx-module-master
进行配置文件的复制
cp src/mod_fastdfs.conf /etc/fdfs/
mod_fastdfs.conf配置
修改/etc/fdfs下面的mod_fastdfs.conf配置文件
vim /etc/fdfs/mod_fastdfs.conf
修改 40行,更改tracker的ip地址与端口
tracker_server=192.168.1.14:22122

修改48行的group_name

修改53行 URL地址中是否包含组名,如果链接中包含group则需要设置为true
url_have_group_name = true

修改62行 storage所在目录
store_path0=/home/software/fastdfs/data/storage

保存修改。
Nginx修改
这里注意,每个笨的配置文件存储的方式不同,此步骤可能有所不同。
进行Nginx配置文件的修改,我们可以切换到Nginx的安装目录下面。也可以直接输入如下命令
注意:这里我的Nginx版本为1.16.1,配置文件为conf.d下面的所有的*.conf文件。因此我的输入命令如下:
vim /etc/Nginx/conf.d/default.conf
进行Nginx.conf的修改,如下图所示:
server {
listen 8888;
server_name 192.168.1.93;
location ~/group([0-9])/M00 {
#root html;
#index index.html index.htm;
root /home/software/fastdfs/data/storage/data;
ngx_fastdfs_module;
}
}

多个group的配置
当配置多个组,且mod_fastdfs.conf 里面指定了url_have_group_name= true 时,配置方式:
location ~ /group([0-9]) /M00 {
root /home/software/fastdfs/data/storage/data;
ngx_fastdfs_module;
}
比如:在group1上的 Nginx 的Nginx.conf 配置是
location /group1/M00 {
root /home/software/fastdfs/data/storage/data;
ngx_fastdfs_module;
}
比如:在group2上的 Nginx 的Nginx.conf 配置是
location /group2/M00 {
root /home/software/fastdfs/data/storage/data;
ngx_fastdfs_module;
}
查看Nginx的配置文件是否有效
Nginx -t

显示 is ok没有任何问题,现在启动Nginx。这里我配置为开机自动启动
systemctl restart Nginx
// 第二种方式
Nginx -s reload
依照上面的方式,我们重新上传一张图片。并进行访问
测试是否启动成功,我们尝试上传文件。我的root文件夹下有一张图片
fdfs_test /etc/fdfs/client.conf upload /root/fastdfs/test.jpeg
上传成功,访问下面的地址

路径说明
group1:表示这张图片被保存在了哪个组当中,
M00:代表磁盘目录,如果电脑只有一个磁盘那就只有M00, 如果有多个磁盘,那就M01、M02...等等。
00/00:代表磁盘上的两级目录,每级目录下是从00到FF共256个文件夹,两级就是256*256个。
wKgBE1r-fICAcd3kAAHY-4ojheI481.jpeg表示被存储到storage上的test.jpeg被重命名的名字,这样做的目的是为了防止图片名字重复。
我们到单机版的数据目录下查看一下是否有我们刚才上传的图片,发现是有的返回的图片信息中明确说明了存储在了group1下面。
FastDFS集群版的安装
这里集群版的安装是在单机版的基础上安装的。
机器准备
IP |
作用 |
模块 |
|