JavaWeb项目架构之NFS文件服务器

摘要:
NFS存储服务没有NFS文件共享存储。当用户A通过Internet上载文件时,存在NFS文件共享存储。当用户A通过Internet上载文件时,无论发送到哪个节点,文件都将存储在NFS文件服务器中。维护和节省本地存储空间非常简单。公共数据可以存储在一个服务器中。它可以通过网络访问。缺点是NFS效率高/性能有限。NFS数据是明文。当多台计算机在未验证数据完整性的情况下装载NFS服务器时。

NFS简介

NFS(Network File System)即网络文件系统。

主要功能:通过网络(局域网)让不同的主机系统之间可以共享文件或目录。

主要用途:NFS网络文件系统一般被用来存储共享视频,图片,附件等静态资源文件。

NFS存储服务

无NFS文件共享存储

当用户A通过互联网上传文件时,经过负载均衡,随机或者定向分配到某个节点。但是当用户B去下载这个文件的时候,并不确定会向哪个节点发送请求,这样会导致用户存在一定几率下载不到的情况。

JavaWeb项目架构之NFS文件服务器第1张

有NFS文件共享存储

当用户A通过互联网上传文件时,经过负载均衡,无论发送到哪个节点都会被存储到NFS文件服务器。但是当用户B去下载这个文件的时候,任何节点都可以读取NFS文件服务器的文件。

JavaWeb项目架构之NFS文件服务器第2张

NFS服务的优缺点

优点

简单容易上手 方便部署非常快速,维护十分简单 节省本地存储空间将常用的数据存放在一台服务器可以通过网络访问

缺点

在高并发下NFS效率/性能有限 NFS的数据是明文的,对数据完整性不做验证 多台机器挂载NFS服务器时,连接管理维护麻烦 容易发生单点故障,如果服务端宕机,所有客户端将不能访问 客户端没用用户认证机制,且数据是通过明文传送,安全性一般(一般建议在局域网内使用)

RPC工作流程

JavaWeb项目架构之NFS文件服务器第3张

NFS支持的功能非常多,不同的功能会有不同的服务来完成,很多服务都需要监听在一些端口,其中的很多端口并不是固定的。这些服务在启动时,都需要向rpcbind服务注册一个端口,rpcbind服务随机选取一个未被使用的端口予以分配。rpcbind服务监听在111端口,所以rpcbind的主要功能就是指定每个RPC service对应的port number,并且通知给客户端,让客户端连接到正确的端口上去。

客户端向NFS服务器端请求的步骤:

首先用户访问网站程序,由程序在NFS客户端上发出存取NFS文件的请求,这是NFS客户端的RPC服务就不通过网络向NFS服务器端的RPC服务的111端口发出NFS文件存取功能的查询请求,包括要实现的什么功能。

NFS服务器端的RPC服务找到对应的已注册的NFS端口,通知NFS客户端的RPC服务。

此时NFS客户端获取到正确的端口,并与NFS联机存取数据。

我特意整理了一下,里面的技术不是靠几句话就能讲清楚,所以干脆找朋友录制了一些视频,很多问题其实答案很简单,但是背后的思考和逻辑不简单,要做到知其然还要知其所以然。如果想学习Java工程化、高性能及分布式、深入浅出。性能调优、Spring,MyBatis,Netty源码分析的朋友可以加我新建的Java群:650385180,群里有阿里大牛直播讲解技术,以及Java大型互联网技术的视频免费分享给大家。

NFS客户端把数据存取成功后,返回给客户端程序,告知用户存取结果。

注意:由于rpc service在启动时需要向rpcbind注册端口,所以rpcbind要先启动。另外若rpcbind重新启动,原来注册的数据也会不见,因此一但rpcbind重新启动,让所管理的服务因为需要重新启动以重新向rpcbind注册。

NFS服务器端配置

NFS服务器:192.168.1.180

检查并安装NFS

[root@iZ2ze74fkxrls31tr2ia2fZ ~]# rpm -qa rpcbind nfs-utils

nfs-utils-1.3.0-0.48.el7_4.1.x86_64

rpcbind-0.2.0-42.el7.x86_64

如果没有,安装 NFS 服务器所需的软件包,实际上需要安装两个包nfs-utils(nfs服务主程序)和rpcbind(rpc主程序), 不过当使用yum安装nfs-utils时会把rpcbind一起安装上。

yum install -y nfs-utils

配置说明

/etc/sysconfig/nfs #NFS的主配置文件

/etc/exports #配置共享目录的文件

/etc/exports的配置格式:

nfs共享目录 nfs客户端地址1(参1,参2.....) 客户端地址2(参1,参2...)

说明:

nfs共享目录:为nfs服务器要共享的实际目录,绝对目录。注意权限问题。

nfs客户端地址:为nfs服务器授权可以访问的客户端的地址,可以是单独的ip地址或主机名,域名。也可以是整个网段。

授权整个网段:eg:10.0.0.0/24

文件配置实例说明:

/data/fileserver 192.168.1.190(rw,sync,no_root_squash)

若服务器端对/etc/exports文件进行了修改,可以通过exportfs命令重新加载服务而不需要重启服务。若重启服务需要重新向prcbind注册,而且对客户端的影响也很大,所以尽量使用exportfs命令来使配置文件生效。

exportfs: exportfs -ar #重新导出所有的文件系统

exportfs -r #导出某个文件系统

exportfs -au #关闭导出的所有文件系统

exportfs -u #关闭指定的导出的文件系统

相关参数 (man exports)

A. 选项:选项用来设置输出目录的访问权限、用户映射等。

设置输出目录只读:ro

设置输出目录读写:rw

B. 用户映射选项

all_squash:将远程访问的所有普通用户及所属组都映射为匿名用户或用户组(nfsnobody);

no_all_squash:与all_squash取反(默认设置);

root_squash:将root用户及所属组都映射为匿名用户或用户组(默认设置);

no_root_squash:与rootsquash取反;

anonuid=xxx:将远程访问的所有用户都映射为匿名用户,并指定该用户为本地用户(UID=xxx);

anongid=xxx:将远程访问的所有用户组都映射为匿名用户组账户,并指定该匿名用户组账户为本地用户组账户(GID=xxx);

C. 其它选项

secure:限制客户端只能从小于1024的tcp/ip端口连接nfs服务器(默认设置);

insecure:允许客户端从大于1024的tcp/ip端口连接服务器;

sync:将数据同步写入内存缓冲区与磁盘中,效率低,但可以保证数据的一致性;

async:将数据先保存在内存缓冲区中,必要时才写入磁盘;

wdelay:检查是否有相关的写操作,如果有则将这些写操作一起执行,这样可以提高效率(默认设置);

no_wdelay:若有写操作则立即执行,应与sync配合使用;

subtree:若输出目录是一个子目录,则nfs服务器将检查其父目录的权限(默认设置);

no_subtree:即使输出目录是一个子目录,nfs服务器也不检查其父目录的权限,这样可以提高效率;

启动NFS服务端上nfs服务

1、先为rpcbind和nfs做开机启动:

systemctl enable rpcbind.service

systemctl enable nfs-server.service

2、然后分别启动rpcbind和nfs服务:

systemctl start rpcbind.service

systemctl start nfs-server.service

查看服务是否启动

[root@iZ2ze74fkxrls31tr2ia2fZ ~]# rpcinfo -p

program vers proto port service

100000    4   tcp    111  portmapper

100000    3   tcp    111  portmapper

100000    2   tcp    111  portmapper

100000    4   udp    111  portmapper

100000    3   udp    111  portmapper

100000    2   udp    111  portmapper

100024    1   udp  47426  status

100024    1   tcp  35379  status

100005    1   udp  20048  mountd

100005    1   tcp  20048  mountd

100005    2   udp  20048  mountd

100005    2   tcp  20048  mountd

100005    3   udp  20048  mountd

100005    3   tcp  20048  mountd

100003    3   tcp   2049  nfs

100003    4   tcp   2049  nfs

100227    3   tcp   2049  nfs_acl

100003    3   udp   2049  nfs

100003    4   udp   2049  nfs

100227    3   udp   2049  nfs_acl

100021    1   udp  53046  nlockmgr

100021    3   udp  53046  nlockmgr

100021    4   udp  53046  nlockmgr

100021    1   tcp  38280  nlockmgr

100021    3   tcp  38280  nlockmgr

100021    4   tcp  38280  nlockmgr

使用exportfs查看本机上已经共享的目录:

exportfs

NFS客户端配置

NFS客户端:192.168.1.190

安装nfs,并启动服务。

yum install -y nfs-utils

systemctl enable rpcbind.service

systemctl start rpcbind.service

客户端不需要启动nfs服务,只需要启动rpcbind服务。

检查 NFS 服务器端是否有目录共享

showmount -e 192.168.1.180

挂载远程服务

mount -t nfs 192.168.1.180:/data/fileserver /data/itstyle

查看挂载

df -h

开机挂载,编辑/etc/fstab

vim /etc/fstab 加入以下内容:

#设备文件 挂载点 文件系统类型 mount参数 dump参数 fsck顺序

192.168.1.180:/data/fileserver /data/itstyle nfs defaults,_netdev 0 0

_netdev明确说明这是网络文件系统,避免网络启动前挂载出现错误。

保存后,重新挂载 /etc/fstab 里面的内容。

mount -a

推荐一个交流学习群:650385180里面会分享一些资深架构师录制的视频录像:有Spring,MyBatis,Netty源码分析,高并发、高性能、分布式、微服务架构的原理,JVM性能优化这些成为架构师必备的知识体系。还能领取免费的学习资源,目前受益良多:

 
JavaWeb项目架构之NFS文件服务器第4张

注:喜欢的小伙伴可以点赞加一波关注,一起学习进步

免责声明:文章转载自《JavaWeb项目架构之NFS文件服务器》仅用于学习参考。如对内容有疑问,请及时联系本站处理。

上篇Java枚举类型的理解及在后台响应中的使用算法训练 删除数组零元素下篇

宿迁高防,2C2G15M,22元/月;香港BGP,2C5G5M,25元/月 雨云优惠码:MjYwNzM=

相关文章

ASP.NET SignalR 与 LayIM2.0 配合轻松实现Web聊天室(十) 之 自定义系统消息和总结

前言   本篇主要讲解一个东西,就是我们自定义系统消息。效果如下:   首先我们要做的准备工作就是改写 layim 的消息模板,如果不改的话就成为某个用户发送的消息了,那么体验就稍微差一些。找到模板我们看一下。   注意,红框部分是我更改后的,简单读一下可以看出来,我只是给聊天消息加了个参数 system,如果有这个参数,那么我们直接给加一个div就...

c语言_头文件_windows.h

概述 Win32程序的开头都可看到: #include <windows.h> WINDOWS.H是一个最重要的头文件,它包含了其他Windows头文件,这些头文件的某些也包含了其他头文件。这些头文件中最重要的和最基本的是: WINDEF.H 基本数据类型定义。 WINNT.H 支持Unicode的类型定义。 WINBASE.H Kernel(...

HTTP服务&amp;amp;AJAX编程

即 Asynchronous Javascript And XML,AJAX 不是一门的新的语言,而是对现有持术的综合利用。 本质是在HTTP协议的基础上以异步的方式与服务器进行通信。 传统方式我们是以表单形式与服务器通信的。 1.1   异步 指某段程序执行时不会阻塞其它程序执行,其表现形式为程序的执行顺序不依赖程序本身的书写顺序,相反则为同步。 其优势...

管理并行SQL执行的进程

本节介绍的并行执行功能可用于Oracle数据库企业版 本节介绍如何管理SQL语句的并行处理。在此配置中,Oracle数据库可以将处理SQL语句的工作分为多个并行进程。 许多SQL语句的执行可以并行化。并行度是可以与单个操作相关联的并行执行服务器的数量。并行度由以下任何因素决定:  声明中的PARALLEL子句 对于查询中引用的对象,创建或更改对象时使用的...

COGNOS主要产品比较

COGNOS主要产品比较 产品功能-模型设计 产品 模型设计组件 描述 Cognos 8 BI Framework 能定义视图间表及数据项的关系,构建ROLAP多维数据模型,操作方法复杂,只能进行简单度量运算,不能创建衍生指标,需要在报表层设计。 Transformer 能构建MOLAP多维数据模型,操作复杂,能创建衍生指标,能进行度量的聚合运...

Hive:ORC File Format存储格式详解

一、定义   ORC File,它的全名是Optimized Row Columnar (ORC) file,其实就是对RCFile做了一些优化。 据官方文档介绍,这种文件格式可以提供一种高效的方法来存储Hive数据。它的设计目标是来克服Hive其他格式的缺陷。 运用ORC File可以提高Hive的读、写以及处理数据的性能。和RCFile格式相比,ORC...