利用hdfs gateway挂载NFS到本地

HDFS NFS Gateway

HDFS提供了基于NFS(Network File System)的插件，可以对外提供NFS网关，供其它系统挂载使用。

NFS网关支持NFSv3,并允许将HDFS作为客户机本地文件系统的一部分挂载，现在支持：

·上传、下载、删除、追加内容

我们通过NFS网关可以将hdfs文件系统挂在为网络磁盘的形式，这样就可以像操作本地磁盘一样操作上面的数据

利用hdfs gateway挂载NFS

配置HDFS需要配置如下内容：

1. core-site.xml,新增配置项以及hdfs-site.xml,新增配置项

   core-site.xml中新增：

hadoop.proxyuser.hadoop.groups
*


hadoop.proxyuser.hadoop.hosts
*

第一个配置项表示允许hadoop用户代理任何其他用户组，第二个标识允许代理服务器的请求

2.在hdfs-site.xml中新增如下项

nfs.superuser
hadoop


nfs.dump.dir
/tmp/.hdfs-nfs


nfs.exports.allowed.hosts
192.168.88.1 rw

• nfs.suerpser:NFS操作HDFS系统，所使用的超级用户(hdfs的启动用户为超级用户)
• nfs.dump.dir:NFS接收数据上传时使用的临时目录
• nfs.exports.allowed.hosts:NFS允许连接的客户端IP和权限，rw表示读写，IP整体或部分可以以*代替
  1. 开启portmap、nfs3两个新进程

     启动NFS功能

     1.将配置好的core-site.xml和hdfs-site.xml分发到node2和node3

     2.重启Hadoop HDFS集群（先stop-dfs.sh,后start-dfs.sh)

     3.停止系统的NFS相关进程

     a.systemctl stop nfs;systemctl disable nfs

     关闭系统nfs并关闭其开机自启

     b.yum remove-y rpcbind卸载系统自带rpcbind

     4.启动portmap(HDFS自带的rpcbind功能)（必须以root执行）：hdfs-daemon start portmap

     5.启动nfs(HDFS自带的nfs功能)（必须以hadoop.用户执行）：hdfs–daemon start nfs.3