【详细版】Linux系统中搭建Hadoop

07-03 1666阅读

一、Hadoop单机版环境搭建

1、上传JDK至服务器

创建tools目录,用于存放文件

mkdir /opt/tools

切换tools目录,rz上传JDK安装包

jdk-8u361-linux-x64.tar.gz (文章结尾附安装包链接)

2、解压JDK安装包

创建server目录,用于存放JDK解压后的文件

mkdir /opt/server

解压至server目录

tar -zvxf jdk-8u131-linux-x64.tar.gz -C /opt/server

3、配置JDK环境变量

编辑 /etc/profile 文件

vim /etc/profile
# 文件末尾增加
export JAVA_HOME=/opt/server/jdk1.8.0_361
export PATH=${JAVA_HOME}/bin:$PATH

执行source命令,使配置立即生效

source /etc/profile

检查是否安装成功

java -version

【详细版】Linux系统中搭建Hadoop

4、配置免密登录

Hadoop 组件之间需要基于 SSH 进行通讯,配置免密登录后不需要每次都输入密码

更改当前用户名为server,reboot后生效

echo "server" > /etc/hostname

配置映射,配置 ip 地址和主机名映射

vim /etc/hosts
# 文件末尾增加
192.168.1.153 server

生成公钥私钥

ssh-keygen -t rsa

进入 ~/.ssh 目录下,查看生成的公匙和私匙,并将公匙写入到授权文件

cd ~/.ssh
cat id_rsa.pub >> authorized_keys
chmod 600 authorized_keys

5、下载并解压Hadoop

切换/opt/tools目录下,rz上传Hadoop安装包

hadoop-3.3.4.tar.gz

解压Hadoop至server目录

tar -zvxf hadoop-3.3.4.tar.gz -C /opt/server/

6、配置Hadoop

(1)修改配置文件

进入/opt/server/hadoop-3.3.4/etc/hadoop 目录下,修改以下配置:

修改hadoop-env.sh文件,设置JDK的安装路径

vim hadoop-env.sh
export JAVA_HOME=/opt/server/jdk1.8.0_361

修改core-site.xml文件,分别指定hdfs 协议文件系统的通信地址及hadoop 存储临时文件的目录

    
        
        fs.defaultFS
        hdfs://server:8020
    
    
        
        hadoop.tmp.dir
        /home/hadoop/data
    

修改hdfs-site.xml,指定 dfs 的副本系数

    
        
        dfs.replication
        1
    

修改workers文件,配置所有从属节点

vim workers
# 配置所有从属节点的主机名或 IP 地址,由于是单机版本,所以指定本机即可:
server
(2)初始化并启动HDFS

关闭防火墙,不关闭防火墙可能导致无法访问 Hadoop 的 Web UI 界面

# 查看防火墙状态
sudo firewall-cmd --state
# 关闭防火墙:
sudo systemctl stop firewalld
# 禁止开机启动
sudo systemctl disable firewalld

第一次启动 Hadoop 时需要进行初始化,进入 /opt/server/hadoop-3.1.0/bin目录下,执行以下命令:

cd /opt/server/hadoop-3.1.0/bin
./hdfs namenode -format

【详细版】Linux系统中搭建Hadoop

Hadoop 3中不允许使用root用户来一键启动集群,需要配置启动用户

cd /opt/server/hadoop-3.1.0/sbin/
# 编辑start-dfs.sh、stop-dfs.sh,在顶部加入以下内容
HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

启动HDFS,进入/opt/server/hadoop-3.3.4/sbin/ 目录下,启动 HDFS:

cd /opt/server/hadoop-3.3.4/sbin/
./start-dfs.sh

验证是否启动

方式一:执行 jps 查看 NameNode 和 DataNode 服务是否已经启动:

[root@server sbin]# jps
1696 NameNode
2067 SecondaryNameNode
1863 DataNode
2183 Jps

方式二:查看 Web UI 界面,端口为 9870:

【详细版】Linux系统中搭建Hadoop

配置环境变量,方便启动

vim /etc/profile
export HADOOP_HOME=/opt/server/hadoop-3.3.4
export PATH=$PATH:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin
source /etc/profile

7、Hadoop(YAEN)环境搭建

(1)修改配置文件

进入/opt/server/hadoop-3.3.4/etc/hadoop 目录下,修改以下配置

修改mapred-site.xml文件

    
        mapreduce.framework.name
        yarn
    
    
        yarn.app.mapreduce.am.env
        HADOOP_MAPRED_HOME=${HADOOP_HOME}
    
    
        mapreduce.map.env
        HADOOP_MAPRED_HOME=${HADOOP_HOME}
    
    
        mapreduce.reduce.env
        HADOOP_MAPRED_HOME=${HADOOP_HOME}
    

修改yarn-site.xml文件,配置 NodeManager 上运行的附属服务

    
        
        yarn.nodemanager.aux-services
        mapreduce_shuffle
    

(2)启动服务

Hadoop 3中不允许使用root用户来一键启动集群,需要配置启动用户

# start-yarn.sh stop-yarn.sh在两个文件顶部添加以下内容
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

进入 ${HADOOP_HOME}/sbin/ 目录下,启动 YARN

./start-yarn.sh

验证是否启动成功

方式一:执行 jps 命令查看 NodeManager 和 ResourceManager 服务是否已经启动

[root@server sbin]# jps
1696 NameNode
2401 ResourceManager
2067 SecondaryNameNode
1863 DataNode
2856 Jps
2537 NodeManager

方式二:查看 Web UI 界面,端口为 8088

【详细版】Linux系统中搭建Hadoop

所需安装包链接:
链接:https://pan.baidu.com/s/1bw2PaENbWVBNt6JcrMO-BA?pwd=k7xj 
提取码:k7xj
VPS购买请点击我

文章版权声明:除非注明,否则均为主机测评原创文章,转载或复制请以超链接形式并注明出处。

目录[+]