Hadoop在win11安装

07-03 1500阅读

Hadoop在win11安装

1 安装并配置jdk-1.8（jdk-8u391）

Java Archive Downloads - Java SE 8u211 and later (oracle.com)

注意：更改jre和jdk路径，不要包含空格和中文

配置java环境变量

检查是否安装完成

win+r+cmd

2 下载并配置Hadoop

Apache Hadoop-3.3.5

由于Hadoop大部分在linux上使用，所以在win系统上使用还需要下载winutils这个第三方包

GitHub - cdarlint/winutils: winutils.exe hadoop.dll and hdfs.dll binaries for hadoop windows

下载对应版本的包含winutiles.exe文件的压缩包，将压缩包里bin里的所有文件替换掉Hadoop的解压缩文件夹里的bin文件夹里文件

配置Hadoop环境变量

检查是否安装完成

修改Hadoop配置文件

core-site.xml

  
    fs.defaultFS
    hdfs://localhost:9000
  
  
    hadoop.tmp.dir
    file:///E:/hadoop-3.3.5/tmp

hdfs-site.xml

  
    dfs.replication
    1
  
  
    dfs.namenode.name.dir
    file:///E:/hadoop-3.3.5/data/dfs/namenode
  
  
    dfs.datanode.data.dir
    file:///E:/hadoop-3.3.5/data/dfs/datanode

注意：file所指文件保存路径替换成自己设置的namenode和datanode的地址，没有的文件夹要自己去新建，建好文件夹再填这些地址进入配置

mapred-site.xml

  
    mapreduce.framework.name
    yarn

yarn-site.xml

  
    yarn.nodemanager.aux-services
    mapreduce_shuffle
  
  
    yarn.nodemanager.auxservices.mapreduce.shuffle.class  
    org.apache.hadoop.mapred.ShuffleHandler

格式化namenode

hadoop namenode -format

成功格式化后进入hadoop的sbin文件夹内打开各节点

.\start-all.cmd

检查是否成功运行4个进程

3 下载并配置Spark

Downloads | Apache Spark

配置Spark环境变量

检查是否安装完成

运行pyspark

在spark根目录python文件夹下运行pyspark

报错解决

Cannot create symbolic link : 客户端没有所需的特权。 : E:\hadoop-3.3.5\lib\native\libhdfspp.so

我使用7-zip解压Hadoop文件夹，但是报错

解决办法：已管理员身份运行7-zip对Hadoop文件夹解压缩，即可正常全部解压

java.io.IOException: NameNode is not formatted.

出现这个报错是指namenode没有初始化

解决办法，杀死所有进程后进行初始化，然后再start-all.cmd

NodeManager没有启动

解决办法：添加yarn-site.xml文件配置,变成如下配置

  
    yarn.nodemanager.aux-services
    mapreduce_shuffle
  
  
    yarn.nodemanager.auxservices.mapreduce.shuffle.class  
    org.apache.hadoop.mapred.ShuffleHandler
  
  
    yarn.nodemanager.resource.memory-mb
    1024
  
  
    yarn.nodemanager.resource.cpu-vcores
    1

补充的两条配置第一个是nodemanager运行时的最低内存，第二个是nodemanager运行时的cpu数量

修改后再次运行，发现还是报错

查找错误日志