Mac下安装Hadoop

01 引言

如果想在Mac下安装Hadoop而且让Hadoop能正常运行，那安装之前需要先安装java，具体可以参考之前写的博客《Mac下安装JDK11（国内镜像）》。

好了，现在开始讲解如何在Mac环境下安装Hadoop。

02 配置ssh环境

在Mac下如果想使用Hadoop，必须要配置ssh环境， 如果不执行这一步，后面启动hadoop时会出现Connection refused连接被拒绝的错误。

首先终端命令框输入：

ssh localhost

如果提示错误： 表示当前用户没有权限，更改设置如下：进入系统偏好设置 --> 共享 --> 勾选远程登录->勾选所有用户，如下图：

再次输入ssh localhost会提示输入密码，这个时候要重新配置一下ssh免密登录。

① 进入ssh的目录：

 cd ~/.ssh

② 将id_rsa.pub中的内容拷贝到 authorized_keys中：

cat id_rsa.pub >> authorized_keys

操作成功：

02 安装与配置Hadoop

① 使用brew命令安装（这里没有指定版本，安装的是最新版的hadoop）：

brew install hadoop

② 查看是否安装成功：

hadoop version

如果显示如下界面，表示安装成功，可以看到版本号为3.3.1：

③ 进入hadoop的目录：

cd /usr/local/Cellar/hadoop/3.3.1/libexec/etc/hadoop

④ 修改core-site.xml：

        
    fs.defaultFS
    hdfs://localhost:8020
  
 
  
  
    hadoop.tmp.dir
    file:/usr/local/Cellar/hadoop/tmp
  

⑤ 修改hdfs-site.xml，配置namenode和datanode：

        
                dfs.replication
                1
        
        
        
                dfs.permissions
                false    
        
        
        
                dfs.namenode.name.dir
                file:/usr/local/Cellar/hadoop/tmp/dfs/name
        
        
        
                dfs.datanode.data.dir
                file:/usr/local/Cellar/hadoop/tmp/dfs/data
        

⑥ 修改 mapred-site.xml：

  
    
    mapreduce.framework.name
    yarn
  
  
     mapred.job.tracker
     localhost:9010
  
  
  
  
     yarn.app.mapreduce.am.env
     HADOOP_MAPRED_HOME=/usr/local/Cellar/hadoop/3.3.1/libexec
  
  
     mapreduce.map.env
     HADOOP_MAPRED_HOME=/usr/local/Cellar/hadoop/3.3.1/libexec
  
  
     mapreduce.reduce.env
     HADOOP_MAPRED_HOME=/usr/local/Cellar/hadoop/3.3.1/libexec

 

⑦ 修改yarn-site.xml:

	
	    yarn.nodemanager.aux-services
	    mapreduce_shuffle
	  
	
	    yarn.resourcemanager.address
	    localhost:9000
	 
	
	  yarn.scheduler.capacity.maximum-am-resource-percent
	  100
	

03 启动Hadoop并验证 3.1 启动Hadoop

① 启动hadoop :

cd /usr/local/Cellar/hadoop/3.3.1/libexec/sbin
./start-dfs.sh

② 浏览器中输入http://localhost:9870/，出现以下界面就说明成功了： 如果打不开这个web页面，而且又启动了，需要在hadoop下/etc/hadoop/hadoop-env.sh文件下第52行后面添加下方配置:

cd /usr/local/Cellar/hadoop/3.3.1/libexec/etc
export HADOOP_OPTS="-Djava.library.path=${HADOOP_HOME}/lib/native"

③ 可以停止服务hadoop服务：

./stop-yarn.sh

3.2 启动yarn服务

① 启动yarn服务:

cd /usr/local/Cellar/hadoop/3.3.1/libexec/sbin
./stop-dfs.sh

② 浏览器中打开http://localhost:8088/就会出现下图的界面:

③ 可以停止服务yarn服务：

./stop-yarn.sh

04 Hadoop sbin下的命令

1.启动所有的Hadoop守护进程（包括NameNode、 Secondary NameNode、DataNode、ResourceManager、NodeManager）：

sbin/start-all.sh 

2.停止所有的Hadoop守护进程（包括NameNode、 Secondary NameNode、DataNode、ResourceManager、NodeManager）:

sbin/stop-all.sh 

3.启动Hadoop HDFS守护进程NameNode、SecondaryNameNode、DataNode

sbin/start-dfs.sh 

4.停止Hadoop HDFS守护进程NameNode、SecondaryNameNode和DataNode：

sbin/stop-dfs.sh 

5.单独启动NameNode守护进程

sbin/hadoop-daemons.sh start namenode 

6.单独停止NameNode守护进程

sbin/hadoop-daemons.sh stop namenode 

7.单独启动DataNode守护进程

sbin/hadoop-daemons.sh start datanode 

8.单独停止DataNode守护进程

sbin/hadoop-daemons.sh stop datanode 

9.单独启动SecondaryNameNode守护进程:

sbin/hadoop-daemons.sh start secondarynamenode 

10.单独停止SecondaryNameNode守护进程

sbin/hadoop-daemons.sh stop secondarynamenode 

11.启动ResourceManager、NodeManager

sbin/start-yarn.sh 

12.停止ResourceManager、NodeManager

sbin/stop-yarn.sh 

13.单独启动ResourceManager

sbin/yarn-daemon.sh start resourcemanager 

14.单独启动NodeManager

sbin/yarn-daemons.sh start nodemanager 

15.单独停止ResourceManager

sbin/yarn-daemon.sh stop resourcemanager 

16.单独停止NodeManager

sbin/yarn-daemons.sh stopnodemanager 

17.手动启动jobhistory

sbin/mr-jobhistory-daemon.sh start historyserver 

18.手动停止jobhistory

sbin/mr-jobhistory-daemon.sh stop historyserver