Hadoop入门（五）：集群配置

集群配置 目标

建立三个hadoop之间的连接，前面是配置使得他们独立，现在把相关的配置到一起： 相关说明：

• NameNode 和 SecondaryNameNode 不要安装在同一台服务器（它们两个都需要耗内存，分开减少集群的压力
• ResourceManager 也很消耗内存，不要和 NameNode、SecondaryNameNode 配置在同一台机器上。

配置说明

默认配置： 自定义配置文件: core-site.xml 、hdfs-site.xml 、yarn-site.xml 、mapred-site.xml 四个配置文件存放在 $HADOOP_HOME/etc/hadoop 这个路径上，用户可以根据项目需求重新进行修改配置。

配置集群 核心配置文件

先配置hadoop102,cd到目录下：

cd $HADOOP_HOME/etc/hadoop

编写文件：

vim core-site.xml

可以看如下： 添加内容：

 
    
        fs.defaultFS
        hdfs://hadoop102:8020
    

    
    
        hadoop.tmp.dir
        /home/chuan/software/hadoop-3.2.4/data 
    

    
    
        hadoop.http.staticuser.user
        chuan
    

如下：

HDFS配置

vim hdfs-site.xml

核心配置文件中NameNode地址hdfs://hadoop102:8020相当于是hadoop内部通讯地址， 现在NameNode是HDFS需要用户在web界面上访问，不需要操作命令行，即也需要对外暴露一个接口hadoop102:9870

添加内容：

        dfs.namenode.http-address
        hadoop102:9870
    
  
    
        dfs.namenode.secondary.http-address
        hadoop104:9868
    

如下：

YARN配置

vim yarn-site.xml

添加内容：

    
     
        yarn.nodemanager.aux-services 
        mapreduce_shuffle 
     
 
     
     
        yarn.resourcemanager.hostname 
        hadoop103 
     
 
     
     
        yarn.nodemanager.env-whitelist 
        
JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME 
     

如下：

MapReduce 配置

vim mapred-site.xml

添加内容：

 
    
        mapreduce.framework.name
        yarn
    

如下：

分发配置文件

xsync software/hadoop-3.2.4/etc/hadoop/

如下： 可以去hadoop103和hadoop104上检查一下是否成功：

cat  software/hadoop-3.2.4/etc/hadoop/core-site.xml 

如下： 现在未知，集群的配置就完成了。

配置workers

在启动集群前需要配置workers

进入目录：

cd $HADOOP_HOME/etc/hadoop

编写workers:

vim workers

如下： 删除，内容修改为：

hadoop102
hadoop103
hadoop104

如下： 分发

xsync  workers

如下：

回到根目录

cd  ~

同步所有节点配置文件

xsync  software/hadoop-3.2.4/etc/

如下：

启动集群 初始化

hdfs namenode -format

如下： 可见多了一个data文件夹和logs文件夹：

启动集群

进入目录：

cd sbin/

如下： 启动：

start-dfs.sh

如下： 启动完毕~

用jps查看102，103，104 结果与前面的目标一直：

ResourceManager节点启动 YARN

也就是Hadoop103上面启动：

start-yarn.sh

如下： 用jps查看102，103，104

Web 查看 HDFS 的 NameNode

浏览器输入如下查看 HDFS 上存储的数据信息：

http://hadoop102:9870

如下：

Web 端查看 YARN 的 ResourceManager

http://hadoop103:8088可以查看，如下： 如果你打不开，肯定是配置问题了，我遇到已经解决，请查看：yarn启动后用jps查看没有resourcemanager