centos7-CDH问题合集-04

centos7-离线安装CDH-01

centos7-离线安装CDH-02

centos7-CDH服务添加-03

卸载

1. 关闭集群中的所有服务。  这个可以通过clouder manger 主页关闭集群，再停止cloudera服务，所有节点。

[root@node6 ~]# ./cloudera-scm-server stop [root@node6~]# ./cloudera-scm-agent stop

一下都是所有要卸载的集群均要执行清除工作：

[root@node6~]# rm -rf /usr/share/cmf /var/lib/cloudera* /var/cache/yum/x86_64/6/cloudera* /var/log/cloudera* /var/run/cloudera*  /etc/cloudera*

2. 卸载安装包，所有节点： [root@node7 ~]# rpm -qa | grep cloudera [root@node7 ~]# for f in `rpm -qa | grep cloudera `  ; do rpm -e ${f} ; done     （如果有保存，在执行一遍）

3. 清除安装文件  

 rm -rf /var/lib/hadoop-* /var/lib/impala /var/lib/solr /var/lib/zookeeper /var/lib/hue /var/lib/oozie  /var/lib/pgsql  /var/lib/sqoop2  /data/dfs/  /data/impala/ /data/yarn/  /dfs/ /impala/ /yarn/  /var/run/hadoop-*/ /var/run/hdfs-*/ /usr/bin/hadoop* /usr/bin/zookeeper* /usr/bin/hbase* /usr/bin/hive* /usr/bin/hdfs /usr/bin/mapred /usr/bin/yarn /usr/bin/sqoop* /usr/bin/oozie /etc/hadoop* /etc/zookeeper* /etc/hive* /etc/hue /etc/impala /etc/sqoop* /etc/oozie /etc/hbase* /etc/hcatalog

//只删除hadoop系列的，不要删除其他软件的，否则其他软件的版本控制会被破坏

4. init 6 之后杀死相关进程： for u in hdfs mapred cloudera-scm hbase hue zookeeper oozie hive impala flume; do sudo kill $(ps -u $u -o pid=); done

5. 删除parcel包分发文件和解压文件   rm -rf /opt/cloudera/parcel-cache /opt/cloudera/parcels

6.删除MySQL数据库中对应的scm库，以及mysql表中user表中对应的scm用户

问题

7.Exception in thread "main" java.lang.IllegalArgumentException: Required executor memory (1024+384 MB) is above the max threshold (1046 MB) of this cluster! Please check the values of 'yarn.scheduler.maximum-allocation-mb' and/or 'yarn.nodemanager.resource.memory-mb'.

 

8.Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream

vim /opt/cloudera/parcels/CDH-5.14.2-1.cdh5.14.2.p0.3/lib/spark/conf/spark-env.sh

export SPARK_DIST_CLASSPATH=$(hadoop classpath)

9.Exception in thread "main" org.apache.hadoop.security.AccessControlException: Permission denied: user=root, access=WRITE, inode="/user":hdfs:supergroup:drwxr-xr-x

groupadd supergroup

usermod -a -G supergroup root

hadoop fs -chmod 777 /

 

20. HDFS报错“副本不足的块 744块”的问题

• 原因： 设置的副本备份数与DataNode的个数不匹配。

• 说明： dfs. replication属性默认是3，也就是说副本数—块的备份数默认为3份， 但是集群只有两个DataNode， 所以导致副本备份不足。

• 解决办法：

• 1. 设置目标备份数为2

     1.1 点击集群 -> HDFS -> 配置

     1.2 搜索dfs. replication，设置为2后保存更改。

     

     ​

  2. 在Master服务器更改当前备份数设置

     1

     2

     su hdfs

     hadoop fs -setrep -R 2 /