本地模式

本地模式

1.1、步骤

在windows的hadoop目录bin目录有一个winutils.exe
1、在windows下配置hadoop的环境变量
2、拷贝debug工具(winutils.ext)到HADOOP_HOME/bin
3、修改hadoop的源码 ，注意：确保项目的lib需要真实安装的jdk的lib

4、MR调用的代码需要改变：
    a、src不能有服务器的hadoop配置文件
    b、在调用是使用：
        Configuration config = new  Configuration();
        config.set("fs.defaultFS", "hdfs://TEST:9000");
        config.set("yarn.resourcemanager.hostname", "TEST");

Eclipse项目复制出现问题

1、这启动 Eclipse 弹出“Failed to load the JNI shared library jvm.dll”错误的解决方法！

2、The import java.io.IOException cannot be resolved问题

3、windows 环境下Eclipse开发MapReduce环境设置

4、 Could not locate executable null\bin\winutils.exe in the Hadoop binaries.

• a、下载hadoop.dll， winutils.exe放在windows中的hadoop安装路径：
  

• b、配置hadoop的环境变量
  

  • c、在代码中添加hadoop路径：

System.setProperty("hadoop.home.dir", "E:\\SetUpDir\\hadoop-2.5.2");