Hadoop 在Windows7操作系统下使用Eclipse来搭建hadoop开发环境 联系客服

发布时间 : 星期日 文章Hadoop 在Windows7操作系统下使用Eclipse来搭建hadoop开发环境更新完毕开始阅读bca9911d777f5acfa1c7aa00b52acfc788eb9f42

Hadoop 在Windows7操作系统下使用Eclipse来搭建

hadoop开发环境

网上有一些都是在Linux下使用安装Eclipse来进行hadoop应用开发,但是大部分Java程序员对linux系统不是那么熟悉,所以需要在windows下开发hadoop程序,所以经过试验,总结了下如何在windows下使用Eclipse来开发hadoop程序代码。 1、

需要下载hadoop的专门插件jar包

hadoop版本为2.3.0,hadoop集群搭建在centos6x上面,插件包下载地址为:

http://download.csdn.net/detail/mchdba/8267181,jar包名字为hadoop-eclipse-plugin-2.3.0,可以适用于hadoop2x系列软件版本。2、

把插件包放到eclipse/plugins目录下

为了以后方便,我这里把尽可能多的jar包都放进来了,如下图所示:

3、重启eclipse,配置Hadoop installation directory

如果插件安装成功,打开Windows—Preferences后,在窗口左侧会有Hadoop Map/Reduce选项,点击此选项,在窗口右侧设置Hadoop安装路径。

4、配置Map/Reduce Locations

打开Windows-->Open Perspective-->Other

选择Map/Reduce,点击OK,在右下方看到有个Map/Reduce

Locations的图标,如下图所示:点击Map/Reduce Location选项卡,点击右边小象图标,打开Hadoop Location配置窗口:

输入Location

Name,任意名称即可.配置Map/Reduce Master和DFS Mastrer,Host和Port配置成与core-site.xml的设置一致即可。

去找core-site.xml配置:

fs.default.name

hdfs://name01:9000

在界面配置如下: 点击\按钮,关闭窗口。点击左侧的DFSLocations—>myhadoop(上一步配置的location name),如能看到user,表示安装成功,但是进去看到报错信息:Error: Permission denied:

user=root,access=READ_EXECUTE,inode=\:supergroup:drwx---------,如下图所示:应该是权限问题:把/tmp/目录下面所有的关于hadoop的文件夹设置成hadoop用户所有然后分配授予777权限。