博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
apache的hadoop升级到CDH hadoop2.0时遇到的问题及解决
阅读量:5039 次
发布时间:2019-06-12

本文共 620 字,大约阅读时间需要 2 分钟。

1:引入的jar包

1.X版本有hadoop-core包;而2.x没有

如果你需要hdfs就引入\share\hadoop\common\lib + 

hadoop-common-2.0.0-cdh4.6.0.jar +

hadoop-hdfs-2.0.0-cdh4.6.0.jar +

\share\hadoop\yarn\*

 

如果你要MR则加上

\share\hadoop\mapreduce1\* 或

\share\hadoop\mapreduce2\* 

 

2:遇到权限问题的时候最好是把权限赋给当前的执行用户

chown hadoop.hadoop ./logs

 

3:No FileSystem for scheme: hdfs,No FileSystem for scheme: file

我的办法是加上

Configuration config = new Configuration();

config.set("fs.hdfs.impl",org.apache.hadoop.hdfs.DistributedFileSystem.class.getName());
config.set("fs.file.impl",org.apache.hadoop.fs.LocalFileSystem.class.getName());

 

 

转载于:https://www.cnblogs.com/tommyli/p/3782182.html

你可能感兴趣的文章
Linux常用命令总结
查看>>
KRPano动态热点专用素材图50多个,加动态热点使用方法
查看>>
yii模型ar中备忘
查看>>
C#线程入门
查看>>
CSS清除浮动方法
查看>>
JVM内存回收机制简述
查看>>
洛咕 P2480 [SDOI2010]古代猪文
查看>>
js-创建对象的几种方式
查看>>
JDK JRE Java虚拟机的关系
查看>>
2018.11.20
查看>>
word20161215
查看>>
12th week blog
查看>>
dijkstra (模板)
查看>>
python小记(3)
查看>>
编译Linux驱动程序 遇到的问题
查看>>
大型分布式网站架构技术总结
查看>>
HDU 1017[A Mathematical Curiosity]暴力,格式
查看>>
[算法之美] KMP算法的直观理解
查看>>
EntityFramework 性能优化
查看>>
【ASP.NET开发】菜鸟时期的ADO.NET使用笔记
查看>>