Hadoop大数据通用处理平台

4.配置YARN(yarn-site.xml)

<configuration> 
 <!-- 配置Reduce取数据的方式是shuffle(随机) --> 
 <property> 
 <name>yarn.nodemanager.aux-services</name> 
 <value>mapreduce_shuffle</value> 
 </property> 
</configuration> 

5.配置MapReduce(mapred-site.xml)

<configuration>  
 <!-- 让MapReduce任务使用YARN进行调度 -->  
 <property>  
 <name>mapreduce.framework.name</name>  
 <value>yarn</value>  
 </property>  
</configuration> 

6.配置SSH

由于在启动hdfs、yarn时都需要对用户的身份进行验证，因此可以配置SSH设置免密码登录。

//生成秘钥 
ssh-keygen -t rsa  
//复制秘钥到本机 
ssh-copy-id 192.168.1.80 

3.3 启动HDFS

1.格式化NameNode

2.启动HDFS，将会启动NameNode、DataNode、SecondaryNameNode三个进程，可以通过jps命令进行查看。

*若启动时出现错误，则可以进入logs目录查看相应的日志文件。

当HDFS启动完毕后，可以访问http://localhost:50070进入HDFS的可视化管理界面，可以在此页面中监控整个HDFS集群的状况并且进行文件的上传以及下载。

*进入HDFS监控页面下载文件时，会将请求重定向，重定向后的地址的主机名为NameNode的主机名，因此客户端本地的host文件中需要配置NameNode主机名与IP的映射关系。

3.4 启动YARN

（编辑：源码门户网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!