加入收藏 | 设为首页 | 会员中心 | 我要投稿 源码门户网 (https://www.92codes.com/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 运营中心 > 网站设计 > 教程 > 正文

Hadoop大数据通用处理平台

发布时间:2019-03-17 16:14:13 所属栏目:教程 来源:Java的小本家
导读:副标题#e# Hadoop是一款开源的大数据通用处理平台,其提供了分布式存储和分布式离线计算,,适合大规模数据、流式数据(写一次,读多次),不适合低延时的访问、大量的小文件以及频繁修改的文件。 *Hadoop由HDFS、YARN、MapReduce组成。 如果想学习Java工程化

编辑etc/hadoop/hadoop-env.sh文件,修改JAVA_HOME配置项为本地JAVA的HOME目录,此文件是Hadoop启动时加载的环境变量。

编辑/etc/hosts文件,添加主机名与IP的映射关系。

2.配置Hadoop公共属性(core-site.xml)

  1. <configuration>  
  2.  <!-- Hadoop工作目录,用于存放Hadoop运行时产生的临时数据 -->  
  3.  <property>  
  4.  <name>hadoop.tmp.dir</name>  
  5.  <value>/usr/hadoop/hadoop-2.9.0/data</value>  
  6.  </property>  
  7.  <!-- NameNode的通信地址,1.x默认9000,2.x可以使用8020 -->  
  8.  <property>  
  9.  <name>fs.default.name</name>  
  10.  <value>hdfs://192.168.1.80:8020</value>  
  11.  </property>  
  12. </configuration> 

3.配置HDFS(hdfs-site.xml)

  1. <configuration>  
  2.  <!--指定block的副本数量(将block复制到集群中备份数-1个节点的DataNode中)-->  
  3.  <property>  
  4.  <name>dfs.replication</name>  
  5.  <value>1</value>  
  6.  </property>  
  7.  <!-- 关闭HDFS的访问权限 -->  
  8.  <property>  
  9.  <name>dfs.permissions.enabled</name>  
  10.  <value>false</value>  
  11.  </property>  
  12. </configuration> 

(编辑:源码门户网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

热点阅读