本篇内容主要讲解“如何搭建Hadoop的环境”，感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷，实用性强。下面就让小编来带大家学习“如何搭建Hadoop的环境”吧!
说明：这里我们以本地模式和伪分布模式伪列，为大家介绍如何搭建Hadoop环境。有了这个基础，大家可以自行搭建Hadoop的全分布模式。
需要使用的安装介质：
一、安装前的准备工作
1 2 | systemctl stop firewalld.service
systemctl disable firewalld.service
|
1 | bigdata111 192.168.157.111
|
1 2 | ssh-keygen -t rsa
ssh-copy-id -i .ssh/id_rsa.pub root@bigdata111
|
二、安装JDK
1 | tar -zxvf jdk-8u181-linux-x64.tar.gz -C /root/training/
|
1 2 3 4 5 | JAVA_HOME=/root/training/jdk1.8.0_181
export JAVA_HOME
PATH=$JAVA_HOME/bin:$PATH
export PATH
|
1 | source /root/.bash_profile
|
三、解压Hadoop，并设置环境变量
1 | tar -zxvf hadoop-2.7.3.tar.gz -C ~/training/
|
1 2 3 4 5 | HADOOP_HOME=/root/training/hadoop-2.7.3
export HADOOP_HOME
PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export PATH
|
四、搭建Hadoop的本地模式
1 | export JAVA_HOME=/root/training/jdk1.8.0_181
|
1 | hadoop jar hadoop-mapreduce-examples-2.7.3.jar wordcount /root/temp /root/output/wc
|
五、搭建Hadoop的伪分布模式
1 | mkdir /root/training/hadoop-2.7.3/tmp
|
1 | cd /root/training/hadoop-2.7.3/etc/hadoop
|
1 2 3 4 | <property>
<name>dfs.replication</name>
<value>1</value>
</property>
|
1 2 3 4 5 6 7 8 9 10 11 12 13 | <!--配置NameNode的地址-->
<!--9000是RPC通信的端口-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://bigdata111:9000</value>
</property>
<!--HDFS对应的操作系统目录-->
<!--默认值是Linux的tmp目录-->
<property>
<name>hadoop.tmp.dir</name>
<value>/root/training/hadoop-2.7.3/tmp</value>
</property>
|
1 2 3 4 | <property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
|
1 2 3 4 5 6 7 8 9 10 11 | <!--配置ResourceManager的地址-->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>bigdata111</value>
</property>
<!--MapReduce运行的方式是洗牌-->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
|
1 2 | http://192.168.157.111:50070
http://192.168.157.111:8088
|
到此，相信大家对“如何搭建Hadoop的环境”有了更深的了解，不妨来实际操作一番吧！这里是天达云网站，更多相关内容可以进入相关频道进行查询，关注我们，继续学习！