安裝和設定Hadoop

下載和解壓縮Hadoop

先用firefox下載（直接下載）hadoop到Downloads資料夾

在Terminal（快速鍵 Ctrl + Alt + t）裡面執行以下指令：

cd Downloads
sudo tar -zxvf ./hadoop-2.7.4.tar.gz -C /usr/local
cd /usr/local
sudo mv ./hadoop-2.7.4/ ./hadoop
sudo addgroup hadoop
sudo chown -R hduser:hadoop hadoop

這個的作用是把它解壓縮出來，放到/usr/local/hadoop的位置，並且設定執行權限

設定 hadoop/etc/hadoop/core-site.xml

用Terminal執行：gedit /usr/local/hadoop/etc/hadoop/core-site.xml

在 Configuration裡面輸入：

<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>

這個是在設定NameNode位置在哪裡 - NameNode之後會介紹，但是基本上就是主控HDFS的Master。

修改hadoop-env.sh

這邊要把${JAVA_HOME}的值寫進去（理論上應該不需要才對，因為我們之前有設定參數，但是好像吃不進去，所以要寫死進去）

在Terminal執行：gedit /usr/local/hadoop/etc/hadoop/hadoop-env.sh

找到：export JAVA_HOME=${JAVA_HOME}然後把它改成export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

設定hdfs-site.xml

這邊設定的是：

• 每一個在HDFS的檔案要replicate幾份 - 預設都是3
• NameNode儲存位置
• DataNode儲存位置

在Terminal執行：gedit /usr/local/hadoop/etc/hadoop/hdfs-site.xml，然後在Configuration裡面加入：

<property>
 <name>dfs.replication</name>
 <value>3</value>
</property>
<property>
 <name>dfs.namenode.name.dir</name>
 <value> file:/usr/local/hadoop/hadoop_data/hdfs/namenode</value>
</property>
<property>
 <name>dfs.datanode.data.dir</name>
 <value> file:/usr/local/hadoop/hadoop_data/hdfs/datanode</value>
</property

修改yarn-site.xml

這邊修改的是yarn的設定，在Terminal執行gedit /usr/local/hadoop/etc/hadoop/yarn-site.xml，在Configuration裡面加入：

<property>
 <name>yarn.nodemanager.aux-services</name>
 <value>mapreduce_shuffle</value>
</property>
<property>
 <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
 <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
 <name>yarn.nodemanager.resource.cpu-vcores</name>
 <value>1</value>
</property>
<property>
 <name>yarn.nodemanager.resource.memory-mb</name>
 <value>2048</value>
</property>

這邊後面兩個，yarn.nodemanager.resource.cpu-vcores 和 yarn.nodemanager.resource.memory-mb 是設定使用到的資源，如果後面執行不太起來要注意這個值和VM給的資源。

修改marped-site.xml

這個檔案預設不存在，所以要從template把它先復製出來。

在Terminal輸入：

cd /usr/local/hadoop/etc/hadoop
sudo cp mapred-site.xml.template mapred-site.xml
cd ~
sudo gedit /usr/local/hadoop/etc/hadoop/mapred-site.xml

打開了之後，把configuration改成：

<property>
 <name>mapreduce.framework.name</name>
 <value>yarn</value>
</property>

建立HDFS用到的目錄

在Terminal輸入：

sudo rm -rf /usr/local/hadoop/hadoop_data/hdfs
mkdir -p /usr/local/hadoop/hadoop_data/hdfs/namenode
mkdir -p /usr/local/hadoop/hadoop_data/hdfs/datanode
sudo chown -R hduser:hduser /usr/local/hadoop

這個將會建立hdfs的相關資料夾

測試Hadoop

以上就是hadoop的安裝和設定，接下來只需要把它run起來即可。

格式化HDFS

在Terminal執行：

hadoop namenode -format
hadoop datanode -format 

中間可能會問是否確定繼續執行，記得要輸入yes

啟動yarn和hdfs

在Terminal輸入：

start-yarn.sh
start-dfs.sh

這個是在Master上面執行，會自動透過ssh的方式把所有Slave也一起啟動。

還有兩種啟動方式：

• start-all.sh 和 stop-all.sh - 這個已經被deprecated 不過同等於上面兩個在一起執行
• hadoop-daemon.sh namenode/datanode 和 yarn-deamon.sh resourcemanager - 這個是手動在各個節點裡面手動啟動對應服務

確認啟動process是否正常

在Terminal上面執行：jps

這邊會看到5個服務：

1. NameNode
2. SecondaryNameNode
3. ResourceManager
4. NodeManager
5. DataNode

在真的分散式架構，前3個只會在Master出現，後面兩個只會在Slave出現

確認Web UI是否正常

服務啟動成功之後可以在Firefox輸入：

• http://localhost:8088 - 這個是ResourceManager的web界面
• http://localhost:50070- 這個是NameNode的web界面 - 換句話說是hdfs的畫面