Hadoop集群

2017-03-27

Hadoop安装教程

教程

Hadoop教程

PDF教程

Hadoop配置文件

配置文件

Hadoop准备环境

jdk7
jdk8
hadoop2.2
hadoop2.6

图文教程

Hadoop步骤总结

修改Hadoop的运行环境

vim /home/hadoop/hadoop-2.2.0/etc/hadoop/hadoop-env.sh

修改YARN框架的Java运行环境

vim /home/hadoop/hadoop-2.2.0/etc/hadoop/yarn-env.sh

配置文件 slaves ，指定 datanode 数据存储服务器

vim /home/hadoop/hadoop-2.2.0/etc/hadoop/slaves

配置core-site.xml 文件，指定访问Hadoop web界面

vim /home/hadoop/hadoop-2.2.0/etc/hadoop/core-site.xml

配置 hdfs-site.xml ,配置了hdfs的http访问位置

vim /home/hadoop/hadoop-2.2.0/etc/hadoop/hdfs-site.xml

配置文件 mapred-site.xml 修改框架为yarn

$shell: sbin/mr-jobhistory-daemon.sh start historyserver

cp /home/hadoop/hadoop-2.2.0/etc/hadoop/mapred-site.xml.template /home/hadoop/hadoop-2.2.0/etc/hadoop/mapred-site.xml
vim /home/hadoop/hadoop-2.2.0/etc/hadoop/mapred-site.xml

配置节点 yarn-site.xml

vim /home/hadoop/hadoop-2.2.0/etc/hadoop/yarn-site.xml

拷贝文件

scp -r /home/hadoop/hadoop-2.2.0 hadoop@datanode1:~/
scp -r /home/hadoop/hadoop-2.2.0 hadoop@datanode2:~/

格式化

su - hadoop
/home/hadoop/hadoop-2.2.0/bin/hdfs namenode -format

启动namenode datanode1 datanode2

/home/hadoop/hadoop-2.2.0/sbin/start-dfs.sh             # 启动分布式存储  主节点会显示namenode 从节点含有datanode
/home/hadoop/hadoop-2.2.0/sbin/start-yarn.sh            # 启动分布式计算  主节点会显示resourcemanager 从节点显示nodemanager

/home/hadoop/hadoop-2.2.0/sbin/start-all.sh             # 替代上面两个命令
/home/hadoop/hadoop-2.2.0/sbin/stop-all.sh

启动jpbhistory服务

/home/hadoop/hadoop-2.2.0/sbin/mr-jobhistory-daemon.sh start historyserver

查看HDFS分布式文件系统的状态

/home/hadoop/hadoop-2.2.0/bin/hdfs dfsadmin -report

查看文件快的组成

/home/hadoop/hadoop-2.2.0/bin/hdfs fsck / -files -blocks

web查看HDFS

http://ip地址:50070