lyx

  • 嵌入式
  • 运维
  • 笔记
  • 关于
所有文章 友链 关于我

lyx

  • 嵌入式
  • 运维
  • 笔记
  • 关于

Hadoop集群

2017-03-27

Hadoop安装教程

教程

Hadoop教程

PDF教程

Hadoop配置文件

配置文件

Hadoop准备环境

jdk7
jdk8
hadoop2.2
hadoop2.6

图文教程















Hadoop步骤总结

修改Hadoop的运行环境

vim /home/hadoop/hadoop-2.2.0/etc/hadoop/hadoop-env.sh

修改YARN框架的Java运行环境

vim /home/hadoop/hadoop-2.2.0/etc/hadoop/yarn-env.sh

配置文件 slaves ,指定 datanode 数据存储服务器

vim /home/hadoop/hadoop-2.2.0/etc/hadoop/slaves

配置core-site.xml 文件,指定访问Hadoop web界面

vim /home/hadoop/hadoop-2.2.0/etc/hadoop/core-site.xml

配置 hdfs-site.xml ,配置了hdfs的http访问位置

vim /home/hadoop/hadoop-2.2.0/etc/hadoop/hdfs-site.xml

配置文件 mapred-site.xml 修改框架为yarn

$shell: sbin/mr-jobhistory-daemon.sh start historyserver

cp /home/hadoop/hadoop-2.2.0/etc/hadoop/mapred-site.xml.template /home/hadoop/hadoop-2.2.0/etc/hadoop/mapred-site.xml
vim /home/hadoop/hadoop-2.2.0/etc/hadoop/mapred-site.xml

配置节点 yarn-site.xml

vim /home/hadoop/hadoop-2.2.0/etc/hadoop/yarn-site.xml

拷贝文件

scp -r /home/hadoop/hadoop-2.2.0 hadoop@datanode1:~/
scp -r /home/hadoop/hadoop-2.2.0 hadoop@datanode2:~/

格式化

su - hadoop
/home/hadoop/hadoop-2.2.0/bin/hdfs namenode -format

启动namenode datanode1 datanode2

/home/hadoop/hadoop-2.2.0/sbin/start-dfs.sh             # 启动分布式存储  主节点会显示namenode 从节点含有datanode
/home/hadoop/hadoop-2.2.0/sbin/start-yarn.sh            # 启动分布式计算  主节点会显示resourcemanager 从节点显示nodemanager

/home/hadoop/hadoop-2.2.0/sbin/start-all.sh             # 替代上面两个命令
/home/hadoop/hadoop-2.2.0/sbin/stop-all.sh

启动jpbhistory服务

/home/hadoop/hadoop-2.2.0/sbin/mr-jobhistory-daemon.sh start historyserver

查看HDFS分布式文件系统的状态

/home/hadoop/hadoop-2.2.0/bin/hdfs dfsadmin -report

查看文件快的组成

/home/hadoop/hadoop-2.2.0/bin/hdfs fsck / -files -blocks

web查看HDFS

http://ip地址:50070
赏

谢谢你请我吃糖果

支付宝
微信
  • IT
  • 运维
  • Hadoop
  • 集群
  • Linux

扫一扫,分享到微信

微信分享二维码
第三阶段调优笔记
英文文献(PDF)汉化
© 2017 lyx
Hexo Theme Yilia by Litten
  • 所有文章
  • 友链
  • 关于我

tag:

  • CentOS6.8
  • SSH服务
  • DHCP服务
  • 自动化部署
  • 互联网资源
  • IT
  • 运维
  • Linux
  • RSYNC服务
  • NTP服务
  • Postfix服务
  • DNS服务
  • NFS服务
  • Samba服务
  • FTP服务
  • Apache服务
  • CentOS7
  • Dokcer
  • Gitlab
  • 源码安装
  • Hadoop
  • 集群
  • Centos6.8
  • 文件共享
  • Haproxy
  • 存储系统
  • 高可用
  • 负载均衡
  • 编程
  • 程序员
  • LAMP
  • LNMP
  • WEB服务器
  • 博客
  • 编译
  • 内核
  • Linux命令
  • Linux基础
  • 笔记
  • 分布式系统
  • NFS
  • 认证服务
  • NIS
  • Nagios
  • 监控
  • 存储
  • RAID
  • WEB架构
  • 远程连接
  • SSH
  • Zabbix
  • 自动化
  • saltstack
  • cobbler
  • Centos7
  • ELKstack
  • Elasticsearch
  • Logstash
  • Heartbeat
  • MySQL
  • Nginx
  • puppet
  • markdown
  • 跨平台
  • Linux服务
  • 大学
  • 版权声明
  • STM32
  • 嵌入式
  • 邮件服务
  • 汉化
  • 网卡错误
  • 虚拟机
  • 分布式存储
  • Corosync
  • Pacemaker
  • DRBD
  • MooseFS

    缺失模块。
    1、在博客根目录(注意不是yilia根目录)执行以下命令:
    npm i hexo-generator-json-content --save

    2、在根目录_config.yml里添加配置:

      jsonContent:
        meta: false
        pages: false
        posts:
          title: true
          date: true
          path: true
          text: true
          raw: false
          content: false
          slug: false
          updated: false
          comments: false
          link: false
          permalink: false
          excerpt: false
          categories: false
          tags: true
    

  • 阿里云
  • 鸿鹄论坛
  • 百度云搜索
  • Github搜索
  • PDF转换软件
  • TI公司WEBENCH
  • powershell教程
  • 七牛云
  • 有道云笔记
  • HTML5
  • 小马运维博客
  • 运维知识体系架构图
  • 云栖社区
  • ChinaUnix
<br>热爱技术<br>热爱开源<br> 2017年<br>