zoukankan      html  css  js  c++  java
  • Hadoop Linux安装

    Hadoop Linux安装
    
    步骤流程
    	1.硬件准备
    	2.软件准备(推荐CDH)
    	3.将Hadoop安装包分发到各个节点下
    	4.安装JDK
    	5.修改/etc/hosts配置文件
    	6.设置SSH免密码登陆
    	7.修改配置文件
    	8.启动服务
    	9.验证 
    		
    1.下载软件
    	1.1 apache版本
    	下载链接:http://www.apache.org/
    	1.2 CDH
    	下载链接:http://www.cloudera.com/
    2.安装JDK、解压Hadoop安装包并分发到各个节点
    3.修改/etc/hosts文件
    4.设置SSH免密码登陆
    5.目录介绍
    	bin————Hadoop最基本的管理脚本和使用脚本所在目录
    	etc————Hadoop配置文件所在目录
    	include————对外提供的编程库头文件
    	lib————Hadoop对外提供动态编程库和静态库,配合include目录一起使用
    	libexec————各个服务对应的shell配置文件所在目录,用于配置日志输出
    	sbin————Hadoop各个模块编译后的jar包所在目录	
    6.配置文件(修改后使用scp命令分发到各个节点)
    	1.env.sh
    	2.mapred-site.xml
    	3.core-site.xml
    	4.yarn-site.xml
    	5.hdfs-site.xml
    	6.slave
    7.启动服务
    	1.格式化HDFS
    		bin/hadoop namenode -format
    	2.启动HDFS
    		start-dfs.sh
    	3.启动YARN
    		start-yarn.sh
    8.验证
    	jps(显示五个服务进程)或者web访问
    	http://主机名:端口(其中端口在xml配置文件中配置)
    9.遇到问题
    	1.虚拟机重启后Hadoop无法启动成功
    		解决办法:在core-site.xml文件中添加相应配置,因为每次重启系统会将/tmp目录删除
    	
    

      

  • 相关阅读:
    springmvc的注解式开发
    springmvc
    spring整合Mybatis
    spring的事务管理
    注解定义增强的两个方法
    动态代理
    错题解析
    SpringMVC的基本操作
    Spring整合MyBatis
    配置事务以及事务回滚
  • 原文地址:https://www.cnblogs.com/ciade/p/4991454.html
Copyright © 2011-2022 走看看