zoukankan      html  css  js  c++  java
  • Hadoop Linux安装

    Hadoop Linux安装
    
    步骤流程
    	1.硬件准备
    	2.软件准备(推荐CDH)
    	3.将Hadoop安装包分发到各个节点下
    	4.安装JDK
    	5.修改/etc/hosts配置文件
    	6.设置SSH免密码登陆
    	7.修改配置文件
    	8.启动服务
    	9.验证 
    		
    1.下载软件
    	1.1 apache版本
    	下载链接:http://www.apache.org/
    	1.2 CDH
    	下载链接:http://www.cloudera.com/
    2.安装JDK、解压Hadoop安装包并分发到各个节点
    3.修改/etc/hosts文件
    4.设置SSH免密码登陆
    5.目录介绍
    	bin————Hadoop最基本的管理脚本和使用脚本所在目录
    	etc————Hadoop配置文件所在目录
    	include————对外提供的编程库头文件
    	lib————Hadoop对外提供动态编程库和静态库,配合include目录一起使用
    	libexec————各个服务对应的shell配置文件所在目录,用于配置日志输出
    	sbin————Hadoop各个模块编译后的jar包所在目录	
    6.配置文件(修改后使用scp命令分发到各个节点)
    	1.env.sh
    	2.mapred-site.xml
    	3.core-site.xml
    	4.yarn-site.xml
    	5.hdfs-site.xml
    	6.slave
    7.启动服务
    	1.格式化HDFS
    		bin/hadoop namenode -format
    	2.启动HDFS
    		start-dfs.sh
    	3.启动YARN
    		start-yarn.sh
    8.验证
    	jps(显示五个服务进程)或者web访问
    	http://主机名:端口(其中端口在xml配置文件中配置)
    9.遇到问题
    	1.虚拟机重启后Hadoop无法启动成功
    		解决办法:在core-site.xml文件中添加相应配置,因为每次重启系统会将/tmp目录删除
    	
    

      

  • 相关阅读:
    vue 中动画配置
    vue hash模式和404页面的配置
    vue 组件用法
    vue set方法
    vue 改变插值方法
    vue 接口统一管理
    Oracle同义词(Synonym)创建删除
    ASP.NET Core中间件实现分布式 Session
    plsql 导入导出表数据与表结构
    css3缩放 transform: scale() 使用缩放之后顶点对齐问题
  • 原文地址:https://www.cnblogs.com/ciade/p/4991454.html
Copyright © 2011-2022 走看看