zoukankan      html  css  js  c++  java
  • Ubuntu下安装Hadoop

    一、首先安装Java

    1.1下载Java的Linux版本

    1.2解压到一个目录下,创建/soft目录

    1.3配置java的配置文件

    vim /etc/profile

    在打开的文件末尾加入下面

    1 export JAVA_HOME=/soft/你的java版本
    2 
    3 export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$CLASSPATH
    4 
    5 export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH

    编辑完了以后,关闭文件,并且生效

    1 source /etc/profile

    二、下载安装Hadoop

    这里注意一点,不能再windows环境下下载完再拖到虚拟机的ubuntu环境下,而是直接在ubuntu环境下下载hadoop

    解压以后,需要配置一下

    2.1 首先配置一下/etc/profile 文件

    1 export JAVA_HOME=/soft/你的java版本
    2 export HADOOP_HOME=/soft/你的hadoop解压的目录
    3 export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$CLASSPATH
    4 export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

    2.2 配置core-site.xml文件

    1 <configuration>
    2 <property>
    3 <name>fs.defaultFS</name>
    4 <value>hdfs://localhost:9000</value>
    5 </property>
    6 </configuration>

    2.3 接着配置hdfs-site.xml文件

    1 <configuration>
    2 <property>
    3 <name>dfs.replication</name>
    4 <value>1</value>
    5 </property>

    2.4 最后配置hadoop-env.sh

    配置完了运行,会出现错误权限问题

    1 start-all.sh

    解决方法:

    1 sudo apt-get install openssh-server
    1 设置下ssh免密码登陆,试试
    2 1.ssh-keygen -t rsa
    3 2.cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
    View Code

    最后看一下ssh localhost是不是已经免密了

    安装运行后,可以在游览器输入localhost:8088 查看成功运行的效果

  • 相关阅读:
    Python合集之文件操作(二)
    Python合集之文件操作(一)
    Python合集之异常(二)
    Python合集之异常(一)
    Python合集之模块(五)
    Visual Studio 配置额外工具 Windows Terminal 等
    CMakeList.txt
    alpha智能图像(全栈的进阶之路)
    位运算实现多状态控制
    缓存函数 memorize
  • 原文地址:https://www.cnblogs.com/wylwyl/p/10240607.html
Copyright © 2011-2022 走看看