zoukankan      html  css  js  c++  java
  • mohout安装

    安装完成之后的环境变量的配置如下:

    JAVA_HOME=/usr/local/jdk1.8.0_144
    JRE_HOME=/usr/java/jdk1.8.0_144/jre
    CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
    HADOOP_HOME=/usr/local/hadoop-2.8.2
    M2_HOME=/usr/local/maven3
    MAHOUT_HOME=/usr/local/hadoop-2.8.2/mahout
    export MAHOUT_CONF_DIR=$MAHOUT_HOME/conf
    export HADOOP_HOME_WARN_SUPPRESS=not_null
    PATH=$PATH:$M2_HOME/bin:$JAVA_HOME/bin:$HADOOP_HOME/bin:$MAHOUT_HOME/bin
    export JAVA_HOME
    export JRE_HOME
    export CLASSPATH
    export HADOOP_HOME
    export M2_HOME
    export PATH

    1. java的安装

    下载官方文档之后配置环境变量

    2.mvn的安装

    下载官方文档之后配置环境变量

    3.hadoop单机安装

    下载官方文档之后解压之后配置环境环境变量

    tar -zxvf **.tar.gz

    修改配置文件

    nano hadoop-env.sh

    #export JAVA_HOME=${JAVA_HOME}
    export JAVA_HOME=/usr/local/jdk1.8.0_144
    nano yarn-env.sh

    export JAVA_HOME=/usr/local/jdk1.8.0_144

    nano core-site.xml

    <configuration>
     <property>
        <name>fs.default.name</name>
        <value>hdfs://localhost:9000</value>
        <description>HDFS的URI,文件系统://namenode标识:端口号</description>
    </property>


    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop-2.8.2/tmp</value>
        <description>namenode上本地的hadoop临时文件夹</description>

        <value>hdfs://localhost:9000</value>
        <description>HDFS的URI,文件系统://namenode标识:端口号</description>
    </property>


    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop-2.8.2/tmp</value>
        <description>namenode上本地的hadoop临时文件夹</description>
    </property>
    </configuration>

    nano hdfs-site.xml
     <configuration>
    <!-- hdfs-site.xml-->
    <property>
        <name>dfs.name.dir</name>
        <value>/usr/local/hadoop-2.8.2/hdfs/name</value>
        <description>namenode上存储hdfs名字空间元数据 </description>
    </property>


    <property>
        <name>dfs.data.dir</name>
        <value>/usr/local/hadoop-2.8.2/hdfs/data</value>
        <name>dfs.name.dir</name>
        <value>/usr/local/hadoop-2.8.2/hdfs/name</value>
        <description>namenode上存储hdfs名字空间元数据 </description>
    </property>


    <property>
        <name>dfs.data.dir</name>
        <value>/usr/local/hadoop-2.8.2/hdfs/data</value>
        <description>datanode上数据块的物理存储位置</description>
    </property>


    <property>
        <name>dfs.replication</name>
        <value>1</value>
        <description>副本个数,配置默认是3,应小于datanode机器数量</description>
    </property>
    </configuration>
    配置访问路径和端口:nano yarn-site.xml
    <configuration>

    <!-- Site specific YARN configuration properties -->

    <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.address</name>
            <value>192.168.174.129:8099</value>
    </property>
    </configuration>


    启动hadoop

    bin/nodename -format

    sbin/start-dfs.sh

    sbin/start-yarn.sh

    在浏览器中输入:192.168.174.129:8099

    返回接口信息

    或者输入 jps

     [root@localhost hadoop-2.8.2]# jps
    4848 NameNode
    6163 NodeManager
    6429 Jps
    5854 ResourceManager
    5535 SecondaryNameNode

    mahout安装

    从官网上git,把文件放置到hadoop目录下

    配置环境变量之后,查看是否成功抛出如下异常

    意思是配置有问题

    在mahout下面配置打包之后上传

  • 相关阅读:
    基于摸板匹配的目標跟蹤算法
    spoj 2713 Can you answer these queries IV
    zoj 3633 Alice's present
    hdu 3642 Get The Treasury
    poj 1195 Mobile phones
    poj 2760 End of Windless Days
    zoj 3540 Adding New Machine
    spoj 1716 Can you answer these queries III
    spoj 1043 Can you answer these queries I
    spoj 2916 Can you answer these queries V
  • 原文地址:https://www.cnblogs.com/youran-he/p/7778698.html
Copyright © 2011-2022 走看看