zoukankan      html  css  js  c++  java
  • hadoop2.x整合手册【4】---mahout0.9安装部署与测试

    基本过程和0.8版本的安装http://blog.csdn.net/xqj198404/article/details/9619265的一致

    需要在bin目录下的mahout文件的头部添加如下环境变量

    HADOOP_CONF_DIR="hadoop的配置目录需要以/结尾"
    HADOOP_HOME="hadoop的安装目录需要以/结尾"
    MAHOUT_HEAPSIZE=2000 mahout可以调用的内存量,建议设的比较大

    另外修改hadoop配置目录下的mapred-site.xml的文件,添加如下参数

    	<name>mapred.child.java.opts</name>
    		<value>-Xmx1024m</value>
    	</property>
    如果是算法计算密集型的,建议超过1024的进行设置,而hadoop默认的200m的设置是不够用mahout使用的

    另外修改hadoop配置目录下的hadoop-env.sh的文件,将export HADOOP_HEAPSIZE的注释取消

    export HADOOP_HEAPSIZE=2000

    设置hadoop的可用内存为2000M

    如果仍然在运行mahout中出现java heap space的错误,可以将以上的两项设置的参数依据实际硬件条件设置更大

    mahout的验证方法与0.8版本方法相同

  • 相关阅读:
    竞赛题解
    学习笔记
    竞赛题解
    学习笔记
    竞赛题解
    竞赛题解
    竞赛题解
    「链接」原博客链接
    「杂录」THUWC 2020 游记
    「杂录」CSP-S 2019 爆炸记&题解
  • 原文地址:https://www.cnblogs.com/AI001/p/3996837.html
Copyright © 2011-2022 走看看