zoukankan      html  css  js  c++  java
  • linux下用hadoop streaming 跑php总是jobs fail!

    用php写了简单map reduce程序,使用cat test.txt | php mapper.php | php reducer.php 测试过脚本没有问题,然而使用hadoop时就总是jobs fail。

    因此得出结论是在上传脚本到hadoop服务器上执行时的命令输入错误。以下总结两个易错点:

    1. –map ‘php mapper.php’不应该加php,加了之后容易fail

    2. –file ‘mapper.php’ 应该使用-file参数将map和reduce的文件上传到hadoop服务器上,如果不上传容易fail。

    用php写了简单map reduce程序,使用cat test.txt | php mapper.php | php reducer.php 测试过脚本没有问题,然而使用hadoop时就总是jobs fail。

    因此得出结论是在上传脚本到hadoop服务器上执行时的命令输入错误。以下总结两个易错点:

    1. –map ‘php mapper.php’不应该加php,加了之后容易fail

    2. –file ‘mapper.php’ 应该使用-file参数将map和reduce的文件上传到hadoop服务器上,如果不上传容易fail。

     1 $hadoop jar  /绝对路径/hadoop-streaming.jar 
     2                                 -D mapred.job.priority="NORMAL" 
     3                                 -D mapred.job.name="test" 
     4                                 -D mapred.reduce.tasks=1 
     5                                 -D mapred.linerecordreader.maxlength=10485760 
     6                                 -mapper "/绝对路径/mapper.php" 
     7                                 -reducer "/绝对路径/reducer.php" 
     8                                 -input $input 
     9                                 -output $output 
    10                                 -file "/绝对路径/mapper.php" 
    11                                 -file "/绝对路径/reducer.php"
  • 相关阅读:
    清除右键图形属性--图形选项
    Hibernate整合Struts2时报错
    shell基础篇(十)shell脚本的包含
    shell基础篇(九)函数
    浅谈sql的字符分割
    shell基础(八)-循环语句
    shell基础(七)-条件语句
    vue ---- Object的一些常用的方法
    vuex的应用和解决的实际问题
    webpack2代码分割
  • 原文地址:https://www.cnblogs.com/skysand/p/5635989.html
Copyright © 2011-2022 走看看