zoukankan      html  css  js  c++  java
  • Ubuntu 14.04 安装 Hadoop 2.2.0

    注意

    1. 64bit的hadoop需要自己编译

    2. 供编译用的hadoop.src文件本身有bug,需要加两条dependency

    hadoop的缺省端口

    50030 mapred.job.tracket.http.address

    JobTracker administrative web GUI JOBTRACKER的HTTP服务器和端口

    50070 dfs.http.address

    描述:NameNode administrative web GUI NAMENODE的HTTP服务器和端口

    50010 dfs.http.address

    描述:NameNode administrative web GUI NAMENODE的HTTP服务器和端口

    50020 dfs.datanode.ipc.address

    描述:DataNode IPC port, used for block transfer DATANODE的RPC服务器地址和端口

    50060 mapred.task.tracker.http.address

    描述:Per TaskTracker web interface TASKTRACKER的HTTP服务器和端口

    50075 dfs.datanode.http.address

    描述:Per DataNode web interface DATANODE的HTTP服务器和端口

    50090 dfs.secondary.http.address

    描述:Per secondary NameNode web interface 辅助DATANODE的HTTP服务器和端口

    连接到 hadoop 的web

    localhost:50070

    filesystem的内容,namenode的log以及其他的信息都可以通过web可见

    安装完毕后,开启hadoop

    bin/start-all.sh 如果bin已经放入环境变量中,那么直接start-all.sh即可

    通过jps(java ps)查看正在运行的进程,可以看到6个则开启成功。

    hadoop的常用操作命令

  • 相关阅读:
    Spark Streaming 的容错
    Master 接受其它组件的注册
    Spark Context 概述
    Python 使用random模块生成随机数
    Python 中print 和return 的区别
    Python 访问字典(dictionary)中元素
    PIL:处理图像的好模块
    2.线性回归
    3.梯度下降法
    4.pca与梯度上升法
  • 原文地址:https://www.cnblogs.com/zhouzhuo/p/3742111.html
Copyright © 2011-2022 走看看