zoukankan      html  css  js  c++  java
  • hadoop 安装前须知

    hadoop在安装前,咱们需要知道一下几点。

     1.hadoop运行模式

    • 单机(本地)模式:这种模式在一台单机上运行,没有分布式文件系统,而是直接读写本地操作系统的文件系统。在单机模式(standalone)中不会存在守护进程,所有东西都运行在一个JVM上。这里同样没有DFS,使用的是本地文件系统。适用于开发过程中运行MapReduce程序,(非常少用的一种模式)。 
    • 伪分布式模式:在这个模式中,所有守护进程都在同一台机器上运行,在一个接点上模拟i了一个具有hadoop完整功能的微型集群,适用于开发和测试环境
    • 全分布式模式:全分布模式通常被用于生产环境,使用N台主机组成一个Hadoop集群,Hadoop守护进程运行在每台主机之上。这里会存在Namenode运行的主机,Datanode运行的主机,以及tasktracker运行的主机。在分布式环境下,主节点和从节点会分开。一个正真意义上的集群。
    2. hadoop 运行环境
    • Windows:hadoop本身来说,是不支持Windows的,但是,可以通过Cygwin这个软件模拟unix的运行环境来安装hadoop。这种方式非常消耗资源并且非常不稳定,所以,不管是开发环境还是生产环境,都不推荐用Windows作为hadoop的运行环境。
    • linux:hadoop最佳运行环境,非linux莫属,常见的linux系统有centos,ubuntu,Redhat等。而多数情况下,更推荐大家使用centos来搭建hadoop进行学习。
    3.hadoop的安装步骤
    • 安装运行环境
    • 修改主机名和用户名
    • 配置静态IP 地址
    • 配置SSH 无密码连接
    • 安装JDK
    • 配置hadoop
    • 格式化HDFS
    • 启动hadoop并且验证安装
    安装单节点的具体过程,可以参考尼玛哥的单节点伪分布集群搭建
    本文参考书籍------Hadoop海量数据处理 技术详解与项目实战
    参考博客------好记性不如烂笔头!

  • 相关阅读:
    hdu 1199 Color the Ball 离散线段树
    poj 2623 Sequence Median 堆的灵活运用
    hdu 2251 Dungeon Master bfs
    HDU 1166 敌兵布阵 线段树
    UVALive 4426 Blast the Enemy! 计算几何求重心
    UVALive 4425 Another Brick in the Wall 暴力
    UVALive 4423 String LD 暴力
    UVALive 4872 Underground Cables 最小生成树
    UVALive 4870 Roller Coaster 01背包
    UVALive 4869 Profits DP
  • 原文地址:https://www.cnblogs.com/DeepRunning/p/9205997.html
Copyright © 2011-2022 走看看