zoukankan      html  css  js  c++  java
  • hadoop 安装前须知

    hadoop在安装前,咱们需要知道一下几点。

     1.hadoop运行模式

    • 单机(本地)模式:这种模式在一台单机上运行,没有分布式文件系统,而是直接读写本地操作系统的文件系统。在单机模式(standalone)中不会存在守护进程,所有东西都运行在一个JVM上。这里同样没有DFS,使用的是本地文件系统。适用于开发过程中运行MapReduce程序,(非常少用的一种模式)。 
    • 伪分布式模式:在这个模式中,所有守护进程都在同一台机器上运行,在一个接点上模拟i了一个具有hadoop完整功能的微型集群,适用于开发和测试环境
    • 全分布式模式:全分布模式通常被用于生产环境,使用N台主机组成一个Hadoop集群,Hadoop守护进程运行在每台主机之上。这里会存在Namenode运行的主机,Datanode运行的主机,以及tasktracker运行的主机。在分布式环境下,主节点和从节点会分开。一个正真意义上的集群。
    2. hadoop 运行环境
    • Windows:hadoop本身来说,是不支持Windows的,但是,可以通过Cygwin这个软件模拟unix的运行环境来安装hadoop。这种方式非常消耗资源并且非常不稳定,所以,不管是开发环境还是生产环境,都不推荐用Windows作为hadoop的运行环境。
    • linux:hadoop最佳运行环境,非linux莫属,常见的linux系统有centos,ubuntu,Redhat等。而多数情况下,更推荐大家使用centos来搭建hadoop进行学习。
    3.hadoop的安装步骤
    • 安装运行环境
    • 修改主机名和用户名
    • 配置静态IP 地址
    • 配置SSH 无密码连接
    • 安装JDK
    • 配置hadoop
    • 格式化HDFS
    • 启动hadoop并且验证安装
    安装单节点的具体过程,可以参考尼玛哥的单节点伪分布集群搭建
    本文参考书籍------Hadoop海量数据处理 技术详解与项目实战
    参考博客------好记性不如烂笔头!

  • 相关阅读:
    学习WWDC的好资源!
    运行 CMD 时,參数加引號常见问题
    FileChannel的深入理解
    C#单例模式的三种写法
    Linux 安装Nginx具体图解教程
    计网面试题
    VS:"64位调试操作花费的时间比预期要长"的一解决途径
    中小型WEB系统权限日志数据表设计
    CDN服务上线,DNSPOD布局云端生态圈
    怎样利用ash监控会话
  • 原文地址:https://www.cnblogs.com/DeepRunning/p/9205997.html
Copyright © 2011-2022 走看看