zoukankan      html  css  js  c++  java
  • 【Hadoop学习之五】win7+Eclipse+hadoop3搭建本机开发环境

    环境
      虚拟机:VMware 10
      Linux版本:CentOS-6.5-x86_64
      客户端:Xshell4
      FTP:Xftp4
      jdk8
      hadoop-3.1.1

    拓扑:

    知识准备:
    1、eclipse在win7本机电脑上,而部署的hadoop可以是在本机windows 也可以是远程Linux 伪分布式、完全分布式、HA集群
    2、为了方便开发,引入hadoop的eclipse插件(插件并不是必需的),方便之处有两点:(1)对hadoop中的文件可视化(2)创建MapReduce Project时帮你引入依赖的jar
    3、win7上有一个解压的hadoop-3.1.1目录,这不是部署用的,作用有两点:
    (1)eclipse要使用hadoop-3.1.1in下的工具与远程部署的hadoop交互:创建目录、查看、上传、下载、删除文件等
    (2)提供hadoopjar:创建MapReduce Project自动引入的jar来源于hadoop-3.1.1sharehadoop

    一、软件准备
    远程:
    hadoop-3.1.1已部署启动(伪分布式)

    本机:
    1、安装jdk8,设置环境变量JAVA_HOME
    2、hadoop-3.1.1
      2.1解压hadoop-3.1.1.tar.gz到本地:我这里是E:hadoop-3.1.1 设置环境变量:HADOOP_HOME和HADOOP_USER_NAME(默认访问hdfs集群的用户 否则会取当前windows名称访问)
      2.2原版的Hadoop不支持Windows系统,我们需要修改一些配置方便在Windows上运行
      下载 hadoop.rar
        2.2.1 拷贝bin下所有到hadoop-3.1.1in下
        2.2.2 拷贝bin下 hadoop底层依赖库:hadoop.dll 到C:WindowsSystem32下
        2.2.3 修改hadoop-env.cmd中java_home为最新的jdk(如果新版已经设置了取系统环境变量 这里就不用设置了)

    3、将插件hadoop-eclipse-plugin-2.6.0.jar放到eclipse安装目录下面的plugins里面 重启eclipse

    eclipse操作:
    1、配置hadoop安装目录


    2、打开Map/Reduce Perspective


    3、打开Map/Reduce Locations视图


    4、创建HDFS Location

    查看DFS Locations


    5、创建Map/Reduceproject

    创建的工程就是java工程  只不过会自动把hadoop-3.1.1sharehadoop下的jar导入工程

    参考:
    hadoop-eclipse-plugin插件原理
    hadoop-eclipse-plugin插件使用

    其他:

    https://www.cnblogs.com/wenhaizhang/p/5345094.html
    https://blog.csdn.net/crazytaliban/article/details/70190774
    https://blog.csdn.net/yang1464657625/article/details/78453678
    https://blog.csdn.net/csdn_fzs/article/details/78985586
    https://www.cnblogs.com/dream-to-pku/p/7930241.html

  • 相关阅读:
    Redis集群(一)
    Mysql分库分表
    Redisson分布式锁
    Spring Cloud Eureka 高可用
    Spring RestTemplate具备负载均衡功能
    Redis分布式锁
    B树/B-树/B+树/B*树的数据库应用
    ABAC访问控制模型
    Maven自定义打包的包名
    Versions maven plugin 修改版本
  • 原文地址:https://www.cnblogs.com/cac2020/p/10219867.html
Copyright © 2011-2022 走看看