zoukankan      html  css  js  c++  java
  • Hadoop框架基础(二)

    ** Hadoop框架基础(二)

    上一节我们讨论了如何对hadoop进行基础配置已经运行一个简单的实例,接下来我们尝试使用eclipse开发。

    ** maven安装

    简单介绍:maven是一个项目管理工具,主要用于项目构建,依赖管理,项目信息管理。

    1、maven下载地址

    链接:http://pan.baidu.com/s/1c2AD9cc 密码:1pvo

    2、普通用户权限下解压maven到modules目录,如图:

     
     

    3、配置maven环境变量

    切换到root用户下,使用命令:# vi /etc/profile,添加如图内容:

     
     

    保存退出后,使用source /etc/profile命令使之生效

    4、创建maven依赖包位置

    使用命令:

    $ mkdir /home/z/.m2/

    解释:maven的默认依赖包会在该目录下,手动创建一个,一会便于把已经下载好的离线包放进去

    离线包下载地址:

    链接:http://pan.baidu.com/s/1kUXjEYz 密码:typ7

    将该包上传到虚拟机系统后,使用命令:

    $ tar -zxf /opt/softwares/repository.tar.gz -C /home/z/.m2,解压后如图:

     
     

    ** eclipse 安装

    简单介绍:微笑:)

    1、eclipse下载地址

    链接:http://pan.baidu.com/s/1kVBLgKR 密码:0ypf

    2、普通用户权限下解压eclipse到modules目录,如图:

     
     

    3、打开eclipse

    注意,此时打开eclipse必须在虚拟机系统中的终端打开(或手动双击图标打开),不可使使用SecureCRT打开。

    打开方式:进入到eclipse的安装目录,使用命令:

    ./eclipse,如图:

     
     

    回车后,即可打开,工作空间你随便选个位置即可。我这边默认使用:

    /home/z/workspace该位置作为我默认的工作空间。

    4、eclipse简单配置

    eclipse界面中依次点击--Window--Preferences,如图:

     
     

    指定maven路径,通过点击add按钮,选择你的maven安装目录,如图:

     
    eclipse的其他设置,如字体大小,行号等等,不在本节讲解,请自行查阅

    ** 使用eclipse创建maven项目

    进行如图操作:

     
     

    下一步

     
     

    下一步

     
     

    完成如图

     
     

    修改pom.xml配置

    1、修改junit的版本号,从3.8.1改为4.10

    2、添加hadoop依赖

    修改后如图:

     
     

    创建src/main/resource目录

    解释:

    1、用于存放core-site.xml、hbase-site.xml等,以便于开发,创建后如图:

    (因为开发时有时需要读取这些xml文件的配置)

     
     
     
     

    2、拷贝core-site.xml到该目录下,使用命令:

    $ cp /opt/modules/hadoop-2.5.0/etc/hadoop/core-site.xml /home/z/workspace/hdfs/src/main/resource/

    之后在eclipse中刷新该目录,如图:

     
     
     
     

    3、创建一个PutHdfs类

    编写如下代码,便可以通过控制台展示出上一节的words.txt文档中的内容,后面会稍微解释代码内容

     
     
     
     

    解释:

    1、Configuration是一个配置对象,可以用来动态设置类似core-site.xml中的属性,通过查看源码,看到它默认加载的配置文件为:

     
     

    2、FileSystem是一个文件系统管理对象,它可以用来操作hdfs文件系统中的文件,比如删除hdfs中的某个文件,读取,写入,等等。

    3、剩下的内容只要有点Java基础,基本都能够看懂了,方法中都有对应的注释,读者可以点进去查看理解。

    尖叫提示:

    相关API文档:http://hadoop.apache.org/docs/r2.5.2/api/index.html

    ** 总结

    这一节主要讲解如何通过eclipse来运行一个简单的操作文件系统中文件的demo,请熟练其配置方式。


    个人微博:http://weibo.com/seal13

    QQ大数据技术交流群(广告勿入):476966007



    作者:Z尽际
    链接:https://www.jianshu.com/p/5265216ef648
    來源:简书
    著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。
  • 相关阅读:
    AJAX获取服务器当前时间
    Struts2的入门实例
    Java 测试技术3 Struts框架驱动(StrutsTestCase)
    Java单元测试技术1
    软件测试自动化:自动化工厂
    MySQL优化原理
    fetch_array()与fetch_assoc()的用法
    sometimesever js中创建数组,并往数组里添加元素
    将三维数组中的同名的键拆分成三维数组的每个数组中包括原来不同的二维数组的键...
    php serialize讲解与json性能测试
  • 原文地址:https://www.cnblogs.com/wzlbigdata/p/8277638.html
Copyright © 2011-2022 走看看