zoukankan      html  css  js  c++  java
  • hadoop测试(1)HDFS文件操作 完整测试代码

    最近在找整体存储和分析的方案,海量存储和分析、扩展性都需要考虑,找上了Hadoop,开始只是把它定位到HDFS做存储用,越看越兴奋。

    先上HDFS操作这块的测试代码,完整的Eclipse + Tomcat项目,用了Tomcat插件、Hadoop 0.20.0,做海量文件管理器,方便管理;

    搭建起来3个入口:

    tomcat根路径hfs,具体看web.xml

    •   /用于文件系统浏览
    •   /upload.jsp 用于上传文件
    •   /pic.do用于文件查看

    image

    几个配置需要注意,一处是hardcode:fs.HDFSConfig里面,指定默认目录的;

    image

    core-site.xml里面 ,配置hdfs的地址和协议:
    <property>
            <name>fs.default.name</name>
            <value>hdfs://namenode:9000</value>
        </property>

    mapred-site.xml里面,配置用户名和密码:
    <property>
        <name>hadoop.job.ugi</name>
        <value>root,123456</value>
        <description>hadoop user access password</description>
    </property>

    把你们机器hosts文件的 namenode指定到122.224.142.155,就可以测试,周一~周五有效,做了端口映射

    参考文章 http://myjavanotebook.blogspot.com/2008/05/hadoop-file-system-tutorial.html

    参考资料 http://hadoop.apache.org/

    eclipse开发环境配置 http://blog.csdn.net/yanical/archive/2009/08/23/4474991.aspx

    Hadoop测试环境安装就不做介绍了,只是简单开发用的测试环境比较简单,建议2个虚拟机,源码下载地址

    刚开始接触,多多交流,欢迎微博交流,http://weibo.com/itrs

    本来以为将Map/Reduce对nginx日志分析部门一块拿出来,但是代码全部没了,好久没有折腾java、js和linux了,都是一边google一边粘贴;杯具的是硬盘罢工,开发环境全部没了,搞了一个晚上,终于eclipse和tomcat架起来了。

    总的结构,简单构想:

    image

  • 相关阅读:
    第二章、Redis入门介绍
    最高的牛
    增减序列
    激光炸弹
    分形之城
    约数之和
    奇怪的汉诺塔
    费解的开关
    递归实现排列型枚举
    递归实现组合型枚举
  • 原文地址:https://www.cnblogs.com/yinpengxiang/p/2096605.html
Copyright © 2011-2022 走看看