zoukankan      html  css  js  c++  java
  • ftp on hdfs

    最近项目需要使用ftp 直接访问 hdfs上的目录,hdfs分布式文件系统提供了不同的接口,以便客户端可以与其进行交互。除了HDFS Shell,文件系统还通过WebDAV,Thrift,FTP和FUSE。下面是实施记录。

    hdfs环境

    cdh,hdf,apache,星环,华为等,这里使用公司现有的环境cdh集群(nanenode 的ip :10.32.8.235)

    ftp环境

    ftp机器ip:10.32.8.124

    在此机器上安装ftp服务,直接访问cdh集群hdfs目录。

    介质:

     ftp-on-hdfs 

    git:https://github.com/iponweb/hdfs-over-ftp

    编译安装

    安装jdk1.8  略

    安装maven 略

    解压安装介质后,到解压目录,修改 pom.xml文件

     切换到解压目录 src/main/resources 下修改hdfs信息和ftp-user信息分别对应文件【hdfs-over-ftp.properties】【users.properties】

     修改user.properties文件,在文件中添加FTP用户,需要配置多个用户时,按照下面的配置在文件中继续配置即可。密码是手动使用MD5工具进行加密的,加密的命令为:

    [root@oracle resources]# echo -n 12345678 | openssl md5
    (stdin)= 25d55ad283aa400af464c76d713c07ad

     进入到解压目录,执行脚本:

    [root@oracle hdfs-over-ftp-master]# ./hdfs-over-ftp.sh 

    测试

  • 相关阅读:
    将本地文件夹添加到Git仓库
    flex调用Webservice(一)
    经典的sql
    打印相关
    reporting services订阅
    关于TabIndex
    试题(一)
    试试用手机
    2010.07.13_19:30
    基础知识
  • 原文地址:https://www.cnblogs.com/daxiong1314/p/13438760.html
Copyright © 2011-2022 走看看