zoukankan      html  css  js  c++  java
  • 使用canda 安装 pyhdfs 实现文件上传到 HDFS

    // python 文件上传到 HDFS

    1.安装 anaconda ,打开 Navigator .  python 怎么用conda 创造的环境不多叙述

      

       这里安装好之后 , 其实 Pycharm里面就能用了

      代码很简单

      新建文件  upload001.py

    from hdfs.client import Client
    
    client = Client("http://hadoop100:50070")
    
    local_file='D:\t1.txt'
    hdfs_path='/now4/20200512/文件名'
    client.upload(hdfs_path,local_file)  #(HDFS,本地 或者 源)
    
    print('finish')
    

     第一个网址是你所能访问到的50070端口 , 

     我主要解释下 hdfs_path 这个路径该怎么写 , 

      假如你的 HDFS根目录下面   没有文件夹  /ssa  , 你想传入这个文件夹  ,你需要这样写  /ssa/001 ,必须在文件夹下面指定一个名称 ,

      否则你传上去就会是一个文件/ssa  , 无论你 /ssa  还是 /ssa/  结果都一样 , 所以 ,传入文件夹一定要再取个后缀名 

     比如我想传入文件夹  /abby , 并且也有了这个文件夹  , 你需要写路径   /abby/001  , 如果还想键目录  那就 /abby/001/2001 这样就是2级目录

  • 相关阅读:
    django创建项目,一个简单的登录。
    MySQL下载与安装
    查看拉去代码时候的git账号密码
    Springmvc-组件
    转发与重定向
    springMVC-常用注解
    springMVC-请求参数绑定
    SpringMVC-RequestMapping注解
    JAVA-异常处理
    springMVC-入门案例
  • 原文地址:https://www.cnblogs.com/alpha-cat/p/12866828.html
Copyright © 2011-2022 走看看