zoukankan      html  css  js  c++  java
  • 使用canda 安装 pyhdfs 实现文件上传到 HDFS

    // python 文件上传到 HDFS

    1.安装 anaconda ,打开 Navigator .  python 怎么用conda 创造的环境不多叙述

      

       这里安装好之后 , 其实 Pycharm里面就能用了

      代码很简单

      新建文件  upload001.py

    from hdfs.client import Client
    
    client = Client("http://hadoop100:50070")
    
    local_file='D:\t1.txt'
    hdfs_path='/now4/20200512/文件名'
    client.upload(hdfs_path,local_file)  #(HDFS,本地 或者 源)
    
    print('finish')
    

     第一个网址是你所能访问到的50070端口 , 

     我主要解释下 hdfs_path 这个路径该怎么写 , 

      假如你的 HDFS根目录下面   没有文件夹  /ssa  , 你想传入这个文件夹  ,你需要这样写  /ssa/001 ,必须在文件夹下面指定一个名称 ,

      否则你传上去就会是一个文件/ssa  , 无论你 /ssa  还是 /ssa/  结果都一样 , 所以 ,传入文件夹一定要再取个后缀名 

     比如我想传入文件夹  /abby , 并且也有了这个文件夹  , 你需要写路径   /abby/001  , 如果还想键目录  那就 /abby/001/2001 这样就是2级目录

  • 相关阅读:
    mongodb分片集群报错261
    Galera集群安装报错Operation not permitted
    k8s部署php程序访问显示报错
    k8使用secret拉取镜像失败的问题
    nginx反向代理与负载均衡
    ---connet MPT device to PC under Ubuntu
    ----vysor
    ---su
    ---mysql utf8 设置
    ---Android logcat 记录日志
  • 原文地址:https://www.cnblogs.com/alpha-cat/p/12866828.html
Copyright © 2011-2022 走看看