zoukankan      html  css  js  c++  java
  • 大数据常用命令

    http://dblab.xmu.edu.cn/blog/install-hbase/
    http://dblab.xmu.edu.cn/blog/1102/ flume的安装使用教程
    http://flume.apache.org/FlumeUserGuide#flume-sources 查看
    https://blog.csdn.net/silangquan/article/details/8090121
    https://blog.csdn.net/qq_38256924/article/details/79848232
    向hdfs中上传文件的命令 hadoop fs -put ~/下载/temp.txt hdfs://zyt:9000/user/hadoop
    hadoop fs -put ~/下载/score.txt hdfs://192.168.222.128:9000/zytdemo

    hdfs文件下载到本地
    ./bin/hadoop fs -get /zytdemo/test.txt ~/下载
    删除hdfs上的文件目录的命令 ./bin/hadoop fs -rmr /zytdemo/input
    删除hdfs上的文件的命令 ./bin/hadoop fs -rm /zytdemo/test.txt


    修改hadoop的文件夹的权限./bin/hadoop fs -chmod 777 /
    查看hdfs上文件的内容 ./bin/hadoop fs -cat /user/lenovo/mkdirnew/word1.txt

    linux下文件复制的命令sudo cp score.txt /usr/local


    spark的使用命令
    cd /usr/local/spark
    ./bin/spark-shell --master local[4]

    比如,下面在命令提示符后面输入一个表达式“8 * 2 + 5”,然后回车,就会立即得到结果:
    scala> 8*2+5
    res0: Int = 21

    最后,可以使用命令“:quit”退出Spark Shell,如下所示:
    scala>:quit

    下载

    hive的启动命令 hive --service cli
    新建mulu bin/hadoop fs -mkdir /user/hadoop/input


    hbase的启动命令(启动之前要首先启动hadoop)
    cd /usr/local/hbase
    bin/start-hbase.sh
    进入shell界面:
    bin/hbase shell
    停止HBase运行,命令如下
    bin/stop-hbase.sh

    mongodb数据库
    http://dblab.xmu.edu.cn/blog/868-2/
    脚本方式启动mongodb服务
    cd /usr/local/mongodb
    ./bin/mongod -f /data/mongodb.conf

    、进入mongodb shell模式

    cd /usr/local/mongodb
    ./bin/mongo

    redis数据库
    http://dblab.xmu.edu.cn/blog/1513/#more-1513
    zlq-virtual-machine
    http://www.cnblogs.com/netqer/archive/2008/10/20/1315386.html


    java爬虫
    https://blog.csdn.net/huangxy10/article/details/8188067

  • 相关阅读:
    Myeclipse 10.7 android(安卓) 开发环境搭建
    matplotlib
    tophat cufflinks cuffcompare cuffmerge 的使用
    shell 随机从文件中抽取若干行
    liftover的使用/用法
    命令行运行R语言脚本(代码)
    R: NULL, NA, and NaN
    SOME USEFUL MACHINE LEARNING LIBRARIES.
    Flutter实战:手把手教你写Flutter Plugin
    Flutter学习笔记(五)
  • 原文地址:https://www.cnblogs.com/zyt-bg/p/11448763.html
Copyright © 2011-2022 走看看