zoukankan      html  css  js  c++  java
  • 大数据常用命令

    http://dblab.xmu.edu.cn/blog/install-hbase/
    http://dblab.xmu.edu.cn/blog/1102/ flume的安装使用教程
    http://flume.apache.org/FlumeUserGuide#flume-sources 查看
    https://blog.csdn.net/silangquan/article/details/8090121
    https://blog.csdn.net/qq_38256924/article/details/79848232
    向hdfs中上传文件的命令 hadoop fs -put ~/下载/temp.txt hdfs://zyt:9000/user/hadoop
    hadoop fs -put ~/下载/score.txt hdfs://192.168.222.128:9000/zytdemo

    hdfs文件下载到本地
    ./bin/hadoop fs -get /zytdemo/test.txt ~/下载
    删除hdfs上的文件目录的命令 ./bin/hadoop fs -rmr /zytdemo/input
    删除hdfs上的文件的命令 ./bin/hadoop fs -rm /zytdemo/test.txt


    修改hadoop的文件夹的权限./bin/hadoop fs -chmod 777 /
    查看hdfs上文件的内容 ./bin/hadoop fs -cat /user/lenovo/mkdirnew/word1.txt

    linux下文件复制的命令sudo cp score.txt /usr/local


    spark的使用命令
    cd /usr/local/spark
    ./bin/spark-shell --master local[4]

    比如,下面在命令提示符后面输入一个表达式“8 * 2 + 5”,然后回车,就会立即得到结果:
    scala> 8*2+5
    res0: Int = 21

    最后,可以使用命令“:quit”退出Spark Shell,如下所示:
    scala>:quit

    下载

    hive的启动命令 hive --service cli
    新建mulu bin/hadoop fs -mkdir /user/hadoop/input


    hbase的启动命令(启动之前要首先启动hadoop)
    cd /usr/local/hbase
    bin/start-hbase.sh
    进入shell界面:
    bin/hbase shell
    停止HBase运行,命令如下
    bin/stop-hbase.sh

    mongodb数据库
    http://dblab.xmu.edu.cn/blog/868-2/
    脚本方式启动mongodb服务
    cd /usr/local/mongodb
    ./bin/mongod -f /data/mongodb.conf

    、进入mongodb shell模式

    cd /usr/local/mongodb
    ./bin/mongo

    redis数据库
    http://dblab.xmu.edu.cn/blog/1513/#more-1513
    zlq-virtual-machine
    http://www.cnblogs.com/netqer/archive/2008/10/20/1315386.html


    java爬虫
    https://blog.csdn.net/huangxy10/article/details/8188067

  • 相关阅读:
    win 7 iis 的一些问题
    Google Maps JavaScript API V3 根据地址 加载地图
    ASP.NET 在程序中动态删除、修改配置文件节点值的方法
    Lambda 表达式的深化及使用
    NHibernate配置的总体流程
    Adobe Acrobat Automation和Aspose.Pdf添加文本印章和水印的对比
    如何导入Swagger文件到Eolinker
    接口文档规范
    对外接口安全性需要考虑什么?
    如何降低API文档对接成本
  • 原文地址:https://www.cnblogs.com/zyt-bg/p/11448763.html
Copyright © 2011-2022 走看看