Spark实验1_Linux系统的安装和常用命令

实验1 Linux系统的安装和常用命令

一、实验目的

（1）掌握 Linux 虚拟机的安装方法。Spark 和 Hadoop 等大数据软件在 Linux 操作系统上运行可以发挥最佳性能，因此，本教程中，Spark 都是在 Linux 系统中进行相关操作，同时，下一章的 Scala 语言也会在 Linux 系统中安装和操作。鉴于目前很多读者正在使用 Windows 操作系统，因此，为了顺利完成本教程的后续实验，这里有必要通过本实验，让读者掌握在 Windows 操作系统上搭建 Linux 虚拟机的方法。当然，安装 Linux 虚拟机只是安装 Linux 系统的其中一种方式，实际上，读者也可以不用虚拟机，而是采用双系统的方式安装 Linux 系统。本教程推荐使用虚拟机方式。

（2）熟悉 Linux 系统的基本使用方法。本教程全部在 Linux 环境下进行实验，因此，需要读者提前熟悉 Linux 系统的基本用法，尤其是一些常用命令的使用方法。

二、实验平台

操作系统：Windows系统和Ubuntu系统

虚拟机软件：VMWare。本次适应默认的Linux发行版为Ubuntu 20.04.3LTS

三、 实验内容和要求

1. 安装Linux虚拟器

在官网下载最新的Ubuntu桌面系统https://cn.ubuntu.com/download/desktop

打开VMWare，Ctrl + N 新建虚拟机

选择自定义

 

下一步，选择刚刚下载好的镜像

 

填写简易安装的信息

 

下一步，更改虚拟机创建位置

 

配置虚拟器处理器数量

 

下一步，选择分配的内存大小

 

下一步，分配磁盘容量

 

 

点击完成，创建虚拟机

等虚拟机启动起来，就完成了安装。

（等了半天，也没有磁盘分区这一项。等可以进入页面后，查看了分区情况，已经自动分好了。这样对新手来说也是比较友好）

 

 

 

 

 

1. 使用Linux系统的常用命令

启动 Linux 虚拟机，进入 Linux 系统，通过查阅相关 Linux 书籍和网络资料，或者参考 本教程官网的“实验指南”的“Linux 系统常用命令”，完成如下操作：

（1）      切换到目录 /usr/bin；

 

（2）      查看目录/usr/local 下所有的文件；

 

（3）      进入/usr 目录，创建一个名为 test 的目录，并查看有多少目录存在；

（4）在/usr 下新建目录 test1，再复制这个目录内容到/tmp；

（5）将上面的/tmp/test1 目录重命名为 test2；

（6）在/tmp/test2 目录下新建 word.txt 文件并输入一些字符串保存退出；

下载vim

zihoo@ubuntu:/tmp/test2$ sudo apt install vim

 

 

 

（7）查看 word.txt 文件内容；

 

（8）将 word.txt 文件所有者改为 root 帐号，并查看属性；

 

（9）找出/tmp 目录下文件名为 test2 的文件；

 

（10）在/目录下新建文件夹 test,然后在/目录下打包成 test.tar.gz；

 

（11）将 test.tar.gz 解压缩到/tmp 目录。

1. 在Windows和Linux系统之间互传文件

客户端 - FileZilla中文网

一路下一步即可完成安装

新建一个站点

 

（1）在 Windows 系统中新建一个文本文件 test.txt，并通过 FTP 软件 FileZilla，把 test.txt 上传到 Linux 系统中的“/home/hadoop/下载”目录下，把利用 Linux 命令把该文件名修改为 test1.txt；

 

 

（2） 通过 FTP 软件 FileZilla，把 Linux 系统中的“/home/hadoop/下载”目录下的 test1.txt文件下载到 Windows 系统的某个目录下。

 

错误

方案一：去掉解压参数中的z，执行命令改为：tar -xvf xx.tar.gz。

该方案的原因是：下载的文件并不是“通过 gzip 过滤归档”所以添加参数z就无法正常解压。

如果该方案依旧无法进行正常解压那就尝试第二中方案。

方案二：重新下载或上传压缩文件

本方案是针对下载的压缩文件并不完整，也就是说并没有正常下载完成。可以换个方式重新下载。比如通过wget下载之后，执行出现上面问题。可以尝试在其他机器上直接下载，然后上传到目标服务器上再执行上面解压命令即可。

FileZilla无法连接

安装sshd: