厦门大学林子雨,赖永炫,陶继平 编著
《Spark 编程基础(Scala 版)》
教材配套
机房上机实验指南
实验 1 Linux 系统的安装和常用命令
(版本号:2018 年 7 月 19 日版本)
(题目)
主讲教师:林子雨
厦门大学数据库实验室
二零一八年七月目录
目录
一、实验目的...................................................................................................................................1
二、实验平台...................................................................................................................................1
三、实验内容和要求.......................................................................................................................2
1.安装 Linux 虚拟机.............................................................................................................2
2.使用 Linux 系统的常用命令.............................................................................................2
3. 在 Windows 系统和 Linux 系统之间互传文件.................................................................2
四、实验报告...................................................................................................................................3
附录 1:任课教师介绍......................................................................................................................3
附录 2:课程教材介绍....................................................................................................................4
附录 3:高校大数据课程公共服务平台介绍................................................................................5
实验 1 Linux 系统的安装和常用命令
厦门大学林子雨,赖永炫,陶继平 编著
《Spark 编程基础(Scala 版)》
第 1 章 大数据技术概述
教材配套机房上机实验指南
实验 1 Linux 系统的安装和常用命令
(题目)
主讲教师:林子雨
E-mail: ziyulin@xmu.edu.cn 个人主页:http://www.cs.xmu.edu.cn/linziyu
一、实验目的
(1)掌握 Linux 虚拟机的安装方法。Spark 和 Hadoop 等大数据软件在 Linux 操作系统
上运行可以发挥最佳性能,因此,本教程中,Spark 都是在 Linux 系统中进行相关操作,同
时,下一章的 Scala 语言也会在 Linux 系统中安装和操作。鉴于目前很多读者正在使用
Windows 操作系统,因此,为了顺利完成本教程的后续实验,这里有必要通过本实验,让读
者掌握在 Windows 操作系统上搭建 Linux 虚拟机的方法。当然,安装 Linux 虚拟机只是安
装 Linux 系统的其中一种方式,实际上,读者也可以不用虚拟机,而是采用双系统的方式安
装 Linux 系统。本教程推荐使用虚拟机方式。
(2)熟悉 Linux 系统的基本使用方法。本教程全部在 Linux 环境下进行实验,因此,
需要读者提前熟悉 Linux 系统的基本用法,尤其是一些常用命令的使用方法。
二、实验平台
操作系统:Windows 系统和 Ubuntu(推荐)。
虚拟机软件:推荐使用的开源虚拟机软件为 VirtualBox。VirtualBox 是一款功能强大的
免费虚拟机软件,它不仅具有丰富的特色,性能也很优异,且简单易用,可虚拟的系统包括
Windows、Mac OS X、Linux、OpenBSD、Solaris、IBM OS2 甚至 Android 4.0 系统等操作系
统。读者可以在 Windows 系统上安装 VirtualBox 软件,然后在 VirtualBox 上安装并且运行
Linux 操作系统。本次实验默认的 Linux 发行版为 Ubuntu16.04。
主讲教师:林子雨 http://www.cs.xmu.edu.cn/linziyu 第 1 页厦门大学林子雨,赖永炫,陶继平 编著《Spark 编程基础(Scala 版)》 教材配套机房上机实验指南
实验 1 Linux 系统的安装和常用命令
主讲教师:林子雨 http://www.cs.xmu.edu.cn/linziyu 第 2 页
三、实验内容和要求
1.安装 Linux 虚拟机
请登录 Windows 系统,下载 VirtualBox 软件和 Ubuntu16.04 镜像文件。
VirtualBox 软件的下载地址:https://www.virtualbox.org/wiki/Downloads。
Ubuntu16.04 的镜像文件下载地址:http://www.ubuntu.org.cn/download/desktop。
或者也可以直接到本教程官网的“下载专区”的“软件”中下载 Ubuntu 安装文件
ubuntukylin-16.04-desktop-amd64.iso。
首先,在Windows系统上安装虚拟机软件VirtualBox软件,然后在虚拟机软件VirtualBox
上安装 Ubuntu14.04 操作系统,具体请参考本教程官网的“实验指南”中的“在 Windows
中使用 VirtualBox 安装 Ubuntu”。
2.使用 Linux 系统的常用命令
启动 Linux 虚拟机,进入 Linux 系统,通过查阅相关 Linux 书籍和网络资料,或者参考
本教程官网的“实验指南”的“Linux 系统常用命令”,完成如下操作:
(1)切换到目录 /usr/bin;
(2)查看目录/usr/local 下所有的文件;
(3)进入/usr 目录,创建一个名为 test 的目录,并查看有多少目录存在;
(4)在/usr 下新建目录 test1,再复制这个目录内容到/tmp;
(5)将上面的/tmp/test1 目录重命名为 test2;
(6)在/tmp/test2 目录下新建 word.txt 文件并输入一些字符串保存退出;
(7)查看 word.txt 文件内容;
(8)将 word.txt 文件所有者改为 root 帐号,并查看属性;
(9)找出/tmp 目录下文件名为 test2 的文件;
(10)在/目录下新建文件夹 test,然后在/目录下打包成 test.tar.gz;
(11)将 test.tar.gz 解压缩到/tmp 目录。
1)切换到目录 /usr/bin;
输入cd /usr/bin
(2)查看目录/usr/local 下所有的文件;
ls /usr/local
(3)进入/usr 目录,创建一个名为 test 的目录,并查看有多少目录存在;
cd /usr
mkdir test
ls
(4)在/usr 下新建目录 test1,再复制这个目录内容到/tmp;
cd /usr
mkdir test1
cp -a /usr/test1 /tmp
(5)将上面的/tmp/test1 目录重命名为 test2;
mv /tmp/test1 /tmp/test2
(6)在/tmp/test2 目录下新建 word.txt 文件并输入一些字符串保存退出;
cd /tmp/test2
gedit word.txt
(7)查看 word.txt 文件内容;
vim /tmp/test2/word.txt
(8)将 word.txt 文件所有者改为 root 帐号,并查看属性;
chown root /tmp/test2/word.txt
ls -l word.txt
(9)找出/tmp 目录下文件名为 test2 的文件;
find /tmp/test2
(10)在/目录下新建文件夹 test,然后在/目录下打包成 test.tar.gz;
cd /
mkdir test
tar -czvf test.tar.gz test
(11)将 test.tar.gz 解压缩到/tmp 目录。
tar -zxvf test.tar.gz -C /tmp/
3. 在 Windows 系统和 Linux 系统之间互传文件
本教程大量实验都是在 Linux 虚拟机上完成,因此,需要掌握如何把 Windows 系统中
的文件上传到 Linux 系统,以及如何把 Linux 系统中的文件下载到 Windows 系统中。
首先,到本教程官网的“下载专区”中的“软件”目录中,下载 FTP 软件 FileZilla 的安装
文件 FileZilla_3.17.0.0_win64_setup.exe,把 FileZilla 安装到 Windows 系统中;然后,请参考
本教程官网“实验指南”栏目的“在 Windows 系统中利用 FTP 软件向 Ubuntu 系统上传文
件”,完成以下操作:
(1)在 Windows 系统中新建一个文本文件 test.txt,并通过 FTP 软件 FileZilla,把 test.txt
上传到 Linux 系统中的“/home/hadoop/下载”目录下,把利用 Linux 命令把该文件名修改为
test1.txt;
(2)通过 FTP 软件 FileZilla,把 Linux 系统中的“/home/hadoop/下载”目录下的 test1.txt厦门大学林子雨,赖永炫,陶继平 编著《Spark 编程基础(Scala 版)》 教材配套机房上机实验指南
实验 1 Linux 系统的安装和常用命令
主讲教师:林子雨 http://www.cs.xmu.edu.cn/linziyu 第 3 页
文件下载到 Windows 系统的某个目录下。