今天完成了spark的第三个实验以及第四个实验的第一问。
其中第三个实验涉及到一些Hadoop的知识,大部分已经想不起来了,经过今天的练习又温习了一遍,同时也接触到了使用Spark对本地文件或者是hdfs文件的一些操作,比如获取文件的行数等。
第四个实验是关于RDD编程的,一些语句能看懂一部分,但是还是不熟悉,需要多多了解。今天只完成了第一部分spark-shell交互式编程。
明天会将第二和第三问完成,并学习一些爬虫的知识。