一、大数据
系统 : Linux
数据存储:磁盘(共享)SAN、NAS、DAS(专门将数据存储于磁盘阵列)
分布式存储架构(HDFS)-- 集群(应用)
模具:1.map-reduces的数据处理集群:它是将海量数据按照一定的方式,修改为键值关系(key-value)
HDFS + map-reduces = Hadoop 集群(运行于Linux上的一个高性能集群)
算法:2.通过数学(统计学)+ Python = 算法
3.数据可视化
二、IT行业的工作方向
1.运维
linux操作系统
(1)linux运维 (web架构)
(2)虚拟化 KVM XEN
openstack——docker(k8s)
(3)Hadoop + JAVA = 大数据存储方向
Hadhoop : HDFS mapruduces spark(scala) Hive SQL zookeeper...
2.开发 ——计算机语言
BASIC早期的机械语言
C C++ 系统开发 、驱动开发 、嵌入式开发(写板子)
注:驱动程序 需要转换各个厂家设备之间的指令集,让厂家设备之间互通
JAVA
工具 :脚本语言 -- sheel perl python
数据库:MySQL nosql
三、操作系统简介
操作系统本身就是一个软件程序,但是它并不直接对客户提供应用,而是为其他应用提供硬件资源 (用户空间 、 内核空间)
1.操作系统干什么的?
平台 —— 承上启下
上:应用
下:硬件设备(resource)
硬件设备平台的三大部件:CPU 内存 I/O设备
(运算器 控制器 存储器 input设备 output设备)
CPU:所有的运算
内存:向CPU提供数据(cpu只能向内存读取数据),重启系统,内存中的数据将会丢失
CPU读取内存中指定(需要的数据),这个过程,我们叫做寻址;(物理地址、逻辑地址
IO设备:网卡(适配器adapter):以太网(Ethernet)
磁盘(IDE、SAS、SSD)机械盘、固态盘
四、知识扩展:
osi七层模型—————————————————————— TCP/IP的四层模型
应用层 -- QQ 应用层(应用层、表示层、 会话层)
表示层 -- 指令转换
会话层 -- session建立会话
传输层 -- 通过端口区分应用 传输层
网络层 -- IP 网络层
数据链路层 -- MAC地址 主机到主机(数据链路层、 物理层)
物理层 -- 具体的物理设备(硬件设备)
【下层为上层提供服务】