1.了解数据
01.数据量是多少？
-总的数据个数，存储空间的大小
-分的数据个数，存储空间的大小
分：
数据类型有哪些？
-- 文件夹 文件
时间周期
--
02.了解数据分布
最大的数据多少，最小的呢，平均情况
有无异常文件--空文件夹 find ./ -maxdepth 1 -type d -empty
03.查看具体的数据示例
查看具体的文件-确认数据的格式
JSON--JSON文件的编码格式， JSON文件中的格式
2.数据预处理
复制
移动 : 本地移动 远程移动
转换格式
压缩文件夹
创建目录
上传数据
异常数据处理
3.流程总结：
01.事前有个预判，以期望寻求合适的解决方式
沟通前有个相应的思路
02.大批量执行前，应以小批量数据作为基准，进行全流程的测验后，再对大数据进行处理、
初次处理情况，做好显示执行过程，后续可以隐藏
03.慎重用 删除处理，非必要的情况下，可以用移动，或者复制
修改文件前，注意备份，删除文件可以换成移动
04.注意做事的阻塞点，及时反馈，必要时寻求帮助
05.注意存储和传输
存储的数量，空间大小，传输的介质，网络是否有专线，网络的占用的带宽，传输重试的次数
计算和处理： 处理数据花费的时间，处理数据耗费的资源，处理数据的量的时间
结构化数据预处理
图像数据预处理 抽帧 去重 去畸变
音频数据预处理：
文本数据预处理
4.命令行示例
01.Linux命令行
find ./ -maxdepth 1 -type f
find ./ -maxdepth 1 -type d
ls -l | wc -l
scp -r user@IP:/home/oft /home/Data
cd /home/test/collect_data
find /home/test -name 'test_*' -type -d | xargs -i mv {} /home/T
cp
mv
python3 /home/testdata.py /home/te
-- 存储 df -h
du --max-depth 1 -h
--压缩-- 还要注意解压后的情况
--挂载-- 硬盘初次用的时候，可能未挂载，可以查看并挂载 mount umount
-- 管道
02.HDFS命令行
hadoop fs -ls hdfs:/data
hadoop fs -get hdfs:/data/test.zip /home/test
hadoop fs -put /home/test/mytest.txt hdfs:/data
5 程序处理方式：
MobaXterm Filezilla Dbeaver listary
程序处理方式
增加异常判断和处理--比如文件不存在情况
删除要进行输入确认--同时对删除的内容进行限定 --防御式编程 压缩的时候，删除了源文件，异常推出了
功能解耦-装配式
多线程多进程增加效率
明确输入和输出
队列的形式--便压缩，压缩完成后，进行删除
断点--接着上次处理的地方，再进行处理
网络排查
lastb
cat .bash_history >> history.txt， 查看文件history.txt.
history
echo $HISTSIZE
echo $HISTFILESIZE
入侵排查以及渗透测试
sudo 提权
# root帐号外，其他帐号是否存在sudo权限--
# 查看sudoers文件
sudo more /etc/sudoers | grep -v "^#|^$" | grep "ALL=(ALL)"
# 查看该用户是否是sudo组的成员
more /etc/group | grep sudo
具有root用户权限的SUID文件
find / -perm -u=s -type f 2>/dev/null
排查：
01. /etc/passwd 和 /etc/shadow
02. Cron Jobs 提权
了解网络渗透：
渗透测试流程，应该包含以下 8 个步骤：
主机发现 > 服务枚举 > 实施攻击 > 获取shell > 权限提升 > 权限维持 > 内网渗透 > 痕迹清除
同时会
改变自己路由器或者电脑的MAC地址
进行数据加密以及IP地址隐藏 代理和肉鸡
追踪位置：
物理地址，使用端口，路由的MAC地址
DNS服务器--网址记录
概念：
横向扩展： 被攻陷的系统为跳板，访问其他主机，获取包括邮箱、共享文件夹或者凭证信息在内的敏感资源。
加强安全措施:
自我防护
修改密码:普通用户运行passwd只能修改它自己的密码
修改权限： chmod -R 500 /home/ddd
修改用户所在组： id groups
端口： 封锁端口
网络： trace
概念了解
HISTSIZE 和 HISTFILESIZE 有什么区别
说明：
HISTSIZE 定义了 history 命令输出的记录数
HISTFILESIZE 定义了在 .bash_history 中保存命令的记录总数.
history显示内存和~/.bash_history中的所有内容；
内存中的内容并没有立刻写入~/.bash_history，
只有当当前shell关闭时才会将内存内容写入shell