zoukankan      html  css  js  c++  java
  • 2022学习总结专用

    1.14

    1.hadoop序列化总结:

    • 序列化是把内存中对象变成二进制序列的过程,目的是把易失的对象转化成永久保存的磁盘文件或进行网络传输。
    • 反序列化是从二进制序列读取对象的过程
    • 对于复杂的组合数据,可以自定义bean实现其序列化,需要实现Writable接口的两个方法write和readfields。
    • wirte就是将对象往麻袋里写,readfields就是从麻袋里往外掏数据,赋给空对象。
    • 自己写了一个hadoop序列化的程序完美运行

    1.18:

    1. 学会了debug:

    • 先打断点
    • step into 进方法内部
    • step over 跳到下一个方法
    • 被蓝底色横条加粗的就是当前选中的方法

    2.MapTask 切片和Job提交

    基本全在睡觉,就问你有什么影响 根本听不懂,记个结论就好。

    (1)hadoop客户端提交job,是通过submit方法:

    • 检查job状态为define
    • 转换旧API为新API调用
    • 连接集群
    • 向集群提交job
      • 检查job输出
      • 获取临时文件夹
      • 获取JobID
      • 往job临时文件夹写jar包  写切片信息 写配置文件

     (2)如何切片

  • 相关阅读:
    第十一周课程总结
    第十周课程总结
    第九周课程总结&实验报告(七)
    第八周课程总结&实验报告六
    第七周
    第六周
    课程总结
    第十四周课程总结&实验报告
    第十三周总结
    第十二周总结
  • 原文地址:https://www.cnblogs.com/gen2122/p/15802919.html
Copyright © 2011-2022 走看看