zoukankan      html  css  js  c++  java
  • keras的训练引擎:train_array.py和train_generator.py

    keras的Model支持两种模式的训练:

    • 直接传入数组,最终会调用train_array.py中的fit_loop()函数
    • 直接传入生成器,最终会调用train_generator.py中的fit_generator()函数

    train_array.py文件只有三个函数,就是fit_loop()、predict_loop()、evaluate_loop()
    train_generator.py文件只有三个函数,就是fit_generator()函数、predict_generator()、evaluate_generator()

    这两个函数非常相似,参数也都差不多。它们都接受一个model参数,它的类型是一个Model实例。因为这两个函数比较重量级,所以从Model中拆分出来单独作为一个文件,这两个文件可以说是keras的心脏。这两个文件把模型、损失、评测指标、回调等组件结合起来,仿佛各条小溪在此处汇聚成大河,仿佛各个乐器在此处齐鸣奏出交响乐。只要看懂这两个文件,keras可以说是懂了半壁江山。以这两个文件为出发点,顺藤摸瓜按图索骥就能够把keras的各个模块、各个部件理得很清。

    fit_loop()有steps_per_epoch和batch_size两个参数,但是这两个参数不能同时指定。因为fit_loop传入了全部数据,所以样本总数是确定的。steps_per_epoch*batch_size应该近似等于样本总数。也就是说steps_per_epoch和batch_size这两个变量在样本总数已知的情况下可以互相推出。
    fit_loop()函数适用场景包括:

    • 样本数可以全部加载到内存
    • 样本长度统一且固定

    fit_generator()相比fit_loop()要灵活很多,但是用起来却需要额外的步骤。它需要提供一个生成器,这个生成器应该是一个无穷无尽的生成器,也就是说它应该始终源源不断地产生数据,通过steps_per_epoch来指明每个轮次包含的样本数。对于生成器每次返回数据,样本个数即为batch_size。生成器每次返回的数据batch_size是可以参差不齐的。

  • 相关阅读:
    投入产出分析软件研发成功
    GIS 的未来
    无比期待arcgis10
    北京市服务业空间结构研究框架
    经济普查资料开发应用的基本方法及常用的统计分析方法
    关于公共设施或公共空间的服务区分析
    打造国家级GIS 平台——来自Jack Dangermond
    MySQL的字符串函数大全
    loadrunner 将执行脚本 写到vuser_init函数中问题
    mysql 批量update操作错误解决
  • 原文地址:https://www.cnblogs.com/weiyinfu/p/9875743.html
Copyright © 2011-2022 走看看