zoukankan      html  css  js  c++  java
  • 是时候放弃pipeline 模型 ?

    pipeline 在sklearn 和 spark 中广泛存在的高层级结构,对于的它的作用我们也要思考一下,为了更好的展开思考,首先需要问几个问题:

    1. 在多种场合下,用它与不用它有什么不一样?

    2. 直接去看框架源码pipeline到底干了什么,帮客户端完成了哪些工作的工作?

    3. 强行使用这种模式会带来什么样的代价?

    4. 更好地帮助客户端完成参数化工作?

    曾经,十分迷恋管道,今天深深的感到,对于做算法来讲,场景复杂,不仅仅是iid的维度长度为1的数据,管道人感到僵硬无比,

    不管是spark,还是sklearn,至多管道解决的问题层次只能在于模型层次,不可再上升,总之对于做算法来讲,管道不算是好的抽象!

    其实重要原因是其依赖的数据结构!

    管道至多像keras的sequencial模型。。

  • 相关阅读:
    docker
    手动处理datanode磁盘间使用不均的问题
    Hadoop op 1)
    Python class and function json
    scala Basic 第三课
    spark streaming kafka example
    hadoop io PART1
    elasticsearch 集群搭建
    Scala编程第二课
    scala 第一课
  • 原文地址:https://www.cnblogs.com/wdmx/p/10205472.html
Copyright © 2011-2022 走看看