碰到一个没解决的问题。 用tensorflow 分布式异步更新模式训练模型, 模型中带正则项, 每个batch的损失函数为
[lambda |W|_1 + frac 1 {N_j} sum_i^{N_j} {
m logloss}(x_i,y_i, W)
]
发现迭代稳定后， 正则项大小(lambda |W|_1)与worker个数(n)成正比。 相当于求解
[lambda |W|_1 + frac n {N_j} sum_i^{N_j} {
m logloss}(x_i,y_i, W)
]
原因没想清楚， 留着后面思考。