初探JGibbLDA，改成配置文件参数

　　JGibbLDA是Java版本的LDA(Latent Dirichlet Allocation)实现，下载地址http://jgibblda.sourceforge.net/

　　我这里下载的是JGibbLDA-v.1.0，下载完成解压时候的文件结构如下

　　其中models文件夹当中是两个已经成长的主题模型例子，lib文件夹当中是个jar包args4j-2.0.6.jar，是用于处理java命令行参数的一个jar包，导入项目时需将此包也导入构建路径，我用的是win 7，感觉用命令行别扭，就想着把它改造一下，用配置文件吧。

　　JGibbLDA的参数基本上有下面几个：

1. #-est 此参数初次训练LDA模型;
2. #-estc:此参数用于从已有的模型当中训练LDA模型;
3. #-inf: 此参数用于对新的文档进行测试;
4. #-model <string>: 已有的模型的名称;
   
5. #-alpha<double>:α超参数，默认是50/K，K为主题数量;
6. #-beta <double>: β超参数，默认为0.1;
7. #-ntopics <int>: 主题数量，默认100;
8. #-niters <int>: Gibbs抽样迭代次数，默认为2000;
9. #-savestep <int>: 保持模型的迭代次数，即每迭代多少次将保持一次结果模型。默认为200;
10. # -twords <int>: 每个主题最可能的单车数量。默认为0，如果设定大于0，比如20，JGibbLDA将会根据此参数在每次保持模型时为每个主题打印出最可能的20个词;
    
11. #-dir <string>: 输入词集文件夹目录;此目录也是模型结果输出目录
12. # -dfile <string>: 输入词集文件名称

　　输入词集格式一般如下

　　　　[M]
　　　　[document₁]
　　　　[document₂]
　　　　...
　　　　[document_M]

其中：M是文档个数[document_i]为文档词集，按空格分隔

输出数据

建立模型阶段，会输出5类以如下规则命名的文件类型：

model-XXXXX.others: 

model-XXXXX.phi

model-XXXXX.theta

model-XXXXX.tassign

model-XXXXX.twords

XXXXX都以数字组成。最后一次迭代所保存的这些数字将会换成“final”。

其中：

     .others为“信息文件”。文件保存的是跟该LDA模型有关的参数，比如alpha，beta，ntopiccs，ndocs，nwords，liter（ the Gibbssampling iteration at which the model was saved）

     .phi文件为“词项-类簇概率分布文件”，表现上是一个大矩阵M。其中，假设设类簇的数目topic_t为1000个，每一个类簇需要列出top 100个词项word_w，则M以100为行，1000为列。即M每一行是词项，每一列是类簇。M元素值则为条件概率p(word_w|topic_t)。

    .theta文件为“记录-类簇概率分布文件”。表现上也是一个大矩阵M。每一行是训练数据的一条记录，每一列是一个类簇，元素值则为条件概率 p(topic_t|document_m)。

    .tassign文件为“记录-词项-类簇分布文件”。文件每一行代表训练数据的一条记录，原记录由一组词项组成，现每一行为原来的记录词项指派了其最大可能的所属类簇。注意，不包含该记录所属类簇。

  .twords文件为“词项-类簇推断文件”。这个文件作为模型参数结果推断出了每一个类簇下最优的topN个词项及其概率。请注意这里的类簇数和N都是事先指定的。

这5个文件包括副产品wordmap.txt在有些应用场景下有时并不是完全需要的，是否生成可视情况而定。如果利用类簇下topN词项来做基于距离的聚类，可能只需.twords即可。

推断新数据和关键代码

将产生如下文件，其组织和意义如前所述一致：

newdocs.dat.others
newdocs.dat.phi
newdocs.dat.tassign
newdocs.dat.theta
newdocs.dat.twords

修改运行模式为配置文件的修改代码如下

PropertyUtils.java读取配置文件src/option.properties

package cn.edu.gdut.utils;

import java.io.File;
import java.io.FileInputStream;
import java.io.IOException;
import java.io.InputStream;
import java.util.Properties;

public class PropertyUtils {

    private static Properties p = null;

    private static Properties getProperties() {
        if (p == null) {
            synchronized (FileUtils.class) {
                if (p == null) {
                    p = new Properties();
                    try {
                        InputStream in = new FileInputStream(new File(
                                "src/option.properties"));
                        p.load(in);
                        in.close();
                    } catch (IOException e) {
                        e.printStackTrace();
                        return null;
                    }
                }
            }
        }
        return p;
    }

    public static boolean getEst() {
        if (getProperties().get("est") == null
                || "".equals(getProperties().get("est"))) {
            return false;
        }
        return ("true").equals((String) getProperties().get("est")) ? true
                : false;
    }

    public static boolean getEstc() {
        if (getProperties().get("estc") == null
                || "".equals(getProperties().get("estc"))) {
            return false;
        }
        return ("true").equals((String) getProperties().get("estc")) ? true
                : false;
    }

    public static boolean getInf() {
        if (getProperties().get("inf") == null
                || "".equals(getProperties().get("inf"))) {
            return false;
        }
        return ("true").equals((String) getProperties().get("inf")) ? true
                : false;
    }

    public static double getAlpha() {
        if (getProperties().get("alpha") == null
                || "".equals(getProperties().get("alpha"))) {
            return 50.0 / getNtopics();
        }
        return Double.parseDouble((String) getProperties().get("alpha"));
    }

    public static double getBeta() {
        if (getProperties().get("beta") == null
                || "".equals(getProperties().get("beta"))) {
            return 0.1;
        }
        return Double.parseDouble((String) getProperties().get("beta"));
    }

    public static int getNiters() {
        if (getProperties().get("niters") == null
                || "".equals(getProperties().get("niters"))) {
            return 2000;
        }
        return Integer.parseInt((String) getProperties().get("niters"));
    }

    public static int getNtopics() {
        if (getProperties().get("ntopics") == null
                || "".equals(getProperties().get("ntopics"))) {
            return 100;
        }
        return Integer.parseInt((String) getProperties().get("ntopics"));
    }

    public static void setNtopics(int K) {
        getProperties().setProperty("ntopics", String.valueOf(K));
    }

    public static int getSavestep() {
        if (getProperties().get("savestep") == null
                || "".equals(getProperties().get("savestep"))) {
            return 200;
        }
        return Integer.parseInt((String) getProperties().get("savestep"));
    }

    public static int getTwords() {
        if (getProperties().get("savestep") == null
                || "".equals(getProperties().get("savestep"))) {
            return 200;
        }
        return Integer.parseInt((String) getProperties().get("twords"));
    }

    public static String getDir() {
        if (getProperties().get("dir") == null
                || "".equals(getProperties().get("dir"))) {
            return "models\\casestudy-zh";
        }
        return (String) getProperties().get("dir");
    }

    public static String getOutDir() {
        if (getProperties().get("outdir") == null
                || "".equals(getProperties().get("outdir"))) {
            return "LDAModels\\casestudy-zh";
        }
        return (String) getProperties().get("outdir");
    }

    public static String getDfile() {
        if (getProperties().get("dfile") == null
                || "".equals(getProperties().get("dfile"))) {
            return "sdate.dat";
        }
        return (String) getProperties().get("dfile");
    }

    public static String getModel() {
        if (getProperties().get("dfile") == null
                || "".equals(getProperties().get("dfile"))) {
            return "";
        }
        return (String) getProperties().get("model");
    }

    
}

修改LDA代码

package jgibblda;

import cn.edu.gdut.util.FileUtil;

public class LDA {

    public static void main(String args[]) {
        LDACmdOption option = new LDACmdOption();
        fillOption(option);
        if (!option.est && !option.estc && !option.inf) {
            System.out.println("请选择一种模式！");
            return;
        }

        if (option.est || option.estc) {
            Estimator estimator = new Estimator();
            estimator.init(option);
            estimator.estimate();
        } else if (option.inf) {
            Inferencer inferencer = new Inferencer();
            inferencer.init(option);

            Model newModel = inferencer.inference();

            for (int i = 0; i < newModel.phi.length; ++i) {
                System.out
                        .println("-----------------------\ntopic" + i + " : ");
                for (int j = 0; j < 10; ++j) {
                    System.out.println(inferencer.globalDict.id2word.get(j)
                            + "\t" + newModel.phi[i][j]);
                }
            }
        }
    }

    private static void fillOption(LDACmdOption option) {
        option.est = FileUtil.getEst();
        option.estc = FileUtil.getEstc();
        option.inf = FileUtil.getInf();
        option.alpha = FileUtil.getAlpha();
        option.beta = FileUtil.getBeta();
        option.dir = FileUtil.getDir();
        option.dfile = FileUtil.getDfile();
        option.modelName = FileUtil.getModel();
        option.niters = FileUtil.getNiters();
        option.K = FileUtil.getNtopics();
        option.savestep = FileUtil.getSavestep();
        option.twords = FileUtil.getTwords();
    }

}

这个时候，lib文件夹当中args4j-2.0.6.jar可以丢弃了。