php 分词扩展 scws

官方：http://www.xunsearch.com/scws/index.php

 

以 Linux(FreeBSD) 操作系统为例

1. 取得 scws-1.2.2 的代码

wget http://www.xunsearch.com/scws/down/scws-1.2.2.tar.bz2

 

2. 解开压缩包

[hightman@d1 ~]$ tar xvjf scws-1.2.2.tar.bz2

 

3. 进入目录执行配置脚本和编译

[hightman@d1 ~]$ cd scws-1.2.2[hightman@d1 ~/scws-1.2.2]$ ./configure --prefix=/usr/local/scws ; make ; make install

 

注：这里和通用的 GNU 软件安装方式一样，具体选项参数执行 ./configure --help 查看。

常用选项为：--prefix=<scws的安装目录>

 

4. 顺利的话已经编译并安装成功到 /usr/local/scws 中了，执行下面命令看看文件是否存在

[hightman@d1 ~/scws-1.2.2]$ ls -al /usr/local/scws/lib/libscws.la

 

5. 试试执行 scws-cli 文件

[hightman@d1 ~/scws-1.2.2]$ /usr/local/scws/bin/scws -h

scws (scws-cli/1.2.2)

Simple Chinese Word Segmentation - Command line usage.

Copyright (C)2007 by hightman.

...

 

6 用 wget 下载并解压词典，或从主页下载然后自行解压再将 *.xdb 放入 /usr/local/scws/etc 目录中

[hightman@d1 ~/scws-1.2.2]$ cd /usr/local/scws/etc

[hightman@d1 /usr/local/scws/etc]$ wget http://www.xunsearch.com/scws/down/scws-dict-chs-gbk.tar.bz2

[hightman@d1 /usr/local/scws/etc]$ wget http://www.xunsearch.com/scws/down/scws-dict-chs-utf8.tar.bz2

[hightman@d1 /usr/local/scws/etc]$ tar xvjf scws-dict-chs-gbk.tar.bz2

[hightman@d1 /usr/local/scws/etc]$ tar xvjf scws-dict-chs-utf8.tar.bz2

 

7. 写个小程序测试一下

[hightman@d1 ~]$ cat > test.c

#include <scws.h>

#include <stdio.h>

main()

{

  scws_t s;

  s = scws_new();

  scws_free(s);

  printf("test ok! ");

}

 

8. 编译测试程序

gcc -o test -I/usr/local/scws/include -L/usr/local/scws/lib test.c -lscws -Wl,--rpath -Wl,/usr/local/scws/lib

./test

 

9. 这样就好顺利安装完毕可以使用 libscws 这套 C-API 了

 

10. 如果您需要在 php 中调用分词，建议继续阅读本文安装 php 扩展，否则可跳过不看。

 

    假设您已经将 scws 按上述步骤安装到 /usr/local/scws 中。

    安装此扩展要求您的 php 和系统环境安装了相应的 autoconf automake 工具及 phpize 。

 

    1) 进入源码目录的 phpext/ 目录 ( cd ~/scws-1.2.2 )

    2) 执行 phpize （在PHP安装目录的bin/目录下）

    3) 执行 ./configure --with-scws=/usr/local/scws

      若 php 安装在特殊目录 $php_prefix, 则请在 configure 后加上 --with-php-config=$php_prefix/bin/php-config

    4) 执行 make 然后用 root 身份执行 make install

    5) 在 php.ini 中加入以下几行

 

[scws]

;

; 注意请检查 php.ini 中的 extension_dir 的设定值是否正确, 否则请将 extension_dir 设为空，

; 再把 extension = scws.so 指定绝对路径。

;

extension = scws.so

scws.default.charset = gbk

scws.default.fpath = /usr/local/scws/etc

 

    6) 命令行下执行 php -m 就能看到 scws 了或者在 phpinfo() 中看看关于 scws 的部分，记得要重启 web 服务器

      才能使新的 php.ini 生效。

    7) 这样就算安装完成了，余下的工作只是PHP代码编写问题了。

      关于 PHP 扩展的使用说明请参看代码中 phpext/README.md 文件或其它文档章节。

11.swcs 在php 中使用

例子1 使用类方法分词

<?php

     $so = scws_new();

     $so->set_charset('gbk');

     // 这里没有调用 set_dict 和 set_rule 系统会自动试调用 ini 中指定路径下的词典和规则文件

     $so->send_text("我是一个中国人,我会C++语言,我也有很多T恤衣服");

     while ($tmp = $so->get_result()){

          print_r($tmp);

     }

     $so->close();

?>

例子2 使用函数提取高频词

<?php

     $sh = scws_open();

     scws_set_charset($sh, 'gbk');

     scws_set_dict($sh, '/path/to/dict.xdb');

     scws_set_rule($sh, '/path/to/rules.ini');

     $text = "我是一个中国人，我会C++语言，我也有很多T恤衣服";

     scws_send_text($sh, $text);

     $top = scws_get_tops($sh, 5);

     print_r($top);

?>

修改导入导出工具