PostgreSQL的全文检索中文分词(1)NlpBamboo

postgres 8.3提供了2个数据类型tsvector,tsquery来支持全文检索，所以只需要一个中文分词组件就可以提供中文全文检索。google..很快发现了NlpBamboo项目，使用起来很方便。

安装和配置NlpBamboo

1.安装编译工具cmake

apt-get install cmake

2.安装Bamboo依赖库crf++，下载crf++代码后　　

cd CRF++
./configure
make
make install

编译CRF++需要g++支持，否则会出现checking if g++ supports namespaces (required) … no这样的信息，直接apt-get install g++就可以了

3.编译安装Bamboo

cd nlpbamboo
mkdir build
cd build
cmake .. -DCMAKE_BUILD_TYPE=release
make all
make install

4.安装postgresql分词库扩展

从bamboo项目主页下载分词数据库文件index.tar.bz2，解压到/opt/bamboo/index

编辑中文索引停止词（干扰词），文本中有些字符串不希望被索引，比如常用标点符号，”的”，英文中的”a”等。

touch /usr/share/postgresql/8.4/tsearch_data/chinese_utf8.stop

上面建了一个空的中文索引停止词文件，也可以自行用文本编辑器编辑，一个停止词占一行

cd /opt/bamboo/exts/postgres/pg_tokenize
make
make install
cd /opt/bamboo/exts/postgres/chinese_parser
make
make install

如果出现“pgxs.mk找不到”的错误，则安装 apt-get install postgresql-server-dev-8.4

将分词函数和分词模块导入到你的数据库:

psql mydbname -U username
mydbname=#\i /usr/share/postgresql/8.4/contrib/pg_tokenize.sql
mydbname=#\i /usr/share/postgresql/8.4/contrib/chinese_parser.sql

测试分词:

select to_tsvector('chinesecfg', '欢迎光临我的博客chengwei.org');
---------------------------------------------------------------
'chengwei':6 'org':8 '光临':2 '博客':5 '我':3 '欢迎':1 '的':4
(1 row)

到此为止，数据库已经支持中文全文检索了，但在项目中使用sql语句查询，还需要做些额外的工作。

使用postgresql的全文检索功能

Postgresql使用tsvector数据类型来保存索引后的内容，将一段文本转换成tsvector类型只需要使用to_tsvector函数就可以

select to_tsvector('english', 'Better late than never');
-------------------------------
 'better':1 'late':2 'never':4
(1 row)

要查询一个单词是否出现在’Better late than never’句子中，　

select to_tsvector('english', 'Better late than never') @@ 'better' as in;
 in
----
 t
(1 row)

select to_tsvector('english', 'Better late than never') @@ 'right' as in;
 in
----
 f
(1 row)

@@全文索引操作符返回一个true或者false值，@@后面实际上是一个 tsquery类型，可以使用 &, |等进行组合查询

select to_tsvector('english', 'Better late than never') @@ to_tsquery('right | better') as in;
 in
----
 t
(1 row)

中文全文索引实践

对数据库archive表的title字段做全文索引，假设表结构是

create table archive(
   id serial primary key,
   title text);

新建一个表用来保存tsvector类型，当然也可以直接保存在archive表中。ON DELETE CASCADE用来规则当父表删除数据时，同时删除子表中外键关联数据。默认是NO ACITON，即禁止删除父表数据

create table fti_archive(
    id integer primary key,
    fti_title tsvector,
    foreign key (id) references portal_archive(id) ON DELETE CASCADE);

archive表中已经有大量数据，根据现有数据生成title字段的全文索引

insert into fti_archive(id, fti_title)
select id, to_tsvector('chinesecfg',title) from archive

很显然，当在archive表中新增数据记录或者更新tilte字段是，对应记录的索引也需要更新，这可以创建一个触发器来实现

create or replace function update_fti_title()
returns trigger as $$
begin
    if TG_OP = 'INSERT' then
    insert into fti_archive(id, fti_title) values(NEW.id, to_tsvector('chinesecfg',NEW.title));
    else
    update fti_archive set fti_title=to_tsvector('chinesecfg',NEW.title) where id=NEW.id;
    end if;
    return new;
end
$$ LANGUAGE plpgsql;

create trigger update_fti_trigger after insert or update
on archive for each row execute procedure update_fti_title()

在全文索引表的fti_title字段建立索引　　

create index fti_archive_fti_title_inx on fti_archive
using gin(fti_title);

只需要一个连接查询就可以进行全文索引查询了：

select archive.* from archive inner join fti_archive
on archive.id=fti_archive.id
where fti_title @@ plainto_tsquery('chinesecfg','今天天气不错')

转自：http://chengwei.org/archives/postgresql-chinese-full-text-index-with-bamboo.html