源码地址：https://github.com/ZhixiuYe/NER-pytorch
本篇主要介绍NER任务、Conll 2003(English)数据集及数据集相关统计
一、NER任务
NER(命名实体识别)是一项基础任务，通常是做知识图谱等任务的必要过程。一般是指给定一段文本，识别出里面的实体，实体主要包括人名、地名、机构名、时间、数量等等。如：
二、数据集
1.数据集说明
使用的是CoNLL 2003(English)，数据的每行为一个单词，每个句子单位由空行隔开。
每行的第一项是单词，第二项是词性标记，第三项是句法块标记，第四项是命名实体标签。示例如下：
实体类型包含四类：人名（PER）、地名（LOC）、组织名（ORG）、其他实体名（MISC）
数据由三个文件组成：一个训练文件和两个测试文件testa和testb。testa作为测试集用于确定最佳的参数。testb作为测试集用于最终评估。
注意：命名实体标签的格式为I-type，这意味着单词位于类型为的短语中。只有当同一类型的两个短语紧跟在一起时，第二个短语的第一个单词才会有标记B-type来表示它开始一个新短语。
2.数据集相关统计
1）实体名数量统计
2）实体名长度统计
3）实体名长度最长的实体名统计
