UDN-企业互联网技术人气社区

板块导航

浏览  : 1725
回复  : 0

[其它] 11个Java开源中文分词器使用方法和分词效果对比

[复制链接]
哥屋恩的头像 楼主
发表于 2016-10-30 20:11:35 | 显示全部楼层 |阅读模式
  本文的目标有两个:

  1、学会使用11大Java开源中文分词器

  2、对比分析11大Java开源中文分词器的分词效果

  本文给出了11大Java开源中文分词的使用方法以及分词结果对比代码,至于效果哪个好,那要用的人结合自己的应用场景自己来判断。

  11大Java开源中文分词器,不同的分词器有不同的用法,定义的接口也不一样,我们先定义一个统一的接口:

  1.   /**

  2.   * 获取文本的所有分词结果, 对比不同分词器结果

  3.   * @author 杨尚川

  4.   */

  5.   public interface WordSegmenter {

  6.   /**

  7.   * 获取文本的所有分词结果

  8.   * @param text 文本

  9.   * @return 所有的分词结果,去除重复

  10.   */

  11.   default public Set seg(String text) {

  12.   return segMore(text).values().stream().collect(Collectors.toSet());

  13.   }

  14.   /**

  15.   * 获取文本的所有分词结果

  16.   * @param text 文本

  17.   * @return 所有的分词结果,KEY 为分词器模式,VALUE 为分词器结果

  18.   */

  19.   public Map segMore(String text);

  20.   }
复制代码


  从上面的定义我们知道,在Java中,同样的方法名称和参数,但是返回值不同,这种情况不可以使用重载。

  这两个方法的区别在于返回值,每一个分词器都可能有多种分词模式,每种模式的分词结果都可能不相同,第一个方法忽略分词器模式,返回所有模式的所有不重复分词结果,第二个方法返回每一种分词器模式及其对应的分词结果。

  在这里,需要注意的是我们使用了Java8中的新特性默认方法,并使用stream把一个map的value转换为不重复的集合。

  下面我们利用这11大分词器来实现这个接口:

  1、word分词器

  1.   @Override

  2.   public Map segMore(String text) {

  3.   Map map = new HashMap<>();

  4.   for(SegmentationAlgorithm segmentationAlgorithm : SegmentationAlgorithm.values()){

  5.   map.put(segmentationAlgorithm.getDes(), seg(text, segmentationAlgorithm));

  6.   }

  7.   return map;

  8.   }

  9.   private static String seg(String text, SegmentationAlgorithm segmentationAlgorithm) {

  10.   StringBuilder result = new StringBuilder();

  11.   for(Word word : WordSegmenter.segWithStopWords(text, segmentationAlgorithm)){

  12.   result.append(word.getText()).append(" ");

  13.   }

  14.   return result.toString();

  15.   }
复制代码


  2、Ansj分词器

  1.   @Override

  2.   public Map segMore(String text) {

  3.   Map map = new HashMap<>();

  4.   StringBuilder result = new StringBuilder();

  5.   for(Term term : BaseAnalysis.parse(text)){

  6.   result.append(term.getName()).append(" ");

  7.   }

  8.   map.put("BaseAnalysis", result.toString());

  9.   result.setLength(0);

  10.   for(Term term : ToAnalysis.parse(text)){

  11.   result.append(term.getName()).append(" ");

  12.   }

  13.   map.put("ToAnalysis", result.toString());

  14.   result.setLength(0);

  15.   for(Term term : NlpAnalysis.parse(text)){

  16.   result.append(term.getName()).append(" ");

  17.   }

  18.   map.put("NlpAnalysis", result.toString());

  19.   result.setLength(0);

  20.   for(Term term : IndexAnalysis.parse(text)){

  21.   result.append(term.getName()).append(" ");

  22.   }

  23.   map.put("IndexAnalysis", result.toString());

  24.   return map;

  25.   }
复制代码


  3、Stanford分词器

  1.   private static final StanfordCoreNLP CTB = new StanfordCoreNLP("StanfordCoreNLP-chinese-ctb");

  2.   private static final StanfordCoreNLP PKU = new StanfordCoreNLP("StanfordCoreNLP-chinese-pku");

  3.   private static final PrintStream NULL_PRINT_STREAM = new PrintStream(new NullOutputStream(), false);

  4.   public Map segMore(String text) {

  5.   Map map = new HashMap<>();

  6.   map.put("Stanford Beijing University segmentation", seg(PKU, text));

  7.   map.put("Stanford Chinese Treebank segmentation", seg(CTB, text));

  8.   return map;

  9.   }

  10.   private static String seg(StanfordCoreNLP stanfordCoreNLP, String text){

  11.   PrintStream err = System.err;

  12.   System.setErr(NULL_PRINT_STREAM);

  13.   Annotation document = new Annotation(text);

  14.   stanfordCoreNLP.annotate(document);

  15.   List sentences = document.get(CoreAnnotations.SentencesAnnotation.class);

  16.   StringBuilder result = new StringBuilder();

  17.   for(CoreMap sentence: sentences) {

  18.   for (CoreLabel token: sentence.get(CoreAnnotations.TokensAnnotation.class)) {

  19.   String word = token.get(CoreAnnotations.TextAnnotation.class);;

  20.   result.append(word).append(" ");

  21.   }

  22.   }

  23.   System.setErr(err);

  24.   return result.toString();

  25.   }
复制代码


  4、FudanNLP分词器

  1.   private static CWSTagger tagger = null;

  2.   static{

  3.   try{

  4.   tagger = new CWSTagger("lib/fudannlp_seg.m");

  5.   tagger.setEnFilter(true);

  6.   }catch(Exception e){

  7.   e.printStackTrace();

  8.   }

  9.   }

  10.   @Override

  11.   public Map segMore(String text) {

  12.   Map map = new HashMap<>();

  13.   map.put("FudanNLP", tagger.tag(text));

  14.   return map;

  15.   }
复制代码


  5、Jieba分词器

  1.   private static final JiebaSegmenter JIEBA_SEGMENTER = new JiebaSegmenter();

  2.   @Override

  3.   public Map segMore(String text) {

  4.   Map map = new HashMap<>();

  5.   map.put("INDEX", seg(text, SegMode.INDEX));

  6.   map.put("SEARCH", seg(text, SegMode.SEARCH));

  7.   return map;

  8.   }

  9.   private static String seg(String text, SegMode segMode) {

  10.   StringBuilder result = new StringBuilder();

  11.   for(SegToken token : JIEBA_SEGMENTER.process(text, segMode)){

  12.   result.append(token.word.getToken()).append(" ");

  13.   }

  14.   return result.toString();

  15.   }
复制代码


  6、Jcseg分词器

  1.   private static final JcsegTaskConfig CONFIG = new JcsegTaskConfig();

  2.   private static final ADictionary DIC = DictionaryFactory.createDefaultDictionary(CONFIG);

  3.   static {

  4.   CONFIG.setLoadCJKSyn(false);

  5.   CONFIG.setLoadCJKPinyin(false);

  6.   }

  7.   @Override

  8.   public Map segMore(String text) {

  9.   Map map = new HashMap<>();

  10.   map.put("复杂模式", segText(text, JcsegTaskConfig.COMPLEX_MODE));

  11.   map.put("简易模式", segText(text, JcsegTaskConfig.SIMPLE_MODE));

  12.   return map;

  13.   }

  14.   private String segText(String text, int segMode) {

  15.   StringBuilder result = new StringBuilder();

  16.   try {

  17.   ISegment seg = SegmentFactory.createJcseg(segMode, new Object[]{new StringReader(text), CONFIG, DIC});

  18.   IWord word = null;

  19.   while((word=seg.next())!=null) {

  20.   result.append(word.getValue()).append(" ");

  21.   }

  22.   } catch (Exception ex) {

  23.   throw new RuntimeException(ex);

  24.   }

  25.   return result.toString();

  26.   }
复制代码


  7、MMSeg4j分词器

  1.   private static final Dictionary DIC = Dictionary.getInstance();

  2.   private static final SimpleSeg SIMPLE_SEG = new SimpleSeg(DIC);

  3.   private static final ComplexSeg COMPLEX_SEG = new ComplexSeg(DIC);

  4.   private static final MaxWordSeg MAX_WORD_SEG = new MaxWordSeg(DIC);

  5.   @Override

  6.   public Map segMore(String text) {

  7.   Map map = new HashMap<>();

  8.   map.put(SIMPLE_SEG.getClass().getSimpleName(), segText(text, SIMPLE_SEG));

  9.   map.put(COMPLEX_SEG.getClass().getSimpleName(), segText(text, COMPLEX_SEG));

  10.   map.put(MAX_WORD_SEG.getClass().getSimpleName(), segText(text, MAX_WORD_SEG));

  11.   return map;

  12.   }

  13.   private String segText(String text, Seg seg) {

  14.   StringBuilder result = new StringBuilder();

  15.   MMSeg mmSeg = new MMSeg(new StringReader(text), seg);

  16.   try {

  17.   Word word = null;

  18.   while((word=mmSeg.next())!=null) {

  19.   result.append(word.getString()).append(" ");

  20.   }

  21.   } catch (IOException ex) {

  22.   throw new RuntimeException(ex);

  23.   }

  24.   return result.toString();

  25.   }
复制代码


  8、IKAnalyzer分词器

  1.   @Override

  2.   public Map segMore(String text) {

  3.   Map map = new HashMap<>();

  4.   map.put("智能切分", segText(text, true));

  5.   map.put("细粒度切分", segText(text, false));

  6.   return map;

  7.   }

  8.   private String segText(String text, boolean useSmart) {

  9.   StringBuilder result = new StringBuilder();

  10.   IKSegmenter ik = new IKSegmenter(new StringReader(text), useSmart);

  11.   try {

  12.   Lexeme word = null;

  13.   while((word=ik.next())!=null) {

  14.   result.append(word.getLexemeText()).append(" ");

  15.   }

  16.   } catch (IOException ex) {

  17.   throw new RuntimeException(ex);

  18.   }

  19.   return result.toString();

  20.   }
复制代码


  9、Paoding分词器

  1.   private static final PaodingAnalyzer ANALYZER = new PaodingAnalyzer();

  2.   @Override

  3.   public Map segMore(String text) {

  4.   Map map = new HashMap<>();

  5.   map.put("MOST_WORDS_MODE", seg(text, PaodingAnalyzer.MOST_WORDS_MODE));

  6.   map.put("MAX_WORD_LENGTH_MODE", seg(text, PaodingAnalyzer.MAX_WORD_LENGTH_MODE));

  7.   return map;

  8.   }

  9.   private static String seg(String text, int mode){

  10.   ANALYZER.setMode(mode);

  11.   StringBuilder result = new StringBuilder();

  12.   try {

  13.   Token reusableToken = new Token();

  14.   TokenStream stream = ANALYZER.tokenStream("", new StringReader(text));

  15.   Token token = null;

  16.   while((token = stream.next(reusableToken)) != null){

  17.   result.append(token.term()).append(" ");

  18.   }

  19.   } catch (Exception ex) {

  20.   throw new RuntimeException(ex);

  21.   }

  22.   return result.toString();

  23.   }
复制代码


  10、smartcn分词器

  1.   private static final SmartChineseAnalyzer SMART_CHINESE_ANALYZER = new SmartChineseAnalyzer();

  2.   @Override

  3.   public Map segMore(String text) {

  4.   Map map = new HashMap<>();

  5.   map.put("smartcn", segText(text));

  6.   return map;

  7.   }

  8.   private static String segText(String text) {

  9.   StringBuilder result = new StringBuilder();

  10.   try {

  11.   TokenStream tokenStream = SMART_CHINESE_ANALYZER.tokenStream("text", new StringReader(text));

  12.   tokenStream.reset();

  13.   while (tokenStream.incrementToken()){

  14.   CharTermAttribute charTermAttribute = tokenStream.getAttribute(CharTermAttribute.class);

  15.   result.append(charTermAttribute.toString()).append(" ");

  16.   }

  17.   tokenStream.close();

  18.   }catch (Exception e){

  19.   e.printStackTrace();

  20.   }

  21.   return result.toString();

  22.   }
复制代码


  11、HanLP分词器

  1.   private static final Segment N_SHORT_SEGMENT = new NShortSegment().enableCustomDictionary(false).enablePlaceRecognize(true).enableOrganizationRecognize(true);

  2.   private static final Segment DIJKSTRA_SEGMENT = new DijkstraSegment().enableCustomDictionary(false).enablePlaceRecognize(true).enableOrganizationRecognize(true);

  3.   @Override

  4.   public Map segMore(String text) {

  5.   Map map = new HashMap<>();

  6.   map.put("标准分词", standard(text));

  7.   map.put("NLP分词", nlp(text));

  8.   map.put("索引分词", index(text));

  9.   map.put("N-最短路径分词", nShort(text));

  10.   map.put("最短路径分词", shortest(text));

  11.   map.put("极速词典分词", speed(text));

  12.   return map;

  13.   }

  14.   private static String standard(String text) {

  15.   StringBuilder result = new StringBuilder();

  16.   StandardTokenizer.segment(text).forEach(term->result.append(term.word).append(" "));

  17.   return result.toString();

  18.   }

  19.   private static String nlp(String text) {

  20.   StringBuilder result = new StringBuilder();

  21.   NLPTokenizer.segment(text).forEach(term->result.append(term.word).append(" "));

  22.   return result.toString();

  23.   }

  24.   private static String index(String text) {

  25.   StringBuilder result = new StringBuilder();

  26.   IndexTokenizer.segment(text).forEach(term->result.append(term.word).append(" "));

  27.   return result.toString();

  28.   }

  29.   private static String speed(String text) {

  30.   StringBuilder result = new StringBuilder();

  31.   SpeedTokenizer.segment(text).forEach(term->result.append(term.word).append(" "));

  32.   return result.toString();

  33.   }

  34.   private static String nShort(String text) {

  35.   StringBuilder result = new StringBuilder();

  36.   N_SHORT_SEGMENT.seg(text).forEach(term->result.append(term.word).append(" "));

  37.   return result.toString();

  38.   }

  39.   private static String shortest(String text) {

  40.   StringBuilder result = new StringBuilder();

  41.   DIJKSTRA_SEGMENT.seg(text).forEach(term->result.append(term.word).append(" "));

  42.   return result.toString();

  43.   }
复制代码


  现在我们已经实现了本文的第一个目的:学会使用11大Java开源中文分词器。

  最后我们来实现本文的第二个目的:对比分析11大Java开源中文分词器的分词效果,程序如下:

  1.   public static Map> contrast(String text){

  2.   Map> map = new LinkedHashMap<>();

  3.   map.put("word分词器", new WordEvaluation().seg(text));

  4.   map.put("Stanford分词器", new StanfordEvaluation().seg(text));

  5.   map.put("Ansj分词器", new AnsjEvaluation().seg(text));

  6.   map.put("HanLP分词器", new HanLPEvaluation().seg(text));

  7.   map.put("FudanNLP分词器", new FudanNLPEvaluation().seg(text));

  8.   map.put("Jieba分词器", new JiebaEvaluation().seg(text));

  9.   map.put("Jcseg分词器", new JcsegEvaluation().seg(text));

  10.   map.put("MMSeg4j分词器", new MMSeg4jEvaluation().seg(text));

  11.   map.put("IKAnalyzer分词器", new IKAnalyzerEvaluation().seg(text));

  12.   map.put("smartcn分词器", new SmartCNEvaluation().seg(text));

  13.   return map;

  14.   }

  15.   public static Map> contrastMore(String text){

  16.   Map> map = new LinkedHashMap<>();

  17.   map.put("word分词器", new WordEvaluation().segMore(text));

  18.   map.put("Stanford分词器", new StanfordEvaluation().segMore(text));

  19.   map.put("Ansj分词器", new AnsjEvaluation().segMore(text));

  20.   map.put("HanLP分词器", new HanLPEvaluation().segMore(text));

  21.   map.put("FudanNLP分词器", new FudanNLPEvaluation().segMore(text));

  22.   map.put("Jieba分词器", new JiebaEvaluation().segMore(text));

  23.   map.put("Jcseg分词器", new JcsegEvaluation().segMore(text));

  24.   map.put("MMSeg4j分词器", new MMSeg4jEvaluation().segMore(text));

  25.   map.put("IKAnalyzer分词器", new IKAnalyzerEvaluation().segMore(text));

  26.   map.put("smartcn分词器", new SmartCNEvaluation().segMore(text));

  27.   return map;

  28.   }

  29.   public static void show(Map> map){

  30.   map.keySet().forEach(k -> {

  31.   System.out.println(k + " 的分词结果:");

  32.   AtomicInteger i = new AtomicInteger();

  33.   map.get(k).forEach(v -> {

  34.   System.out.println("\t" + i.incrementAndGet() + " 、" + v);

  35.   });

  36.   });

  37.   }

  38.   public static void showMore(Map> map){

  39.   map.keySet().forEach(k->{

  40.   System.out.println(k + " 的分词结果:");

  41.   AtomicInteger i = new AtomicInteger();

  42.   map.get(k).keySet().forEach(a -> {

  43.   System.out.println("\t" + i.incrementAndGet()+ " 、【" + a + "】\t" + map.get(k).get(a));

  44.   });

  45.   });

  46.   }

  47.   public static void main(String[] args) {

  48.   show(contrast("我爱楚离陌"));

  49.   showMore(contrastMore("我爱楚离陌"));

  50.   }
复制代码


  运行结果如下:

  1.   ********************************************

  2.   word分词器 的分词结果:

  3.   1 、我 爱 楚离陌

  4.   Stanford分词器 的分词结果:

  5.   1 、我 爱 楚 离陌

  6.   2 、我 爱 楚离陌

  7.   Ansj分词器 的分词结果:

  8.   1 、我 爱 楚离 陌

  9.   2 、我 爱 楚 离 陌

  10.   HanLP分词器 的分词结果:

  11.   1 、我 爱 楚 离 陌

  12.   smartcn分词器 的分词结果:

  13.   1 、我 爱 楚 离 陌

  14.   FudanNLP分词器 的分词结果:

  15.   1 、我 爱楚离陌

  16.   Jieba分词器 的分词结果:

  17.   1 、我爱楚 离 陌

  18.   Jcseg分词器 的分词结果:

  19.   1 、我 爱 楚 离 陌

  20.   MMSeg4j分词器 的分词结果:

  21.   1 、我爱 楚 离 陌

  22.   IKAnalyzer分词器 的分词结果:

  23.   1 、我 爱 楚 离 陌

  24.   ********************************************
复制代码

  1.    ********************************************

  2.   word分词器 的分词结果:

  3.   1 、【全切分算法】 我 爱 楚离陌

  4.   2 、【双向最大最小匹配算法】 我 爱 楚离陌

  5.   3 、【正向最大匹配算法】 我 爱 楚离陌

  6.   4 、【双向最大匹配算法】 我 爱 楚离陌

  7.   5 、【逆向最大匹配算法】 我 爱 楚离陌

  8.   6 、【正向最小匹配算法】 我 爱 楚离陌

  9.   7 、【双向最小匹配算法】 我 爱 楚离陌

  10.   8 、【逆向最小匹配算法】 我 爱 楚离陌

  11.   Stanford分词器 的分词结果:

  12.   1 、【Stanford Chinese Treebank segmentation】 我 爱 楚离陌

  13.   2 、【Stanford Beijing University segmentation】 我 爱 楚 离陌

  14.   Ansj分词器 的分词结果:

  15.   1 、【BaseAnalysis】 我 爱 楚 离 陌

  16.   2 、【IndexAnalysis】 我 爱 楚 离 陌

  17.   3 、【ToAnalysis】 我 爱 楚 离 陌

  18.   4 、【NlpAnalysis】 我 爱 楚离 陌

  19.   HanLP分词器 的分词结果:

  20.   1 、【NLP分词】 我 爱 楚 离 陌

  21.   2 、【标准分词】 我 爱 楚 离 陌

  22.   3 、【N-最短路径分词】 我 爱 楚 离 陌

  23.   4 、【索引分词】 我 爱 楚 离 陌

  24.   5 、【最短路径分词】 我 爱 楚 离 陌

  25.   6 、【极速词典分词】 我 爱 楚 离 陌

  26.   smartcn分词器 的分词结果:

  27.   1 、【smartcn】 我 爱 楚 离 陌

  28.   FudanNLP分词器 的分词结果:

  29.   1 、【FudanNLP】 我 爱楚离陌

  30.   Jieba分词器 的分词结果:

  31.   1 、【SEARCH】 我爱楚 离 陌

  32.   2 、【INDEX】 我爱楚 离 陌

  33.   Jcseg分词器 的分词结果:

  34.   1 、【简易模式】 我 爱 楚 离 陌

  35.   2 、【复杂模式】 我 爱 楚 离 陌

  36.   MMSeg4j分词器 的分词结果:

  37.   1 、【SimpleSeg】 我爱 楚 离 陌

  38.   2 、【ComplexSeg】 我爱 楚 离 陌

  39.   3 、【MaxWordSeg】 我爱 楚 离 陌

  40.   IKAnalyzer分词器 的分词结果:

  41.   1 、【智能切分】 我 爱 楚 离 陌

  42.   2 、【细粒度切分】 我 爱 楚 离 陌

  43.   ********************************************
复制代码


  完整代码看这里

原文作者:佚名  来源:开发者头条

相关帖子

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关于我们
联系我们
  • 电话:010-86393388
  • 邮件:udn@yonyou.com
  • 地址:北京市海淀区北清路68号
移动客户端下载
关注我们
  • 微信公众号:yonyouudn
  • 扫描右侧二维码关注我们
  • 专注企业互联网的技术社区
版权所有:用友网络科技股份有限公司82041 京ICP备05007539号-11 京公网网备安1101080209224 Powered by Discuz!
快速回复 返回列表 返回顶部