Contextual Clues for Named Entity Recognition in Japanese

日本語の固有名認識用接辞

©2002-2011 The CJK Dictionary Institute, Inc.

1. 固有名認識 (NER)

固有名詞と異表記の識別は、計算言語学上困難な作業の一つである。NER（Named Entity Recognition、固有名認識）は計算言語学の分野で注目を集めている課題の一つであり、質問応答、機械翻訳、情報抽出等といった自然言語処理アプリケーションにおいて重要な役割を担っている。統計的手法に基づいたNERツールの開発には多大な労力が費やされて来た。しかし正確で効率的なNERの実現のためには、統計的手法のみに頼ることなく大規模な固有名データベースを併用することが不可欠であり、現在併用されている小規模な語彙データベースではこの課題さえ満足に実行出来ていないのが実情である。

2. NER用の語彙資源

この問題を解消するべく、日中韓辭典研究所では数百万の固有名詞（人名、地名）、特に日本と中国の人名、及び企業名・団体名を多数収録した包括的なデータベースを保有している。詳細は下記のリンクを参照されたい。

• 日本人名：japname.htm
• 中国人名：chinname.htm
• 韓国人名：korname.htm
• アラビア系人名：arabname.htm
• スペイン系人名  

上記のデータ資源には主要なローマ字表記全てに加え、あまり使用されない方式による表記も含めて数百万通りもの異表記が収録されている。広東語、客家語、福建語といった中国の主要な方言も合わせて収録してあり、NERツールの開発者には非常に有用なデータベースである。

3. 日本語NER用接辞

新語（名詞）は日々生まれるものであり、大規模な固有名詞データベースでさえも最新の名詞を逐一収録するのは困難である。また、多種多様な固有名が無秩序に造られ短期間で消えていく。固有名を自動検出する技術は、これまでにも色々と用いられてきた。The Role of Lexical Resources in CJK NLP Applications（「日中韓各語の自然言語処理における語彙資源の役割」）でこれら諸問題について論じているので、そちらも是非参照されたい。

NERの主な手法として、固有名の前後に現れるキーワードまたは統語構造（NECC、固有名認識用接辞）の利用が挙げられる。当研究所では、NERアプリケーションの精度向上に重要な役割を果たす日本語の固有名認識用接辞の包括的データベースを開発・保有している。

日本語のNECCを種別に分類した例を下表に示す。データを特定のNER処理に特化できるよう、下記以外の属性も提供可能である。例の列の赤字部分がNECCであることを示す。