㈱日中韓辭典研究所（The CJK Dictionary Institute, Inc.）は日中韓各語に於ける漢字用法のあらゆる側面を網羅した包括的データベースの開発を行っており、現在、一般語彙・固有名詞・各種専門用語等、広範囲に亘る600万語以上の語彙データベースを保有しています。
日本語は４つの文字種を用いて表記され、世界で最も複雑な書記体系を持つ言語です。様々な異表記の存在によって、日本語の情報検索は極めて複雑且つ困難なものとなっています。例えば「取り扱い」と「当たり外れ」という語の異表記を示した下の表を御覧下さい。
|
| 異表記のタイプ | トリアツカイ | アタリハズレ |
| ｢標準｣表記 | 取り扱い | 当たり外れ |
| 送り仮名異表記 | 取扱い | 当り外れ |
| 送り仮名異表記 | | 当外れ |
| 漢字のみ | 取扱 | 当外 |
| 漢字を平仮名で代用 | とり扱い | 当たりはずれ |
| 漢字を平仮名で代用 | 取りあつかい | あたり外れ |
| 平仮名のみ | とりあつかい | あたりはずれ |
また、「きんのたまごをうむにわとり」の「標準」表記は「金の卵を産む鶏」でありましょうが、実際には「たまご」に４つ(卵、玉子、たまご、タマゴ)、「にわとり」に３つ(鶏、にわとり、ニワトリ)、「うむ」に２つ(産む、生む)の表記が存在し、「金の卵を生むニワトリ」「金の玉子を産む鶏」等、組み合わせによって20通り以上の異表記が生み出されるのです。これらの表記のゆれはウェブページで随所に見られ、情報検索に於てユーザが全ての異表記を発見することは不可能に近いと言えるでしょう。
CJKIの異表記データベース
日本語での情報検索、また情報技術分野一般に於て、優れた情報検索用ツールの重要性は益々高まっています。知的情報検索には高度な形態素解析ツールだけでなく、不規則な日本語の異表記を処理するために細かく設計された語彙データベースが必要です。
日中韓辭典研究所は、知的日中韓各語情報検索ツールの構築や、精度の高い分節処理技術を支える語彙資源の拡張に取り組んでいます。また、異表記グループのみならずグループ同士の関係を示す識別情報も備えた包括的な異表記データベースを、各種のソフトウェア及び情報検索システム開発者や研究機関に提供しています。下にデータの一部を紹介します。詳細な内容については、春遍雀來(ハルペン・ジャック)の論文「知的日本語検索の課題」を御参照下さい。
Table 1: アイビキ
| ID_Num | ID_Let | Lexeme | Type | POS | Reading |
|---|
| 0071000 | a | 合いびき | OS | NC | アイビキ |
|---|
| 0071000 | b | 合い挽き | OS | NC | アイビキ |
|---|
| 0071000 | c | 合い挽 | OS | NC | アイビキ |
|---|
| 0071000 | d | 合挽き | OS | NC | アイビキ |
|---|
| 0071000 | e | 合挽 | OS | NC | アイビキ |
|---|
| 0071000 | f | 合びき | OS | NC | アイビキ |
|---|
| | | | | | |
| 0072000 | a | 合い引き | OP | VN | アイビキ |
|---|
| 0072000 | b | 合引き | OP | VN | アイビキ |
|---|
| 0072000 | c | 合引 | OP | VN | アイビキ |
|---|
| 0072000 | d | 相引き | OP | VN | アイビキ |
|---|
| 0072000 | e | 相引 | OP | VN | アイビキ |
|---|
| | | | | | |
| 0073000 | a | 逢い引き | OP | VN | アイビキ |
|---|
| 0073000 | b | 逢引き | OP | VN | アイビキ |
|---|
| 0073000 | c | 逢引 | OP | VN | アイビキ |
|---|
| 0073000 | d | 媾曵き | OIP | VN | アイビキ |
|---|
| 0073000 | e | 媾曵 | OIP | VN | アイビキ |
|---|
| 0073000 | f | 媾曳き | OIP | VN | アイビキ |
|---|
| 0073000 | g | 媾曳 | OIP | VN | アイビキ |
|---|
Table 2: アキカン
| ID_Num | ID_Let | Lexeme | Type | POS | Reading |
|---|
| 0091000 | a | あき缶 | SI | NC | アキカン |
|---|
| 0091000 | b | あき罐 | SI | NC | アキカン |
|---|
| 0091000 | c | あきカン | S | NC | アキカン |
|---|
| 0091000 | d | 空きかん | S | NC | アキカン |
|---|
| 0091000 | e | 空き缶 | OSIP | NC | アキカン |
|---|
| 0091000 | f | 空き罐 | OSIP | NC | アキカン |
|---|
| 0091000 | g | 空き鑵 | OSP | NC | アキカン |
|---|
| 0091000 | h | 空きカン | S | NC | アキカン |
|---|
| 0091000 | i | 空缶 | OSIP | NC | アキカン |
|---|
| 0091000 | j | 空罐 | OSIP | NC | アキカン |
|---|
| 0091000 | k | 空鑵 | OSP | NC | アキカン |
|---|