知って得するNLP

最高ランクのNLPの基礎技術でこれらの者が研究されている。・形態素解析：対象言語の文法の知識や辞書のを情報源として用い、自然言語で書かれた文を形態素の列に分割し、それぞれの品詞を判別する作業を指す。おおまかにいえば、文から切り出した単語が属する品詞を辞典を使って調べていき、結果得られた品詞の並びから文法的に正しい並びであるものを正解とする方法をとる。

・構文解析：ある文章の文法的な関係を説明すること。一般的に、プログラムにおける構文解析では、コンピュータ言語などの形式言語で記述された入力から、字句解析を通してトークン列を受け、取り構文木や抽象構文木のようなデータ構造を生成し、その後の処理に渡す。

・講義の曖昧性解消：文中のある単語に出会ったとき、その単語がその語義を表しているのかを判断する過程のこと。機械翻訳などのアプリケーションで非常に重要で、語義の曖昧性解消には単語の共起関係を使う手法が一般的である。・照応解析：照応詞の指示対象を推定したり、省略された名詞句を補完する処理のこと。照応は文と文との間にまたがった構造なので、談話解析の一種でもある。日本語では主語の省略が頻繁に起こるため、照応解析せずに機械翻訳すると意味がわからない文に翻訳されてしまう。また構文解析より精度が落ちる。

コンピュータを使う私たちになくてはならないNLPだとわかった。日本語の難しさをどこまで解析できるようになるのか。