自然言語処理チュートリアル: NLP とは何ですか? 例

自然言語処理とは何ですか？

自然言語処理（NLP） は、コンピューターが英語やヒンディー語などの人間の言語を理解、解釈、操作し、意味を分析および導き出すのに役立つ AI の分野です。NLP は、開発者が知識を整理および構造化して、翻訳、要約、固有表現認識、関係抽出、音声認識、トピックのセグメンテーションなどのタスクを実行するのに役立ちます。

NLPの歴史

ここでは、自然言語処理の歴史における重要な出来事を紹介します。

1950- NLP は、アラン チューリングが「機械と知能」という記事を発表したときに始まりました。

1950- ロシア語と英語間の翻訳を自動化する試み

1960- 形式言語理論と生成構文に関するチョムスキーらの研究

1990- 確率的でデータ駆動型のモデルがかなり標準的になっていた

2000- 大量の音声データとテキストデータが利用可能になる

次に、この NLP チュートリアルでは、NLP がどのように機能するかを学びます。

NLPはどのように機能するのでしょうか?

NLP がどのように機能するかを学ぶ前に、人間がどのように言語を使用するかを理解しましょう。

私たちは毎日何千もの言葉を発し、他の人はそれを解釈して数え切れないほどのことをします。 私たちはそれを単純なコミュニケーションだと考えていますが、言葉はそれよりもはるかに奥深いものであることを誰もが知っています。 私たちが言うことや、それをどのように言うかから導き出される何らかのコンテキストが常にあります。、NLP で Artificial Intelligence 音声の変調には決して焦点を当てません。 それは文脈上のパターンを利用します。

例：

Man is to woman as king is to __________?
Meaning (king) – meaning (man) + meaning ( woman)=?
The answer is-  queen

ここでは、男性は男性の性別であり、女性は女性の性別であるため、簡単に関連付けることができます。 同様に、国王は男性の性別であり、女性の性別は女王です。

例：

Is King to kings as the queen is to_______?
The answer is--- queens 

ここには、king と kings という XNUMX つの単語があり、一方は単数、もう一方は複数です。 したがって、世界の女王が来ると、自動的に再び単数複数の女王と関連付けられます。

ここで最大の問題は、言葉の意味をどうやって知ることができるのかということです。 さあ、誰がそれを女王と呼ぶでしょうか？

答えは、私たちが経験を通じてこの思考を学ぶということです。 しかし、ここでの主な疑問は、コンピューターがどのようにして同じことを認識するのかということです。

機械が経験を通じて学習するためには十分なデータを提供する必要があります。次のような詳細を入力できます。

• 女王陛下。
• 国賓訪問中の女王の演説
• エリザベス女王の王冠
• 女王の母
• 女王様は寛大です。

上記の例では、マシンはエンティティ Queen を理解します。

マシンは以下のように単語ベクトルを作成します。 単語ベクトルは周囲の単語を使用して構築されます。

マシンがこれらのベクトルを作成します

• 複数のデータセットから学習するため
• 機械学習（ディープラーニングアルゴリズムなど）を使用する
• 単語ベクトルは周囲の単語を使用して構築されます。

式は次のとおりです。

意味（王）－意味（男）＋意味（女）＝？

これは、単語ベクトルに対して単純な代数演算を実行することに相当します。

ベクトル (王) – ベクトル (男性) + ベクトル (女性) = ベクトル(?)

それに機械は女王様と答えます。

次に、この自然言語処理チュートリアルでは、NLP のコンポーネントについて学びます。

NLP の構成要素

AI における自然言語処理の XNUMX つの主なコンポーネントは次のとおりです。

• 形態素および語彙解析
• 構文解析
• セマンティック分析
• 談話の統合
• 実践的な分析

形態素および語彙解析

字句解析は、単語と表現を含む語彙です。 単語の構造の分析、識別、説明を示します。 テキストを段落、単語、文に分割することが含まれます。

個々の単語はその構成要素に分析され、句読点などの非単語トークンが単語から分離されます。

セマンティック分析

意味分析は、意味を割り当てる構文アナライザーによって作成される構造です。 このコンポーネントは、単語の線形シーケンスを構造に変換します。 単語が互いにどのように関連付けられているかを示します。

セマンティクスは、単語、フレーズ、文章の文字通りの意味のみに焦点を当てます。 これは、与えられたコンテキストから辞書の意味または実際の意味を抽象化するだけです。 構文アナライザーによって割り当てられた構造には、常に割り当てられた意味があります。

例えば。 「無色の緑のアイデア」 これはシマンテックの分析では無色として拒否されるでしょう。 緑は意味がありません。

実践的な分析

語用論的分析は、全体的なコミュニケーションおよび社会的内容と、それが解釈に及ぼす影響を扱います。 それは、状況における言語の意味のある使用を抽象化または導き出すことを意味します。 この分析では、常に、言われたことの意味を再解釈することに主な焦点が当てられます。

実用的な分析は、協力的な対話を特徴付ける一連のルールを適用することで、ユーザーがこの意図された効果を発見するのに役立ちます。

例：「窓を閉めますか？」 命令ではなく要求として解釈する必要があります。

構文解析

単語は構文の最小単位であると一般に受け入れられています。 構文とは、個々の言語の文構造を管理する原則と規則を指します。

構文は、意味に影響を与える可能性のある単語の適切な順序に焦点を当てています。これには、文の文法構造に従って文中の単語を分析することが含まれます。単語は構造に変換され、単語が互いにどのように関連しているかを示します。

談話の統合

それは文脈の意味を意味します。その文に依存する単一の文の意味。また、次の文の意味も考慮します。

たとえば、「彼はそれが欲しかった」という文の中の「あれ」という単語は、前の談話の文脈に依存します。

次に、この NLP チュートリアルでは、NLP とライティング システムについて学びます。

NLP とライティング システム

言語に使用される書記体系の種類は、テキストの前処理に最適なアプローチを決定する際の決定要因の XNUMX つです。 書き込みシステムは次のとおりです。

1. 表語: 多数の個別の記号が単語を表します。 例 日本語、中国語
2. 音節: 個々の記号は音節を表します
3. アルファベット: 個々の記号は音を表します

ほとんどの書記体系では、音節体系またはアルファベット体系が使用されます。 ローマ字に基づく比較的単純な表記体系を持つ英語でも、アラビア数字、通貨記号 (S、£)、その他の特殊記号を含む表語記号が使用されています。

このポーズは次のような課題に直面する

• テキストから意味（セマンティクス）を抽出するのは困難です
• AI の NLP はコーパスの品質に依存します。 ドメインが広大な場合、コンテキストを理解するのは困難です。
• 文字セットと言語に依存します

NLP の実装方法

以下に、自然学習プロセスに使用される一般的な方法を示します。

機械学習： 機械学習中に使用される学習 nlp プロシージャ。 最も一般的なケースに自動的に焦点を当てます。 そのため、手作業でルールを作成すると、人的エラーを考慮すると、まったく正しくないことがよくあります。

統計的推論: NLP は統計的推論アルゴリズムを利用できます。これにより、誰もが知っている単語や構造を含む堅牢なモデルを作成できます。

NLP の例

現在、自然プロセス学習技術は広く使用されている技術です。

一般的な自然言語処理手法を次に示します。

情報検索とWeb検索

Google、Yahoo、Bing、その他 検索エンジン 彼らの機械翻訳技術は、NLP ディープラーニング モデルに基づいています。これにより、アルゴリズムが Web ページ上のテキストを読み取り、その意味を解釈して別の言語に翻訳できるようになります。

文法修正:

NLP テクニックは、MS-word などのワード プロセッサ ソフトウェアでスペル修正や文法チェックに広く使用されています。

質問応答

キーワードを入力して自然言語で質問します。

テキストの要約

情報源から重要な情報を要約して短縮版を作成するプロセス

機械翻訳

コンピュータ アプリケーションを使用して、テキストまたは音声をある自然言語から別の自然言語に翻訳します。

感情分析

NLP は、企業が製品に関する多数のレビューを分析するのに役立ちます。 また、顧客が特定の製品についてレビューを投稿できるようになります。

NLP の将来

• 人間が理解できる自然言語処理は、AI の最大の課題です。これは、中心的な人工知能の問題を解決し、コンピューターを人間と同じくらいインテリジェントにすることとほぼ同じです。
• NLP の助けを借りた将来のコンピューターまたは機械は、オンラインの情報から学習し、それを現実世界に適用できるようになりますが、この点に関しては多くの作業が必要です。
• 自然言語ツールキットまたは nltk がより効果的になる
• 自然言語生成と組み合わせると、コンピューターは、有用でリソースに富んだ情報やデータを送受信できるようになります。

自然言語とコンピューター言語

自然言語とコンピュータ言語の主な違いは以下のとおりです。

	自然言語	コンピュータ言語
あいまいな	それらは本質的に曖昧です。	それらは明確になるように設計されています。
冗長化	自然言語では多くの冗長性が採用されています。	形式言語は冗長性が低くなります。
文字性	自然言語はイディオムと比喩でできている	形式言語は言いたいことを正確に意味します

NLP の利点

• ユーザーはあらゆるテーマについて質問でき、数秒以内に直接回答が得られます。
• NLP システムは自然言語で質問に答えます
• NLP システムは質問に対する正確な回答を提供し、不必要な情報や望ましくない情報は提供しません。
• 質問に含まれる関連情報の量が多いほど、回答の正確性は高まります。
• NLP プロセスは、コンピューターがその言語で人間とコミュニケーションし、他の言語関連タスクを拡張できるようにします。
• 疲労を感じることなく、偏りのない一貫した方法で、人間とより多くの言語ベースのデータの比較を実行できます。
• 高度に非構造化されたデータソースの構造化

NLPのデメリット

• 複雑なクエリ言語 - 言葉遣いが不適切であったり曖昧であったりする質問に対しては、システムが正しい回答を提供できない場合があります。
• このシステムは、単一の特定のタスク専用に構築されています。 機能が限られているため、新しい領域や問題に適応できません。
• NLP システムにはユーザー インターフェイスがなく、ユーザーがシステムとさらに対話できる機能がありません。

製品概要

• 自然言語処理は、コンピューターによる人間の言語の理解、解釈、操作を支援する AI の分野です。
• NLP は、アラン チューリングが「機械と知能」という記事を発表したときに始まりました。
• NLP は決して音声変調に焦点を当てません。 文脈上のパターンを利用します
• 人工知能における自然言語処理の 1 つの必須コンポーネントは、2) 形態素解析および語彙解析、3) 構文解析、4) 意味解析、5) 談話統合、XNUMX) 語用論的解析です。
• Natural プロセスの書き込みシステムには 1) 表語文字、2) 音節文字、3) アルファベット文字の XNUMX つのタイプがあります。
• 機械学習と統計的推論は、自然プロセス学習を実装する XNUMX つの方法です
• NLP の基本的なアプリケーションは、情報検索と Web 検索、文法修正、質問応答、テキスト要約、機械翻訳などです。
• NLP の助けを借りた将来のコンピューターまたは機械 データサイエンス オンラインの情報から学び、それを現実世界に適用することはできますが、この点に関しては多くの作業が必要です
• NLP は曖昧ですが、オープンソースのコンピューター言語は曖昧さをなくすように設計されています。
• 人工知能システムにおける NLP の最大の利点は、質問に対する正確な回答が提供され、不要な情報や不要な情報が提供されないことです。
• NLP システムの最大の欠点は、単一の特定のタスク専用に構築されているため、機能が制限されているために新しい領域や問題に適応できないことです。