Урок за обработка на естествен език: Какво е НЛП? Примери

Какво представлява обработката на естествен език?

Обработка на естествен език (NLP) е клон на AI, който помага на компютрите да разбират, интерпретират и манипулират човешки езици като английски или хинди, за да анализират и извличат тяхното значение. НЛП помага на разработчиците да организират и структурират знания, за да изпълняват задачи като превод, обобщение, разпознаване на именувани обекти, извличане на взаимоотношения, разпознаване на реч, сегментиране на теми и др.

История на НЛП

Ето важни събития в историята на обработката на естествен език:

1950- НЛП започва, когато Алън Тюринг публикува статия, наречена „Машина и интелект“.

1950- Опит за автоматизиран превод между руски и английски

1960- Работата на Чомски и други върху теорията на формалния език и генеративния синтаксис

1990- Вероятностните и управляваните от данни модели бяха станали доста стандартни

2000- Става достъпно голямо количество устни и текстови данни

След това в този НЛП урок ще научим как работи НЛП.

Как работи НЛП?

Преди да научим как работи НЛП, нека разберем как хората използват езика-

Всеки ден казваме хиляди думи, които други хора тълкуват като извършване на безброй неща. Ние го смятаме за обикновена комуникация, но всички знаем, че думите са много по-дълбоки от това. Винаги има някакъв контекст, който извличаме от това, което казваме и как го казваме., НЛП в Изкуствен интелект никога не се фокусира върху гласовата модулация; той се основава на контекстуални модели.

Пример:

Man is to woman as king is to __________?
Meaning (king) – meaning (man) + meaning ( woman)=?
The answer is-  queen

Тук можем лесно да се свържем заедно, защото мъжът е мъжки пол, а жената е женски пол. По същия начин царят е мъжки род, а женският му род е кралица.

Пример:

Is King to kings as the queen is to_______?
The answer is--- queens 

Тук можем да видим две думи крале и царе, където едната е в единствено число, а другата е в множествено число. Следователно, когато световната кралица дойде, тя автоматично се свързва с кралици отново единствено число, множествено число.

Тук най-големият въпрос е как да знаем какво означават думите? Нека да кажем кой ще го нарече кралица?

Отговорът е, че научаваме това чрез опит. Тук обаче основният въпрос е как компютърът знае за същото?

Трябва да предоставим достатъчно данни, за да могат машините да се учат чрез опит. Можем да захранваме подробности като

• Нейно величество кралицата.
• Речта на кралицата по време на държавното посещение
• Короната на кралица Елизабет
• Майката на кралиците
• Кралицата е щедра.

С горните примери машината разбира обекта Queen.

Машината създава вектори на думи, както е показано по-долу. Вектор на дума се изгражда с помощта на околните думи.

Машината създава тези вектори

• Тъй като се учи от множество набори от данни
• Използвайте машинно обучение (напр. алгоритми за дълбоко обучение)
• Вектор на дума се изгражда с помощта на околните думи.

Ето формулата:

Значение (цар) – значение (мъж) + значение (жена)=?

Това се равнява на извършване на прости алгебрични операции върху вектори на думи:

Вектор (крал) – вектор (мъж) + вектор (жена)= вектор(?)

На което машината отговаря кралица.

След това в този урок за обработка на естествен език ще научим за компонентите на НЛП.

Компоненти на НЛП

Пет основни компонента на обработката на естествен език в AI са:

• Морфологичен и лексикален анализ
• Синтактичен анализ
• Семантичен анализ
• Интеграция на дискурса
• Прагматичен анализ

Морфологичен и лексикален анализ

Лексикалният анализ е речник, който включва неговите думи и изрази. Изобразява анализиране, идентифициране и описание на структурата на думите. Включва разделяне на текст на абзаци, думи и изречения

Индивидуалните думи се анализират на техните компоненти, а несловните токени, като препинателни знаци, се отделят от думите.

Семантичен анализ

Семантичният анализ е структура, създадена от синтактичния анализатор, който присвоява значения. Този компонент прехвърля линейни последователности от думи в структури. Показва как думите са свързани една с друга.

Семантиката се фокусира само върху буквалното значение на думи, фрази и изречения. Това само абстрахира значението на речника или истинското значение от дадения контекст. Структурите, присвоени от синтактичния анализатор, винаги имат присвоено значение

напр. „безцветна зелена идея“. Това би било отхвърлено от анализа на Symantec като безцветно Тук; зеленото няма смисъл.

Прагматичен анализ

Прагматичният анализ се занимава с цялостното комуникативно и социално съдържание и неговия ефект върху интерпретацията. Това означава абстрахиране или извличане на смислената употреба на езика в ситуации. В този анализ основният фокус винаги е върху това, което е казано, и се претълкува върху това, което се има предвид.

Прагматичният анализ помага на потребителите да открият този очакван ефект чрез прилагане на набор от правила, които характеризират кооперативните диалози.

Например „затваряне на прозореца?“ трябва да се тълкува като молба, а не като заповед.

Синтактичен анализ

Думите обикновено се приемат като най-малките единици на синтаксиса. Синтаксисът се отнася до принципите и правилата, които управляват структурата на изреченията на всеки отделен език.

Синтаксисът се фокусира върху правилното подреждане на думите, което може да повлияе на тяхното значение. Това включва анализ на думите в изречение, като се следва граматичната структура на изречението. Думите се трансформират в структура, за да покажат как думата е свързана една с друга.

Интеграция на дискурса

Това означава усещане за контекста. Значението на всяко отделно изречение, което зависи от това изречение. Той също така взема предвид значението на следното изречение.

Например думата „това“ в изречението „Той искаше това“ зависи от предишния контекст на дискурса.

След това в този НЛП урок ще научим за НЛП и системите за писане.

НЛП и системи за писане

Видът система за писане, използвана за даден език, е един от решаващите фактори при определянето на най-добрия подход за предварителна обработка на текст. Системите за писане могат да бъдат

1. Логографски: голям брой отделни символи представляват думи. Пример японски, мандарин
2. Сричков: Отделните символи представляват срички
3. Азбучен: Индивидуалните символи представляват звук

По-голямата част от системите за писане използват сричкова или азбучна система. Дори английският, със своята сравнително проста писмена система, базирана на латинската азбука, използва логографски символи, които включват арабски цифри, валутни символи (S, £) и други специални символи.

Това поставя следните предизвикателства

• Извличането на смисъл (семантика) от текст е предизвикателство
• NLP в AI зависи от качеството на корпуса. Ако домейнът е обширен, е трудно да се разбере контекста.
• Има зависимост от набора от символи и езика

Как да прилагаме НЛП

По-долу са дадени популярни методи, използвани за естествен процес на учене:

Машинно обучение: Процедурите за обучение на nlp, използвани по време на машинното обучение. Той автоматично се фокусира върху най-честите случаи. Така че, когато пишем правила на ръка, често не е правилно, загрижени за човешки грешки.

Статистически извод: НЛП може да използва алгоритми за статистически изводи. Помага ви да произвеждате модели, които са здрави. напр. съдържащи думи или структури, които са известни на всички.

Примери за НЛП

Днес технологията за обучение по естествен процес е широко използвана технология.

Ето общи техники за обработка на естествен език:

Извличане на информация и търсене в мрежата

Google, Yahoo, Bing и други търсачки базират технологията си за машинен превод на НЛП модели за дълбоко обучение. Той позволява на алгоритмите да четат текст на уеб страница, да интерпретират значението му и да го превеждат на друг език.

Граматическа корекция:

НЛП техниката се използва широко от софтуер за текстообработка като MS-word за корекция на правописа и проверка на граматиката.

Отговор на въпрос

Въведете ключови думи, за да задавате въпроси на естествен език.

Резюмиране на текст

Процесът на обобщаване на важна информация от източник за създаване на съкратена версия

Машинен превод

Използване на компютърни приложения за превод на текст или реч от един естествен език на друг.

Анализ на настроението

НЛП помага на компаниите да анализират голям брой отзиви за даден продукт. Освен това позволява на техните клиенти да дадат отзив за конкретния продукт.

Бъдещето на НЛП

• Обработката на разбираем от човека естествен език е най-големият проблем на Ал. Всичко е почти същото като решаването на централния проблем с изкуствения интелект и правенето на компютрите интелигентни като хората.
• Бъдещите компютри или машини с помощта на НЛП ще могат да се учат от информацията онлайн и да я прилагат в реалния свят, но трябва да се работи много в това отношение.
• Инструментариумът за естествен език или nltk стават по-ефективни
• В комбинация с генерирането на естествен език, компютрите ще станат по-способни да получават и предоставят полезна и находчива информация или данни.

Естествен език срещу компютърен език

По-долу са основните разлики между естествения език и компютърния език:

Параметър	Естествен език	Компютърен език
двусмислен	Те са двусмислени по природа.	Те са проектирани да бъдат недвусмислени.
Съкращаване	Естествените езици използват много излишъци.	Официалните езици са по-малко излишни.
Буквалност	Естествените езици са съставени от идиоми и метафори	Официалните езици означават точно това, което искат да кажат

Предимства на НЛП

• Потребителите могат да задават въпроси по всяка тема и да получават директен отговор в рамките на секунди.
• НЛП системата дава отговори на въпросите на естествен език
• НЛП системата предлага точни отговори на въпросите, без излишна или нежелана информация
• Точността на отговорите нараства с количеството подходяща информация, предоставена във въпроса.
• NLP процесът помага на компютрите да общуват с хората на техния език и мащабира други задачи, свързани с езика
• Позволява ви да извършвате повече базирани на език данни в сравнение с човешко същество без умора и по безпристрастен и последователен начин.
• Структуриране на силно неструктуриран източник на данни

Недостатъци на НЛП

• Език за сложни заявки - системата може да не е в състояние да предостави правилния отговор на въпрос, който е лошо формулиран или двусмислен.
• Системата е изградена само за една и конкретна задача; не е в състояние да се адаптира към нови области и проблеми поради ограничените функции.
• НЛП системата няма потребителски интерфейс, който няма функции, които позволяват на потребителите да взаимодействат допълнително със системата

Oбобщение

• Обработката на естествен език е клон на AI, който помага на компютрите да разбират, интерпретират и манипулират човешкия език
• НЛП започва, когато Алън Тюринг публикува статия, наречена „Машина и интелект“.
• НЛП никога не се фокусира върху гласовата модулация; той се основава на контекстуални модели
• Пет основни компонента на обработката на естествения език в изкуствения интелект са 1) Морфологичен и лексикален анализ 2) Синтактичен анализ 3) Семантичен анализ 4) Интеграция на дискурса 5) Прагматичен анализ
• Три вида система за писане на естествения процес са 1) логографска 2) сричкова 3) азбучна
• Машинното обучение и статистическото заключение са два метода за внедряване на естествено процесно обучение
• Основните приложения на НЛП са извличане на информация и търсене в мрежата, отговаряне на въпроси с граматична корекция, обобщаване на текст, машинен превод и др.
• Бъдещите компютри или машини с помощта на НЛП и Science Data ще може да се учи от информацията онлайн и да прилага това в реалния свят, но трябва да се работи много в това отношение
• НЛП е двусмислен, докато компютърният език с отворен код е проектиран да бъде недвусмислен
• Най-голямото предимство на НЛП в системата за изкуствен интелект е, че предлага точни отговори на въпросите, без ненужна или нежелана информация
• Най-големият недостатък на НЛП системата е изграден само за една и конкретна задача, така че не може да се адаптира към нови области и проблеми поради ограничените функции