AI人工智能 自然語(yǔ)言處理

自然語(yǔ)言處理(NLP)是指使用諸如英語(yǔ)之類的自然語(yǔ)言與智能系統(tǒng)進(jìn)行通信的 AI 方法。

如果您希望智能系統(tǒng)(如機(jī)器人)按照您的指示執(zhí)行操作，希望聽(tīng)取基于對(duì)話的臨床專家系統(tǒng)的決策時(shí)，則需要處理自然語(yǔ)言。

NLP 領(lǐng)域涉及使計(jì)算機(jī)用人類使用的自然語(yǔ)言執(zhí)行有用的任務(wù)。 NLP 系統(tǒng)的輸入和輸出可以是 -

• 言語(yǔ)(說(shuō)話)
• 書面文字

NLP的組成部分

在本節(jié)中，我們將了解 NLP 的不同組件。 NLP 有兩個(gè)組件。 這些組件如下所述 -

1. 自然語(yǔ)言理解(NLU)

它涉及以下任務(wù) -

• 將給定的自然語(yǔ)言輸入映射為有用的表示。
• 分析語(yǔ)言的不同方面。

2. 自然語(yǔ)言生成(NLG)

它是從一些內(nèi)部表現(xiàn)形式以自然語(yǔ)言的形式產(chǎn)生有意義的短語(yǔ)和句子的過(guò)程。 它涉及 -

• 文字規(guī)劃 - 這包括從知識(shí)庫(kù)中檢索相關(guān)內(nèi)容。
• 句子規(guī)劃 - 這包括選擇所需的單詞，形成有意義的短語(yǔ)，設(shè)定句子的語(yǔ)氣。
• 文本實(shí)現(xiàn) - 這是將句子計(jì)劃映射到句子結(jié)構(gòu)。

NLU的難點(diǎn)

NLU的形式和結(jié)構(gòu)非常豐富， 然而，它是不明確的。 可能會(huì)有不同程度的模糊性 -

詞匯含糊不清 它處于一個(gè)非常原始的層面，如單詞級(jí)別。 例如，將單詞“board”視為名詞或動(dòng)詞？

語(yǔ)法級(jí)別歧義 一個(gè)句子可以用不同的方式解析。 例如，“他用紅色帽子舉起甲蟲(chóng)?！?- 他用帽子舉起甲蟲(chóng)，還是舉起了一頂帶有紅色帽子的甲蟲(chóng)？

參照歧義 參考使用代詞的東西。 例如，里馬去了高里。 她說(shuō)，“我累了?！?- 究竟是誰(shuí)累？

NLP 術(shù)語(yǔ)

現(xiàn)在讓我們看看 NLP 術(shù)語(yǔ)中的一些重要術(shù)語(yǔ)。

• 音韻 - 這是系統(tǒng)地組織聲音的研究。
• 形態(tài) - 這是建設(shè)從原始的有意義的單位的話的研究。
• 語(yǔ)素 - 它是語(yǔ)言中意義的原始單位。
• 語(yǔ)法 - 它是指安排單詞來(lái)表達(dá)一個(gè)句子。 它還涉及確定單詞在句子和短語(yǔ)中的結(jié)構(gòu)作用。
• 語(yǔ)義 - 它涉及單詞的含義以及如何將單詞組合成有意義的短語(yǔ)和句子。
• 語(yǔ)用學(xué) - 它處理在不同情況下使用和理解句子以及句子的解釋如何受到影響。
• 話語(yǔ) - 它處理前面的句子如何影響下一句話的解釋。
• 世界知識(shí) - 它包括關(guān)于世界的一般知識(shí)。

NLP 步驟

本節(jié)介紹 NLP 中的分析步驟。

詞匯分析 它涉及識(shí)別和分析單詞的結(jié)構(gòu)。 語(yǔ)言的詞匯表示語(yǔ)言中的單詞和短語(yǔ)的集合。 詞法分析將整個(gè) txt 塊分成段落，句子和單詞。

句法分析(解析) 它涉及分析句子中的單詞，語(yǔ)法和安排單詞的方式，以顯示單詞之間的關(guān)系?！癟he school goes to boy”等句子被英語(yǔ)句法分析器拒絕。

語(yǔ)義分析 它從文本中提取確切含義或字典含義。 文本被檢查是否有意義。 它通過(guò)映射任務(wù)域中的語(yǔ)法結(jié)構(gòu)和對(duì)象來(lái)完成。語(yǔ)義分析器忽視諸如“熱冰淇淋”之類的句子。

話語(yǔ)整合 任何句子的含義都取決于在它之前的句子的含義。 此外，它也帶來(lái)了緊接著的后續(xù)句子的含義。

語(yǔ)用分析 在此期間，所說(shuō)的重新解釋了它的實(shí)際意義。 它涉及推導(dǎo)需要真實(shí)世界知識(shí)的語(yǔ)言方面。