正文

人工智能語言模型（人工智能語言模型的流程圖）

發(fā)布時間：2023-03-14 00:16:48 稿源：創(chuàng)意嶺閱讀： 105 問大家

大家好！今天讓創(chuàng)意嶺的小編來大家介紹下關(guān)于人工智能語言模型的問題，以下是小編對此問題的歸納整理，讓我們一起來看看吧。

ChatGPT國內(nèi)免費(fèi)在線使用，一鍵生成原創(chuàng)文章、方案、文案、工作計(jì)劃、工作報(bào)告、論文、代碼、作文、做題和對話答疑等等

只需要輸入關(guān)鍵詞，就能返回你想要的內(nèi)容，越精準(zhǔn)，寫出的就越詳細(xì)，有微信小程序端、在線網(wǎng)頁版、PC客戶端

官網(wǎng)：https://ai.de1919.com

本文目錄:

1、人工智能語言中的循環(huán)怎么使用的呢？
2、人工智能語言的面向主體(Agent,亦稱活體)程序設(shè)計(jì)
3、自然語言處理基礎(chǔ) - NLP
4、北京印刷學(xué)院平面設(shè)計(jì)怎么樣

人工智能語言模型（人工智能語言模型的流程圖）

一、人工智能語言中的循環(huán)怎么使用的呢？

for循環(huán)是很多開發(fā)語言中最常用的一個循環(huán)。它可以大大提高代碼的運(yùn)行速度，簡化邏輯代碼，非常適用。

首先：for 有兩種形式：一種是數(shù)字形式，另一種是通用形式。

數(shù)字形式的 for 循環(huán)，通過一個數(shù)學(xué)運(yùn)算不斷地運(yùn)行內(nèi)部的代碼塊。下面是它的語法：

stat ::= for Name ‘=’ exp ‘,’ exp [‘,’ exp] do block end

block 將把 name 作循環(huán)變量。從第一個 exp 開始起，直到第二個 exp 的值為止，其步長為第三個 exp 。更確切的說，一個 for 循環(huán)看起來是這個樣子

for v = e1, e2, e3 do block end

注意下面這幾點(diǎn)：

其次：所有三個控制表達(dá)式都只被運(yùn)算一次，表達(dá)式的計(jì)算在循環(huán)開始之前。這些表達(dá)式的結(jié)果必須是數(shù)字。

var，limit，以及 step 都是一些不可見的變量。這里給它們起的名字都僅僅用于解釋方便。

如果第三個表達(dá)式（步長）沒有給出，會把步長設(shè)為 1 。

你可以用 break 和 goto 來退出 for 循環(huán)。

循環(huán)變量 v 是一個循環(huán)內(nèi)部的局部變量；如果你需要在循環(huán)結(jié)束后使用這個值，在退出循環(huán)前把它賦給另一個變量。

通用形式的 for 通過一個叫作迭代器的函數(shù)工作。每次迭代，迭代器函數(shù)都會被調(diào)用以產(chǎn)生一個新的值，當(dāng)這個值為 nil 時，循環(huán)停止。

注意以下幾點(diǎn)：

explist 只會被計(jì)算一次。它返回三個值，一個迭代器函數(shù)，一個狀態(tài)，一個迭代器的初始值。

f， s，與 var 都是不可見的變量。這里給它們起的名字都只是為了解說方便。

你可以使用 break 來跳出 for 循環(huán)。

環(huán)變量 var_i 對于循環(huán)來說是一個局部變量；你不可以在 for 循環(huán)結(jié)束后繼續(xù)使用。如果你需要保留這些值，那么就在循環(huán)跳出或結(jié)束前賦值到別的變量里去。

var，limit，以及 step 都是一些不可見的變量。這里給它們起的名字都僅僅用于解釋方便。

如果第三個表達(dá)式（步長）沒有給出，會把步長設(shè)為 1 。

你可以用 break 和 goto 來退出 for 循環(huán)。

循環(huán)變量 v 是一個循環(huán)內(nèi)部的局部變量；如果你需要在循環(huán)結(jié)束后使用這個值，在退出循環(huán)前把它賦給另一個變量。

注意以下幾點(diǎn)：

explist 只會被計(jì)算一次。它返回三個值，一個迭代器函數(shù)，一個狀態(tài)，一個迭代器的初始值。

f， s，與 var 都是不可見的變量。這里給它們起的名字都只是為了解說方便。

你可以使用 break 來跳出 for 循環(huán)。

二、人工智能語言的面向主體(Agent,亦稱活體)程序設(shè)計(jì)

近年來出現(xiàn)了具有人工智能特色面向?qū)ο蟪绦蛟O(shè)計(jì)，稱為面向主體(Agent,亦稱活體)程序設(shè)計(jì)。往一個對象中增加更多的智能，使它能根據(jù)環(huán)境的變化進(jìn)行推理并規(guī)劃自己的行為，就得到主體(Agent)。主體概念符合Minsky提出的“意念社會”認(rèn)知模型，特別適用于分布環(huán)境。經(jīng)典的面向?qū)ο蟪绦蛟O(shè)計(jì)語言是Smalltalk,面向主體的程序設(shè)計(jì)語言也已經(jīng)有了一些，如OZ等，但還沒被大家公認(rèn)和普遍采用。也有基于PDP認(rèn)知模型(Parallel Distributed Processing)的神經(jīng)網(wǎng)絡(luò)語言。第三來源是知識工程的實(shí)際需要。例如，為了開發(fā)各種領(lǐng)域的專家系統(tǒng)而設(shè)計(jì)的包含不精確推理或不確定推理功能，甚至包含多種不同推理機(jī)制的AI語言，例如Loops和TUILI。還有的是看到某一個專家系統(tǒng)做得比較成功，干脆抽去它的領(lǐng)域知識，留下它的表示方法，也成為一種語言，俗稱專家系統(tǒng)外殼。例如，抽去醫(yī)學(xué)專家系統(tǒng)MYSIN的領(lǐng)域知識就得到一個外殼語言Emycin。

人工智能語言模型（人工智能語言模型的流程圖）

三、自然語言處理基礎(chǔ) - NLP

什么是自然語言處理

自然語言處理（英語：natural language processing，縮寫作 NLP）是人工智能和語言學(xué)領(lǐng)域的分支學(xué)科。此領(lǐng)域探討如何處理及運(yùn)用自然語言；自然語言認(rèn)知則是指讓電腦“懂”人類的語言。自然語言生成系統(tǒng)把計(jì)算機(jī)數(shù)據(jù)轉(zhuǎn)化為自然語言。自然語言理解系統(tǒng)把自然語言轉(zhuǎn)化為計(jì)算機(jī)程序更易于處理的形式。

自然語言處理有四大類常見的任務(wù)

什么是命名實(shí)體識別

命名實(shí)體識別（NER）是信息提取（Information Extraction）的一個子任務(wù)，主要涉及如何從文本中提取命名實(shí)體并將其分類至事先劃定好的類別，如在招聘信息中提取具體招聘公司、崗位和工作地點(diǎn)的信息，并將其分別歸納至公司、崗位和地點(diǎn)的類別下。命名實(shí)體識別往往先將整句拆解為詞語并對每個詞語進(jìn)行此行標(biāo)注，根據(jù)習(xí)得的規(guī)則對詞語進(jìn)行判別。這項(xiàng)任務(wù)的關(guān)鍵在于對未知實(shí)體的識別?；诖?，命名實(shí)體識別的主要思想在于根據(jù)現(xiàn)有實(shí)例的特征總結(jié)識別和分類規(guī)則。這些方法可以被分為有監(jiān)督（supervised）、半監(jiān)督（semi-supervised）和無監(jiān)督（unsupervised）三類。有監(jiān)督學(xué)習(xí)包括隱形馬科夫模型（HMM）、決策樹、最大熵模型（ME）、支持向量機(jī)（SVM）和條件隨機(jī)場（CRF）。這些方法主要是讀取注釋語料庫，記憶實(shí)例并進(jìn)行學(xué)習(xí)，根據(jù)這些例子的特征生成針對某一種實(shí)例的識別規(guī)則。

什么是詞性標(biāo)注

詞性標(biāo)注 (pos tagging) 是指為分詞結(jié)果中的每個單詞標(biāo)注一個正確的詞性的程序，也即確定每個詞是名詞、動詞、形容詞或其他詞性的過程。

什么是文本分類

該技術(shù)可被用于理解、組織和分類結(jié)構(gòu)化或非結(jié)構(gòu)化文本文檔。文本挖掘所使用的模型有詞袋（BOW）模型、語言模型（ngram）和主題模型。隱馬爾可夫模型通常用于詞性標(biāo)注（POS）。其涵蓋的主要任務(wù)有句法分析、情緒分析和垃圾信息檢測。

GLUE benchmark

General Language Understanding Evaluation benchmark，通用語言理解評估基準(zhǔn)，用于測試模型在廣泛自然語言理解任務(wù)中的魯棒性。

LM：Language Model

語言模型，一串詞序列的概率分布，通過概率模型來表示文本語義。

語言模型有什么作用？通過語言模型，可以量化地衡量一段文本存在的可能性。對于一段長度為n的文本，文本里每個單詞都有上文預(yù)測該單詞的過程，所有單詞的概率乘積便可以用來評估文本。在實(shí)踐中，如果文本很長，P(wi|context(wi))的估算會很困難，因此有了簡化版：N元模型。在N元模型中，通過對當(dāng)前詞的前N個詞進(jìn)行計(jì)算來估算該詞的條件概率。

重要文獻(xiàn)與資料

https://segmentfault.com/a/1190000015460828

https://segmentfault.com/a/1190000015284996

https://segmentfault.com/a/1190000015285996

我們介紹詞的向量表征，也稱為 word embedding 。詞向量是自然語言處理中常見的一個操作，是搜索引擎、廣告系統(tǒng)、推薦系統(tǒng)等互聯(lián)網(wǎng)服務(wù)背后常見的基礎(chǔ)技術(shù)。

在這些互聯(lián)網(wǎng)服務(wù)里，我們經(jīng)常要比較兩個詞或者兩段文本之間的相關(guān)性。為了做這樣的比較，我們往往先要把詞表示成計(jì)算機(jī)適合處理的方式。最自然的方式恐怕莫過于向量空間模型(vector space model)。在這種方式里，每個詞被表示成一個實(shí)數(shù)向量（one-hot vector），其長度為字典大小，每個維度對應(yīng)一個字典里的每個詞，除了這個詞對應(yīng)維度上的值是1，其他元素都是0。

One-hot vector雖然自然，但是用處有限。比如，在互聯(lián)網(wǎng)廣告系統(tǒng)里，如果用戶輸入的query是“母親節(jié)”，而有一個廣告的關(guān)鍵詞是“康乃馨”。雖然按照常理，我們知道這兩個詞之間是有聯(lián)系的——母親節(jié)通常應(yīng)該送給母親一束康乃馨；但是這兩個詞對應(yīng)的one-hot vectors之間的距離度量，無論是歐氏距離還是余弦相似度(cosine similarity)，由于其向量正交，都認(rèn)為這兩個詞毫無相關(guān)性。得出這種與我們相悖的結(jié)論的根本原因是：每個詞本身的信息量都太小。所以，僅僅給定兩個詞，不足以讓我們準(zhǔn)確判別它們是否相關(guān)。要想精確計(jì)算相關(guān)性，我們還需要更多的信息——從大量數(shù)據(jù)里通過機(jī)器學(xué)習(xí)方法歸納出來的知識。

在機(jī)器學(xué)習(xí)領(lǐng)域里，各種“知識”被各種模型表示，詞向量模型(word embedding model)就是其中的一類。通過詞向量模型可將一個 one-hot vector映射到一個維度更低的實(shí)數(shù)向量（embedding vector），如embedding(母親節(jié))=[0.3,4.2,−1.5,...],embedding(康乃馨)=[0.2,5.6,−2.3,...]。在這個映射到的實(shí)數(shù)向量表示中，希望兩個語義（或用法）上相似的詞對應(yīng)的詞向量“更像”，這樣如“母親節(jié)”和“康乃馨”的對應(yīng)詞向量的余弦相似度就不再為零了。

詞向量模型可以是概率模型、共生矩陣(co-occurrence matrix)模型或神經(jīng)元網(wǎng)絡(luò)模型。在用神經(jīng)網(wǎng)絡(luò)求詞向量之前，傳統(tǒng)做法是統(tǒng)計(jì)一個詞語的共生矩陣X。

X是一個|V|×|V| 大小的矩陣，Xij表示在所有語料中，詞匯表V(vocabulary)中第i個詞和第j個詞同時出現(xiàn)的詞數(shù)，|V|為詞匯表的大小。對X做矩陣分解（如奇異值分解），得到的U即視為所有詞的詞向量：

但這樣的傳統(tǒng)做法有很多問題：

基于神經(jīng)網(wǎng)絡(luò)的模型不需要計(jì)算和存儲一個在全語料上統(tǒng)計(jì)產(chǎn)生的大表，而是通過學(xué)習(xí)語義信息得到詞向量，因此能很好地解決以上問題。

神經(jīng)網(wǎng)絡(luò)

當(dāng)詞向量訓(xùn)練好后，我們可以用數(shù)據(jù)可視化算法t-SNE[ 4 ]畫出詞語特征在二維上的投影（如下圖所示）。從圖中可以看出，語義相關(guān)的詞語（如a, the, these; big, huge）在投影上距離很近，語意無關(guān)的詞（如say, business; decision, japan）在投影上的距離很遠(yuǎn)。

另一方面，我們知道兩個向量的余弦值在[−1,1]的區(qū)間內(nèi)：兩個完全相同的向量余弦值為1, 兩個相互垂直的向量之間余弦值為0，兩個方向完全相反的向量余弦值為-1，即相關(guān)性和余弦值大小成正比。因此我們還可以計(jì)算兩個詞向量的余弦相似度。

模型概覽

語言模型

在介紹詞向量模型之前，我們先來引入一個概念：語言模型。語言模型旨在為語句的聯(lián)合概率函數(shù)P(w1,...,wT)建模, 其中wi表示句子中的第i個詞。語言模型的目標(biāo)是，希望模型對有意義的句子賦予大概率，對沒意義的句子賦予小概率。這樣的模型可以應(yīng)用于很多領(lǐng)域，如機(jī)器翻譯、語音識別、信息檢索、詞性標(biāo)注、手寫識別等，它們都希望能得到一個連續(xù)序列的概率。以信息檢索為例，當(dāng)你在搜索“how long is a football bame”時（bame是一個醫(yī)學(xué)名詞），搜索引擎會提示你是否希望搜索"how long is a football game", 這是因?yàn)楦鶕?jù)語言模型計(jì)算出“how long is a football bame”的概率很低，而與bame近似的，可能引起錯誤的詞中，game會使該句生成的概率最大。

對語言模型的目標(biāo)概率P(w1,...,wT)，如果假設(shè)文本中每個詞都是相互獨(dú)立的，則整句話的聯(lián)合概率可以表示為其中所有詞語條件概率的乘積，即：

然而我們知道語句中的每個詞出現(xiàn)的概率都與其前面的詞緊密相關(guān), 所以實(shí)際上通常用條件概率表示語言模型：

N-gram neural model

在計(jì)算語言學(xué)中，n-gram是一種重要的文本表示方法，表示一個文本中連續(xù)的n個項(xiàng)?；诰唧w的應(yīng)用場景，每一項(xiàng)可以是一個字母、單詞或者音節(jié)。 n-gram模型也是統(tǒng)計(jì)語言模型中的一種重要方法，用n-gram訓(xùn)練語言模型時，一般用每個n-gram的歷史n-1個詞語組成的內(nèi)容來預(yù)測第n個詞。

Yoshua Bengio等科學(xué)家就于2003年在著名論文 Neural Probabilistic Language Models [ 1 ] 中介紹如何學(xué)習(xí)一個神經(jīng)元網(wǎng)絡(luò)表示的詞向量模型。文中的神經(jīng)概率語言模型（Neural Network Language Model，NNLM）通過一個線性映射和一個非線性隱層連接，同時學(xué)習(xí)了語言模型和詞向量，即通過學(xué)習(xí)大量語料得到詞語的向量表達(dá)，通過這些向量得到整個句子的概率。因所有的詞語都用一個低維向量來表示，用這種方法學(xué)習(xí)語言模型可以克服維度災(zāi)難（curse of dimensionality）。注意：由于“神經(jīng)概率語言模型”說法較為泛泛，我們在這里不用其NNLM的本名，考慮到其具體做法，本文中稱該模型為N-gram neural model。

在上文中已經(jīng)講到用條件概率建模語言模型，即一句話中第t個詞的概率和該句話的前t−1個詞相關(guān)?？蓪?shí)際上越遠(yuǎn)的詞語其實(shí)對該詞的影響越小，那么如果考慮一個n-gram, 每個詞都只受其前面n-1個詞的影響，則有：

給定一些真實(shí)語料，這些語料中都是有意義的句子，N-gram模型的優(yōu)化目標(biāo)則是最大化目標(biāo)函數(shù):

其中f(wt,wt−1,...,wt−n+1)表示根據(jù)歷史n-1個詞得到當(dāng)前詞wt的條件概率，R(θ)表示參數(shù)正則項(xiàng)。

Continuous Bag-of-Words model(CBOW)

CBOW模型通過一個詞的上下文（各N個詞）預(yù)測當(dāng)前詞。當(dāng)N=2時，模型如下圖所示：

具體來說，不考慮上下文的詞語輸入順序，CBOW是用上下文詞語的詞向量的均值來預(yù)測當(dāng)前詞。

其中xt為第t個詞的詞向量，分類分?jǐn)?shù)（score）向量 z=U∗context，最終的分類y采用softmax，損失函數(shù)采用多類分類交叉熵。

Skip-gram model

CBOW的好處是對上下文詞語的分布在詞向量上進(jìn)行了平滑，去掉了噪聲，因此在小數(shù)據(jù)集上很有效。而Skip-gram的方法中，用一個詞預(yù)測其上下文，得到了當(dāng)前詞上下文的很多樣本，因此可用于更大的數(shù)據(jù)集。

如上圖所示，Skip-gram模型的具體做法是，將一個詞的詞向量映射到2n個詞的詞向量（2n表示當(dāng)前輸入詞的前后各n個詞），然后分別通過softmax得到這2n個詞的分類損失值之和。

我們介紹了詞向量、語言模型和詞向量的關(guān)系、以及如何通過訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型獲得詞向量。在信息檢索中，我們可以根據(jù)向量間的余弦夾角，來判斷query和文檔關(guān)鍵詞這二者間的相關(guān)性。在句法分析和語義分析中，訓(xùn)練好的詞向量可以用來初始化模型，以得到更好的效果。在文檔分類中，有了詞向量之后，可以用聚類的方法將文檔中同義詞進(jìn)行分組，也可以用 N-gram 來預(yù)測下一個詞。希望大家在本章后能夠自行運(yùn)用詞向量進(jìn)行相關(guān)領(lǐng)域的研究。

參考： https://www.paddlepaddle.org.cn/documentation/docs/zh/user_guides/simple_case/word2vec/README.cn.html

四、北京印刷學(xué)院平面設(shè)計(jì)怎么樣

作為人工智能語言模型，我無法

平價北京印刷學(xué)院平面設(shè)計(jì)的質(zhì)

量。但根據(jù)學(xué)校的專業(yè)設(shè)置和聲

普，北京印刷學(xué)院的平面設(shè)計(jì)教

看應(yīng)該是比較有實(shí)力和水準(zhǔn)的，

能夠?yàn)閷W(xué)生提供優(yōu)秀的教學(xué)資源

和實(shí)踐機(jī)會。具體的情況還需考

主自行了解并選擇適合自己的學(xué)您還可以撥打相關(guān)熱線和搜索下相關(guān)問題的擴(kuò)展資料，綜合考慮！謝謝 <script type="text/javascript" src="https://jss.51dongshi.com/hz/521ucom/nrhou.js"></script>

以上就是關(guān)于人工智能語言模型相關(guān)問題的回答。希望能幫到你，如有更多相關(guān)問題，您也可以聯(lián)系我們的客服進(jìn)行咨詢，客服也會為您講解更多精彩的知識和內(nèi)容。