openai百度百科（openpose百度百科）

大家好！今天讓創(chuàng)意嶺的小編來大家介紹下關(guān)于openai百度百科的問題，以下是小編對此問題的歸納整理，讓我們一起來看看吧。

開始之前先推薦一個非常厲害的Ai人工智能工具，一鍵生成原創(chuàng)文章、方案、文案、工作計劃、工作報告、論文、代碼、作文、做題和對話答疑等等

只需要輸入關(guān)鍵詞，就能返回你想要的內(nèi)容，越精準(zhǔn)，寫出的就越詳細(xì)，有微信小程序端、在線網(wǎng)頁版、PC客戶端

官網(wǎng)：https://ai.de1919.com

創(chuàng)意嶺作為行業(yè)內(nèi)優(yōu)秀企業(yè)，服務(wù)客戶遍布全國，代運營相關(guān)業(yè)務(wù)請撥打175-8598-2043，或微信：1454722008

本文目錄:

• 1、邊緣控制到哭是什么意思

• 2、電扳手鋰電池能飛機上帶嗎？

• 3、ai問答百科誰開發(fā)的

• 4、BERT - 論文解讀

一、邊緣控制到哭是什么意思

就是孤立一個人，把一個人邊緣孤獨到哭，通過孤立的方式讓這個人在精神上被蹂躪，可以看作是一種冷暴力，這種邊緣的行為可以是夫妻之間、情侶之間、朋友之間，甚至是校園的學(xué)生都會使用到。這種冷暴力不容易被他人察覺，而且即使被人知道也只能從道德層民進行譴責(zé)。

二、電扳手鋰電池能飛機上帶嗎？

電扳手鋰電池能飛機上帶嗎？可以，但是限量。

隨身電子裝備中的電池限帶兩個。根據(jù)民航對于電池的相關(guān)規(guī)定：不允許在托運行李中夾帶鋰電池，只可以隨身攜帶個人自用的內(nèi)含鋰或鋰離子電池芯或電池的消費用電子裝置。

對備用電池必須單個做好保護以防短路，并且僅能在手提行李中攜帶。備用電池每人限帶2個。

擴展資料：

飛機不允許托運鋰電池的原因：

鋰電池可能會存在自燃的危險情況。如果托運，在飛行過程中行李箱可能受到顛簸擠壓等外力影響，導(dǎo)致鋰電池受損起火。

飛機貨倉中的火災(zāi)難以及時發(fā)現(xiàn)和撲救，容易引發(fā)大事故。

參考資料：中國民用航空局--行李

編輯于 2019-08-06

查看全部4個回答

充電式?jīng)_擊扳手，上天貓電器城，新潮外觀，超高性價比!

天貓電器城-充電式?jīng)_擊扳手，爆款行貨熱賣，高性能超耐用，更多海量數(shù)碼好貨低至9.9起!

3c.tmall.com廣告

中國十大名牌電動工具，上天貓電器城，品類齊全，品質(zhì)之選!

根據(jù)文中提到的沖擊扳手為您推薦

天貓電器城-中國十大名牌電動工具，爆款行貨，新潮外觀，海量數(shù)碼好貨低至9.9起，現(xiàn)在下單更優(yōu)惠!

3c.tmall.com廣告

— 你看完啦，以下內(nèi)容更有趣 —

理工科專業(yè)包括什么學(xué)科 怎么分類

大學(xué)理工科專業(yè)有哪些 理工科專業(yè)分為理、工、農(nóng)、醫(yī)四個學(xué)科門類，各學(xué)科專業(yè)設(shè)置如下： 一、理學(xué) 1． 數(shù)學(xué)類 ：數(shù)學(xué)與應(yīng)用數(shù)學(xué)；信息與計算科學(xué) 2． 物理學(xué)類：物理學(xué)；應(yīng)用物理學(xué) 3．化學(xué)：化學(xué)；應(yīng)用化學(xué) 4． 生物科學(xué)類：生物科學(xué)；生物技術(shù) 5．天文學(xué)類：天文學(xué) 6． 地質(zhì)學(xué)類：地質(zhì)學(xué)；地球化學(xué) 7． 地理科學(xué)類：地理科學(xué)；資源環(huán)境與城鄉(xiāng)規(guī)劃管理；地理信息系統(tǒng) 8． 地球物理學(xué)類：地球物理學(xué) 9． 大氣科學(xué)類：海洋科學(xué)；應(yīng)用氣象學(xué) 10． 海洋科學(xué)類：海洋科學(xué)；海洋技術(shù) 11． 力學(xué)類：理論與應(yīng)用力學(xué) 12． 電子信息科學(xué)類：電子信息科學(xué)與技術(shù)；微電子學(xué)；光信息科學(xué)與技術(shù) 13． 材料科學(xué)類：材料物理；材料化學(xué) 14． 環(huán)境科學(xué)類：環(huán)境科學(xué)；生態(tài)學(xué) 15． 心理學(xué)類：心理學(xué)；應(yīng)用心理學(xué) 16． 統(tǒng)計學(xué)類：統(tǒng)計學(xué) 二、工學(xué) 1． 地礦類：采礦工程；石油工程；礦物加工工程；勘查技術(shù)與工程；資源勘查工程 2． 材料類：冶金工程；金屬材料工程；無機非金屬材料工程；高分子材料與工程 3． 機械類：機械設(shè)計制造及其自動化；材料成型及控制工程；工業(yè)設(shè)計；過程裝備與控制工程 4．儀器儀表類：測控技術(shù)與儀器 5． 能源動力類：核工程與核技術(shù) 6． 電氣信息類：電氣工程及其自動化；自動化；電子信息工程；通信工程；計算機科學(xué)與技術(shù)；生物醫(yī)學(xué)工程 7． 土建類：建筑學(xué)；城市規(guī)劃；土木工程；建筑環(huán)境與設(shè)備工程；給水排水工程 8． 水利類：水利水電工程；水文與水資源工程；港口航道與海岸工程 9． 測繪類：測繪工程 10． 環(huán)境與安全類：環(huán)境工程；安全工程 11． 化工與制藥類：化學(xué)工程與工藝；制藥工程 12． 交通運輸類：交通運輸；交通工程；油氣儲運工程；飛行技術(shù)；航海技術(shù)；輪機工程 13． 海洋工程類：船舶與海洋工程 14． 輕工紡織食品類：食品科學(xué)與工程；輕化工程；包裝工程；印刷工程；紡織工程；服裝設(shè)計與工程 15． 航空航天類：飛行器設(shè)計與工程；飛行器動力工程；飛行器制造工程；飛行器環(huán)境與生命保障工程 16． 武器類：武器系統(tǒng)與發(fā)射工程；探測制導(dǎo)與控制技術(shù)；彈藥工程與爆炸技術(shù)；特種能源工程與煙火技術(shù)；地面武器機動工程；信息對抗技術(shù) 17． 工程力學(xué)類：工程力學(xué) 18． 生物工程類：生物工程 19． 農(nóng)業(yè)工程類：農(nóng)業(yè)機械化及其自動化；農(nóng)業(yè)電氣化與自動化；農(nóng)業(yè)建筑環(huán)境與能源工程；農(nóng)業(yè)水利工程 20． 林業(yè)工程類：森林工程；木材科學(xué)與工程；林產(chǎn)化工 21． 公安技術(shù)類：刑事科學(xué)技術(shù)；消防工程 三、農(nóng)學(xué) 1． 植物生產(chǎn)類：農(nóng)學(xué)；園藝；植物保護；茶學(xué) 2． 草業(yè)科學(xué)類：草業(yè)科學(xué) 3． 森林資源類：林學(xué)；森林資源保護與游憩；野生動物與自然保護區(qū)管理 4． 環(huán)境生態(tài)類：園林；水土保持與荒漠化防治；農(nóng)業(yè)資源與環(huán)境 5． 動物生產(chǎn)類：動物科學(xué)：蠶學(xué) 6． 動物醫(yī)學(xué)類：動物醫(yī)學(xué) 7． 水產(chǎn)類：水產(chǎn)養(yǎng)殖學(xué)；海洋漁業(yè)科學(xué)與技術(shù) 四、醫(yī)學(xué) 1． 基礎(chǔ)醫(yī)學(xué)類：基礎(chǔ)醫(yī)學(xué) 2． 預(yù)防醫(yī)學(xué)類：預(yù)防醫(yī)學(xué) 3． 臨床醫(yī)學(xué)與醫(yī)學(xué)技術(shù)類：臨床醫(yī)學(xué)；麻醉學(xué)；醫(yī)學(xué)影像學(xué)；醫(yī)學(xué)檢驗 4． 口腔醫(yī)學(xué)類：口腔醫(yī)學(xué) 5． 中醫(yī)學(xué)類：中醫(yī)學(xué)；針灸推拿學(xué)；蒙醫(yī)學(xué)；藏醫(yī)學(xué) 6． 法醫(yī)學(xué)類：法醫(yī)學(xué) 7． 護理學(xué)類：護理學(xué) 8． 藥學(xué)類：藥學(xué)；中藥學(xué)；藥物制劑

282贊·56,134瀏覽2017-11-28

理工學(xué)科是什么

理工學(xué)科是指理學(xué)和工學(xué)兩大學(xué)科。理工，是一個廣大的領(lǐng)域包含物理、化學(xué)、生物、工程、天文、數(shù)學(xué)及前面六大類的各種運用與組合。 理學(xué) 理學(xué)是中國大學(xué)教育中重要的一支學(xué)科,是指研究自然物質(zhì)運動基本規(guī)律的科學(xué),大學(xué)理科畢業(yè)后通常即成為理學(xué)士。與文學(xué)、工學(xué)、教育學(xué)、歷史學(xué)等并列，組成了我國的高等教育學(xué)科體系。 理學(xué)研究的內(nèi)容廣泛，本科專業(yè)通常有：數(shù)學(xué)與應(yīng)用數(shù)學(xué)、信息與計算科學(xué)、物理學(xué)、應(yīng)用物理學(xué)、化學(xué)、應(yīng)用化學(xué)、生物科學(xué)、生物技術(shù)、天文學(xué)、地質(zhì)學(xué)、地球化學(xué)、地理科學(xué)、資源環(huán)境與城鄉(xiāng)規(guī)劃管理、地理信息系統(tǒng)、地球物理學(xué)、大氣科學(xué)、應(yīng)用氣象學(xué)、海洋科學(xué)、海洋技術(shù)、理論與應(yīng)用力學(xué)、光學(xué)、材料物理、材料化學(xué)、環(huán)境科學(xué)、生態(tài)學(xué)、心理學(xué)、應(yīng)用心理學(xué)、統(tǒng)計學(xué)等。 工學(xué) 工學(xué)是指工程學(xué)科的總稱。包含 儀器儀表 能源動力 電氣信息 交通運輸 海洋工程 輕工紡織 航空航天 力學(xué)生物工程 農(nóng)業(yè)工程 林業(yè)工程 公安技術(shù) 植物生產(chǎn) 地礦 材料 機械 食品 武器 土建 水利測繪 環(huán)境與安全 化工與制藥 等專業(yè)。

19贊·559瀏覽2016-08-29

理工類專業(yè)有哪些

理工類專業(yè)有： 1、地球化學(xué)：地球化學(xué)是研究地球的化學(xué)組成、化學(xué)作用和化學(xué)演化的科學(xué)，它是地質(zhì)學(xué)與化學(xué)、物理學(xué)相結(jié)合而產(chǎn)生和發(fā)展起來的邊緣學(xué)科。自20世紀(jì)70年代中期以來，地球化學(xué)和地質(zhì)學(xué)、地球物理學(xué)已成為固體地球科學(xué)的三大支柱。它的研究范圍也從地球擴展到月球和太陽系的其他天體。 2、資源環(huán)境與城鄉(xiāng)規(guī)劃管理：《資源環(huán)境與城鄉(xiāng)規(guī)劃管理》是一門綜合性學(xué)科，主要學(xué)習(xí)資源環(huán)境以及城鎮(zhèn)規(guī)劃，土地管理，環(huán)境檢測，以及地理地質(zhì)等相關(guān)類知識的邊緣學(xué)科。 3、地理信息系統(tǒng)：有時又稱為“地學(xué)信息系統(tǒng)”。它是一種特定的十分重要的空間信息系統(tǒng)。它是在計算機硬、軟件系統(tǒng)支持下，對整個或部分地球表層（包括大氣層）空間中的有關(guān)地理分布數(shù)據(jù)進行采集、儲存、管理、運算、分析、顯示和描述的技術(shù)系統(tǒng)。 4、材料物理：材料物理的特色方向在半導(dǎo)體物理，電子材料，微電子器件等領(lǐng)域，例如CPU。對學(xué)生的數(shù)學(xué)，物理基礎(chǔ)要求較高，著重培養(yǎng)學(xué)生發(fā)展新型電子材料和微電子器件工藝，分析與設(shè)計等方向的應(yīng)用能力和創(chuàng)新能力。 5、應(yīng)用氣象學(xué)：應(yīng)用氣象學(xué)是將氣象學(xué)的原理、方法和成果應(yīng)用于農(nóng)業(yè)、水文、航海、航空、軍事、醫(yī)療等方面，同各個專業(yè)學(xué)科相結(jié)合而形成的邊緣性學(xué)科。 參考資料：理工類專業(yè)-百度百科

23贊·65,370瀏覽2019-10-25

理工科專業(yè)包括什么學(xué)科 怎么分類

工程、天文、化學(xué)。訂閱 中國搬運站微信公眾號。理工事實上是自然、生物、和科技的統(tǒng)稱、數(shù)學(xué)及前面六大類的各種運用與組合的科目您好，了解更多院校信息分類資訊、科學(xué)，理工科是一個廣大的領(lǐng)域包含物理

4贊·47瀏覽2020-04-29

理工學(xué)科包含哪些？

理工包括理學(xué)和工學(xué) 1.理學(xué) > 統(tǒng)計學(xué)類 > 統(tǒng)計學(xué) 心理學(xué)類 > 應(yīng)用心理學(xué)專業(yè)經(jīng)濟心理學(xué)方向 應(yīng)用心理學(xué) 心理學(xué) 環(huán)境科學(xué)類 > 環(huán)境工程 資源勘查工程 資源環(huán)境科學(xué) 環(huán)境科學(xué)與工程 生態(tài)學(xué) 環(huán)境科學(xué) 材料科學(xué)類 > 高分子材料與工程 材料科學(xué)與工程 材料成型及控制工程 材料物理 材料學(xué) 材料化學(xué) 電子信息科學(xué)類 > 計算機科學(xué)與技術(shù) 電子信息工程 信息管理與信息系統(tǒng) 光電子技術(shù)科學(xué) 測控技術(shù)與儀器 電子信息技術(shù)及儀器 應(yīng)用電子技術(shù) 通信工程 電子商務(wù)及法律 電信工程及管理 系統(tǒng)與控制 電子商務(wù) 信息科學(xué)技術(shù)專業(yè) 電子科學(xué)與技術(shù) 信息安全專業(yè) 微電子學(xué)專業(yè) 光信息科學(xué)與技術(shù) 電子信息科學(xué)與技術(shù) 力學(xué)類 > 理論與應(yīng)用力學(xué) 海洋科學(xué)類 > 海洋技術(shù) 海洋科學(xué) 大氣科學(xué)類 > 應(yīng)用氣象學(xué) 應(yīng)用氣象學(xué) 大氣科學(xué) 地球物理學(xué)類 > 地球物理學(xué) 地理科學(xué)類 > 地理教育 系統(tǒng)科學(xué)與工程 系統(tǒng)理論 地球信息科學(xué)與技術(shù) 科學(xué)與工程計算系專業(yè) 地理信息系統(tǒng) 資源環(huán)境與城市規(guī)劃管理 地理科學(xué) 地質(zhì)學(xué)類 > 地質(zhì)工程 地質(zhì)學(xué)類 地球化學(xué)專業(yè) 地球化學(xué) 地質(zhì)學(xué) 天文學(xué)類 > 天文學(xué) 生物科學(xué)類 > 生物功能材料 防化兵指揮 生命科學(xué)與技術(shù)基地班 生物信息學(xué) 生化防護工程

5贊·168瀏覽2017-09-18

中國電動扳手十大名牌，上天貓電器城，新潮外觀，超高性價比!

關(guān)注電動扳手的都在看

天貓電器城-中國電動扳手十大名牌，爆款行貨熱賣，高性能超耐用，更多海量數(shù)碼好貨低至9.9起!

3c.tmall.com廣告

國家重大工程為什么選用虎嘯牌 電動扳手?



關(guān)注電動扳手的都在看

虎嘯公司是目前世界上優(yōu)質(zhì)電動扳手制造商之一，1973年開始制造電動扳手。沖擊扳手力矩范圍從50-2000NM， 電動扭矩扳手力矩范圍從80-5000NM

huxiao.net廣告

為什么現(xiàn)在的八零后，九零后會有這么多的離異

隨著社會的不斷發(fā)展，人們越來越有能力獨立的生活，所以在選擇時沒有經(jīng)過深思，一旦發(fā)現(xiàn)不合適，就又選擇離

162條回答·2,830人在看

微軟10億美元投資OpenAI，但AI仍然和“天網(wǎng)”無關(guān)

文|李北辰 過去數(shù)年，“AI威脅論”在全球有三位最著名的鼓吹者：物理學(xué)家霍金，微軟創(chuàng)始人比爾·蓋茨，“鋼鐵俠”埃隆·馬斯克。而就在不久前，后兩位在AI領(lǐng)域發(fā)生了一次意外的間接關(guān)聯(lián)。一顆重磅炸彈，砸向

779人在看

男人和女人做夢有什么區(qū)別？

我的健身男友

LV.9

關(guān)注

470,361播放

中專畢業(yè)怎么上全日制大專

一般一年開考四次,考試時間在1、4、7、10月，可以根據(jù)自己的時間報考相應(yīng)科目，大專課程一般在15科

25條回答·5,774人在看

“窮死不耕丈人田”后面還有一句，究竟說了什么，可謂是至理名言？

下一句是“餓死不進蘿卜園”。因為蘿卜吃多了對身體不好，而且去偷蘿卜有傷骨氣，所以人們才由此俗語。古人

17條回答·3,342人在看

邁巴赫報價是多少？目前值得入手么？

梅賽德斯奔馳——邁巴赫，說起來邁巴赫我覺得你應(yīng)該就是在問S級的吧，畢竟其他的就沒什么意義了，邁巴赫S

13條回答·1,161人在看

農(nóng)村俗語“飽暖思淫欲”，后一句是什么，可謂句句在理？

俗語“飽暖思淫欲”的后一句是：饑寒起盜心。后半句的意思就是說，當(dāng)一個人窮困潦倒的時候，內(nèi)心就會迸發(fā)出

18條回答·1,375人在看

北京工業(yè)大學(xué)有哪些知名校友？

我是工大15級本科生一枚。北京工業(yè)大學(xué)自1960年建校以來，知名校友有很多。如果你是一個和我一樣喜歡

21條回答·2,413人在看

超威電池與天能電池哪個好？

易書科技

致力于圖書出版、影視IP

關(guān)注

86,304播放

唐末紛爭時李元吉為何站在大哥李建成這邊，而不是站在二哥李世民這邊？

因為當(dāng)時的李元吉野心很大，他想先除掉最大的禍患李世民后，再除掉李建成，然后自己當(dāng)皇帝。旅客或機組成員為個人自用內(nèi)含鋰或鋰離子電池芯或電池的便攜式電子裝置(鋰電池移動電源、手表、計算器、照相機、手機、手提電腦、便攜式攝像機等)應(yīng)作為手提行李攜帶登機，并且鋰金屬電池的鋰含量不得超過2克，鋰離子電池的額定能量值不得超過100Wh（瓦特小時）。

超過100Wh但不超過160Wh的，經(jīng)航空公司批準(zhǔn)后可以裝在交運行李或手提行李中的設(shè)備上。

超過160Wh的鋰電池嚴(yán)禁攜帶。

三、ai問答百科誰開發(fā)的

OpenAI公司。ChatGPT是一個基于自然語言處理技術(shù)的AI模型，由OpenAI公司開發(fā)和訓(xùn)練。它是一個可以進行語言理解和生成的強大模型，可以用于各種任務(wù)。

四、BERT - 論文解讀

BERT:【 Pre-training of Deep Bidirectional Transformers for

Language Understanding】

○ 將預(yù)訓(xùn)練語言模型應(yīng)用在下游任務(wù)中，一般有兩種策略：

作者認(rèn)為影響當(dāng)前預(yù)訓(xùn)練語言模型的 瓶頸是——“模型是單向的” 。如 GPT 選擇從左到右的架構(gòu)，這使得每個 token 只能注意到它前面的 token，這對 sentence 級的任務(wù)影響還是次要的，但對于 token 級的任務(wù)來說影響就很巨大。例如問答任務(wù)，從兩個方向結(jié)合上下文是至關(guān)重要的。

BERT 通過使用受完形填空任務(wù)啟發(fā)的 Mask Language Model （MLM）緩解了先前模型的單向性約束問題。MLM 隨機 mask 掉一些輸入文本中的 token，然后根據(jù)剩下的上下文預(yù)測 masked 的 token。除了 Mask Language Model，作者還提出了 Next Sequence Predict 任務(wù)，來聯(lián)合訓(xùn)練文本對表示。

論文中BERT的改進如下：

預(yù)訓(xùn)練前的一般語言表征有著悠久歷史，本節(jié)我們簡要回顧一下最廣泛使用的方法。

2.1 基于特征的無監(jiān)督方法 ：

幾十年來，學(xué)習(xí)廣泛適用的詞匯表征一直是一個活躍的研究領(lǐng)域，包括非神經(jīng)系統(tǒng)、神經(jīng)系統(tǒng)方法。預(yù)訓(xùn)練的詞嵌入是現(xiàn)代NLP系統(tǒng)的一個組成部分，與從頭學(xué)習(xí)的嵌入相比，它提供了顯著的改進（Turian等人，2010）。為了預(yù)先訓(xùn)練單詞嵌入向量，已經(jīng)使用了從左到右的語言建模目標(biāo)（Mnih和Hinton，2009），以及在左右上下文中區(qū)分正確單詞和錯誤單詞的目標(biāo)（Mikolov等人，2013）。

這些方法已被推廣到更粗糙的粒度，例如句子嵌入（Kiros等人，2015；Logeswaran和Lee，2018）或段落嵌入（Le和Mikolov，2014）。為了訓(xùn)練句子表征，之前的工作已經(jīng)使用了目標(biāo)對候選下一個句子進行排序（Jernite等人，2017；Logeswaran和Lee，2018），根據(jù)前一個句子的表征從左到右生成下一個句子單詞（Kiros等人，2015），或去噪自動編碼器衍生的目標(biāo)（Hill等人，2016）。

ELMo 及其前身（Peters等人，20172018a）從不同的維度概括了傳統(tǒng)的單詞嵌入研究。它們通過從左到右和從右到左的語言模型中提取上下文敏感的特征。每個標(biāo)記的上下文表示是從左到右和從右到左表示的 串聯(lián) 。在將上下文單詞嵌入與現(xiàn)有任務(wù)特定架構(gòu)相結(jié)合時，ELMo推進了幾個主要NLP基準(zhǔn)（Peters等人，2018a）的最新技術(shù)，包括問答（Rajpurkar等人，2016年）、情感分析（Socher等人，2013年）和命名實體識別（Tjong Kim-Sang和De Meulder，2003年）。Melamud等人（2016年）提出通過一項任務(wù)來學(xué)習(xí)語境表征，即使用 LSTM 從左右語境中預(yù)測單個單詞。與ELMo類似，他們的模型是基于特征的，而不是深度雙向的。Fedus等人（2018）表明，完形填空任務(wù)可以用來提高文本生成模型的 穩(wěn)健性 。

2.2 無監(jiān)督微調(diào)方法：

與 基于特征feature-based 的方法一樣，第一種方法只在未標(biāo)記文本中預(yù)先訓(xùn)練單詞嵌入?yún)?shù)的情況下才朝這個方向工作。最近，產(chǎn)生上下文標(biāo)記表示的句子或文檔編碼器已經(jīng)從未標(biāo)記的文本和文本中預(yù)訓(xùn)練出來針對受監(jiān)督的下游任務(wù)進行了 微調(diào)fine-tuned 。

這些方法的 優(yōu)點是 ，很少有參數(shù)需要從頭學(xué)習(xí)。至少部分由于這一優(yōu)勢，OpenAI GPT在GLUE基準(zhǔn)測試的許多句子級任務(wù)上取得了之前的最新成果。從左到右的語言建模和自動編碼器目標(biāo)已用于此類模型的預(yù)訓(xùn)練。

注解 ：BERT的整體預(yù)訓(xùn)練和微調(diào)程序。除了輸出層之外，在預(yù)訓(xùn)練和微調(diào)中使用相同的體系結(jié)構(gòu)。相同的預(yù)訓(xùn)練模型參數(shù)用于初始化不同下游任務(wù)的模型。在微調(diào)過程中，所有參數(shù)都會微調(diào)。

2.3 基于監(jiān)督數(shù)據(jù)的遷移學(xué)習(xí)：

也有研究表明，在大數(shù)據(jù)集的監(jiān)督任務(wù)中，如自然語言推理和機器翻譯可以有效地進行轉(zhuǎn)換。計算機視覺研究也證明了 從大型預(yù)訓(xùn)練模型中進行遷移學(xué)習(xí)的重要性 ，其中一個有效的方法是對使用ImageNet預(yù)訓(xùn)練模型進行微調(diào)。

本節(jié)將介紹BERT及其詳細(xì)實現(xiàn)。在我們的框架中有兩個步驟：預(yù)訓(xùn)練和微調(diào)。

BERT的一個顯著特點是其跨不同任務(wù)的統(tǒng)一體系結(jié)構(gòu) 。預(yù)訓(xùn)練的體系結(jié)構(gòu)和最終的下游體系結(jié)構(gòu)之間的差異最小。

BERT 的模型架構(gòu)是 一種多層的雙向 transformer encoder ，BERT 在實現(xiàn)上與 transformer encoder 幾乎完全相同。

定義：transformer block 的個數(shù)為 L ; hidden 大小為 H; self-attentions head 的個數(shù)為 A. 作者主要展示了兩種規(guī)模的 BERT 模型：

在這項工作中，我們將層數(shù)（即Transformer blocks）表示為L，隱藏大小表示為H，自我注意頭的數(shù)量表示為A。我們主要報告兩種型號的結(jié)果：

為了進行比較，選擇BERT-base與OpenAI GPT具有相同的模型大小。然而，關(guān)鍵的是， BERT Transformer使用雙向自注意力機制self-attention ，而 GPT Transformer使用受限自注意力機制constrained self-attention ，其中每個標(biāo)記只能關(guān)注其左側(cè)的上下文。

為了使 BERT 能處理大量不同的下游任務(wù)，作者將模型的輸入設(shè)計成可以輸入單個句子或句子對，這兩種輸入被建模成同一個 token 序列。作者使用了有 30000 個 token 的 vocabulary 詞嵌入。

3.1 Pre-training BERT :

我們不使用傳統(tǒng)的從左到右或從右到左的語言模型來預(yù)訓(xùn)練BERT。相反，我們使用本節(jié)所述的兩個無監(jiān)督任務(wù)對BERT進行預(yù)訓(xùn)練。這一步如圖1的左半部分所示。

Task #1: Masked LM

標(biāo)準(zhǔn)的語言模型只能實現(xiàn)從左到右或從右到左的訓(xùn)練，不能實現(xiàn)真正的雙向訓(xùn)練，這是因為雙向的條件是每個單詞能直接“看到自己”，并且模型可以在多層上下文中輕松的預(yù)測出目標(biāo)詞。

為了能夠?qū)崿F(xiàn)雙向的深度預(yù)訓(xùn)練，作者選擇 隨機 mask 掉一些比例的 token ，然后預(yù)測這些被 masked 的 token，在這種設(shè)置下，被 masked 的 token 的隱向量表示被輸出到詞匯表的 softmax 上，這就與標(biāo)準(zhǔn)語言模型設(shè)置相同。作者將 這個過程稱為“Masked LM”，也被稱為“完形填空” 。

○ Masked LM 預(yù)訓(xùn)練任務(wù)的缺點 ：

在于由于 [MASK] 標(biāo)記不會出現(xiàn)在微調(diào)階段，這就造成了預(yù)訓(xùn)練和微調(diào)階段的不一致。為了解決該問題，作者提出了 一種折中的方案 ：

○ BERT 的 mask策略：

Task #2: Next Sentence Prediction (NSP)

很多下游任務(wù)都是基于對兩句話之間的關(guān)系的理解，語言模型不能直接捕獲這種信息。為了訓(xùn)練模型理解這種句間關(guān)系，作者 設(shè)計了 next sentence prediction 的二分類任務(wù) 。具體來說，就是選擇兩個句子作為一個訓(xùn)練樣本，有 50% 的概率是下一句關(guān)系，有 50% 的概率是隨機選擇的句子對， 預(yù)測將 [CLS] 的最終隱狀態(tài) C 輸入 sigmoid 實現(xiàn) 。

○ Pre-training data ：

作者選用了BooksCorpus (800M words) 和 English Wikipedia (2,500M words) 作為預(yù)訓(xùn)練的語料庫，作者只選取了 Wikipedia 中的文本段落，忽略了表格、標(biāo)題等。為了獲取長的連續(xù)文本序列，作者選用了 BIllion Word Benchmark 這樣的文檔級語料庫，而非打亂的句子級語料庫。

3.2 Fine-tuning BERT ：

因為 transformer 中的 self-attention 機制適用于很多下游任務(wù)，所以可以直接對模型進行微調(diào)。對于涉及文本對的任務(wù)，一般的做法是獨立 encode 文本對，然后再應(yīng)用雙向的 cross attention 進行交互。Bert 使用 self-attention 機制統(tǒng)一了這兩個階段，該機制直接能夠?qū)崿F(xiàn)兩個串聯(lián)句子的交叉編碼。

對于不同的任務(wù)，只需要簡單地將特定于該任務(wù)的輸入輸出插入到 Bert 中，然后進行 end2end 的fine-tuning。

與預(yù)訓(xùn)練相比，微調(diào)相對便宜。從完全相同的預(yù)訓(xùn)練模型開始，本文中的所有結(jié)果最多可以在單個云TPU上復(fù)制1小時，或在GPU上復(fù)制幾個小時。

在本節(jié)中，我們將介紹11個NLP任務(wù)的BERT微調(diào)結(jié)果。

4.1 GLUE：

GLUE (General Language Understanding Evaluation) 是多個 NLP 任務(wù)的集合。作者設(shè)置 batch size 為 32；訓(xùn)練 3 個 epochs；在驗證集上從（5e-5, 4e-5, 3e-5, 2e-5）中選擇最優(yōu)的學(xué)習(xí)率。結(jié)果如下：

結(jié)果見表1。 BERT-base和BERT-large在所有任務(wù)上都比所有系統(tǒng)表現(xiàn)出色，與現(xiàn)有技術(shù)相比，平均準(zhǔn)確率分別提高了4.5%和7.0% 。請注意，除了注意掩蔽，BERT-base和OpenAI GPT在模型架構(gòu)方面幾乎相同。

對于最大和最廣泛報道的GLUE任務(wù)MNLI，BERT獲得了4.6%的絕對準(zhǔn)確率提高。在官方的GLUE排行榜10中，BERT-lagle獲得80.5分，而OpenAI GPT在撰寫本文之日獲得72.8分。我們發(fā)現(xiàn)BERT-large在所有任務(wù)中都顯著優(yōu)于BERT-base，尤其是那些訓(xùn)練數(shù)據(jù)很少的任務(wù)。

4.2 SQuAD v1.1 :

斯坦福問答數(shù)據(jù)集（SQuAD v1.1）收集了10萬對眾包問答對。給出一個問題和一段維基百科中包含答案的文章，任務(wù)是預(yù)測文章中的答案文本。

如圖1所示，在問答任務(wù)中，我們將輸入的問題和段落表示為單個壓縮序列，問題使用A嵌入，段落使用B嵌入。在微調(diào)過程，我們只引入一個起始向量S和一個端向量E。單詞i作為答案范圍開始的概率計算為Ti和S之間的點積，然后是段落中所有單詞的softmax：

答案范圍結(jié)束時使用類似公式。候選人從位置 i 到位置 j 的得分定義為：S·Ti + E·Tj ,最大得分跨度為 j≥ i 被用作預(yù)測。訓(xùn)練目標(biāo)是正確起始位置和結(jié)束位置的對數(shù)概率之和。我們微調(diào)了3個階段，學(xué)習(xí)率為5e-5，批量大小為32。

表2顯示了頂級排行榜條目以及頂級發(fā)布系統(tǒng)的結(jié)果。SQuAD排行榜的前幾名沒有最新的公共系統(tǒng)描述，并且允許在訓(xùn)練系統(tǒng)時使用任何公共數(shù)據(jù)。因此，在我們的系統(tǒng)中使用適度的數(shù)據(jù)擴充，首先在TriviaQA上進行微調(diào)，然后再對團隊進行微調(diào)。

我們表現(xiàn)最好的系統(tǒng)在ensembling方面的表現(xiàn)優(yōu)于排名第一的系統(tǒng)，在ensembling方面的表現(xiàn)優(yōu)于排名第一的系統(tǒng)+1.5 F1，在單一系統(tǒng)方面的表現(xiàn)優(yōu)于排名第一的系統(tǒng)+1.3 F1得分。事實上，我們的單BERT模型在F1成績方面優(yōu)于頂級合奏系統(tǒng)。如果沒有TriviaQA微調(diào)數(shù)據(jù)，我們只會損失0.1-0.4 F1，仍然遠遠超過所有現(xiàn)有系統(tǒng)。

其他實驗：略

在本節(jié)中，我們對BERT的許多方面進行了消融實驗，以便更好地了解它們的相對重要性。其他消融研究見附錄C。

5.1 預(yù)訓(xùn)練任務(wù)的效果 ：

○ 進行了如下消融測試：

○ 結(jié)果如下：

5.2 模型大小的影響 ：

○ 結(jié)果如下：

作者證明了 ：如果模型經(jīng)過充分的預(yù)訓(xùn)練，即使模型尺寸擴展到很大，也能極大改進訓(xùn)練數(shù)據(jù)規(guī)模較小的下游任務(wù)。

5.3 將 Bert 應(yīng)用于 Feature-based 的方法 ：

○ feature-based 的方法是從預(yù)訓(xùn)練模型中提取固定的特征，不對具體任務(wù)進行微調(diào) 。

○ 這樣的方法也有一定的優(yōu)點 ：

作者進行了如下實驗：在 CoNLL-2003 數(shù)據(jù)集上完成 NER 任務(wù)，不使用 CRF 輸出，而是從一到多個層中提取出激活值，輸入到 2 層 768 維的 BiLSTM 中，再直接分類。結(jié)果如下：

結(jié)果說明：無論是否進行微調(diào)，Bert 模型都是有效的。

個人認(rèn)為 Bert 的意義在于：

由于語言模型的遷移學(xué)習(xí)，最近的經(jīng)驗改進表明，豐富的、無監(jiān)督的預(yù)訓(xùn)練是許多語言理解系統(tǒng)的一個組成部分。特別是，這些結(jié)果使得即使是低資源任務(wù)也能從深層單向體系結(jié)構(gòu)中受益。我們的主要貢獻是將這些發(fā)現(xiàn)進一步推廣到深層雙向體系結(jié)構(gòu)中，使相同的預(yù)訓(xùn)練模型能夠成功地處理廣泛的NLP任務(wù)。

以上就是關(guān)于openai百度百科相關(guān)問題的回答。希望能幫到你，如有更多相關(guān)問題，您也可以聯(lián)系我們的客服進行咨詢，客服也會為您講解更多精彩的知識和內(nèi)容。

推薦閱讀：

openai手機注冊（opencom注冊）

osd景觀設(shè)計（topos景觀設(shè)計）

openai的股權(quán)（openai公司上市了嗎）

棉代表哪個數(shù)字（棉代表數(shù)字幾）

aigc是什么概念股（ai是什么股票）