正文

gpt3.5開(kāi)源（gpt3 開(kāi)源）

發(fā)布時(shí)間：2023-03-13 13:44:21 稿源：創(chuàng)意嶺閱讀： 98 問(wèn)大家

大家好！今天讓創(chuàng)意嶺的小編來(lái)大家介紹下關(guān)于gpt3.5開(kāi)源的問(wèn)題，以下是小編對(duì)此問(wèn)題的歸納整理，讓我們一起來(lái)看看吧。

ChatGPT國(guó)內(nèi)免費(fèi)在線(xiàn)使用，一鍵生成原創(chuàng)文章、方案、文案、工作計(jì)劃、工作報(bào)告、論文、代碼、作文、做題和對(duì)話(huà)答疑等等

只需要輸入關(guān)鍵詞，就能返回你想要的內(nèi)容，越精準(zhǔn)，寫(xiě)出的就越詳細(xì)，有微信小程序端、在線(xiàn)網(wǎng)頁(yè)版、PC客戶(hù)端

官網(wǎng)：https://ai.de1919.com

本文目錄:

1、chatgpt的中文全稱(chēng)是什么
2、只需要十分之一數(shù)據(jù)，就能通關(guān)四大視覺(jué)任務(wù)，居然還開(kāi)源了
3、chatgtp開(kāi)源嗎
4、2022年開(kāi)源技術(shù)的7大趨勢(shì)

gpt3.5開(kāi)源（gpt3 開(kāi)源）

一、chatgpt的中文全稱(chēng)是什么

生成型預(yù)訓(xùn)練變換模型。

英文全稱(chēng)為“chat Generative Pre-trained Transformer”

它是一款由美國(guó)的人工智能公司 OpenAI發(fā)布的免費(fèi)的機(jī)器人對(duì)話(huà)模型，這個(gè)模型屬于GPT-3.5系列，用戶(hù)可以對(duì)chatgpt聊天很多內(nèi)容，包括普通的日常聊天對(duì)話(huà)，信息的資訊，甚至修改代碼等等。

chatgpt可以很好地模擬一個(gè)人類(lèi)的聊天行為，在理解能力和交互性表現(xiàn)上也挺好，個(gè)人感覺(jué)很適合內(nèi)向的人。

chatgpt圖標(biāo)

二、只需要十分之一數(shù)據(jù)，就能通關(guān)四大視覺(jué)任務(wù)，居然還開(kāi)源了

Github鏈接：https://github.com/opengvlab

家人們，你們有沒(méi)有這種苦惱？

搬一次家就換一次家具，那些又貴又重的家具既不好搬運(yùn)，又不好全部帶走。

下一次又重新購(gòu)置一遍家具，浪費(fèi)錢(qián)不說(shuō)，關(guān)鍵是來(lái)來(lái)回回都做一樣的事情！家具還沒(méi)用過(guò)幾次，利用率不高呀！

這種搬家的苦惱，就好比AI領(lǐng)域，做幾個(gè)任務(wù)就需要開(kāi)發(fā)幾個(gè)高度定制的模型，不僅所需的數(shù)據(jù)采集量非常大，每次還都得從頭標(biāo)注。既提不起數(shù)據(jù)的學(xué)習(xí)效率，又耗費(fèi)巨大的數(shù)據(jù)獲取成本。

光是AI前端研究就耗費(fèi)如此巨大的精力，更別提應(yīng)用場(chǎng)景中數(shù)以萬(wàn)計(jì)的長(zhǎng)尾任務(wù)。

那怎么辦？

做一款通用的深度學(xué)習(xí)模型，才是關(guān)鍵。

1 通用，才是技術(shù)根本

目前，通用語(yǔ)言模型（GLM）已經(jīng)取得了令人矚目的進(jìn)展，比如BERT、T5和GPT-3，它們?cè)趹?yīng)對(duì)廣泛的語(yǔ)言下游任務(wù)時(shí)已經(jīng)游刃有余。

相形之下，通用視覺(jué)模型（GVM）的研究遲遲未交出一份令人滿(mǎn)意的答卷。

以往的大多數(shù) GVM 研究主要利用一種監(jiān)督信號(hào)來(lái)源，如 ViT-G/14 采用有標(biāo)簽監(jiān)督，SEER 采用樣本的不同增強(qiáng)之間的對(duì)比學(xué)習(xí)，CLIP采用圖片文本對(duì)進(jìn)行監(jiān)督。如果是在單個(gè)監(jiān)督信號(hào)下進(jìn)行的預(yù)訓(xùn)練，這幾種范式確實(shí)能夠生成在固定場(chǎng)景下表現(xiàn)良好的模型。但如果用在場(chǎng)景多元、任務(wù)多樣的下游場(chǎng)景，這些模型就難以勝任了。

比如現(xiàn)在最火的自動(dòng)駕駛，汽車(chē) 處于移動(dòng)狀態(tài)，既要看到路況，又要看到紅綠燈，還要注意行人，甚至在智能座艙興起后，還要和語(yǔ)言技術(shù)、LBS場(chǎng)景服務(wù)協(xié)同，這么多的感知數(shù)據(jù)與協(xié)同任務(wù)，這么多隨機(jī)的新任務(wù)，無(wú)論在體量還是維度方面，都對(duì)視覺(jué)模型的要求極大提高。

這時(shí)，打造一款通用視覺(jué)模型，降低研發(fā)門(mén)檻，尤其是學(xué)術(shù)界的時(shí)間成本、資金成本，才能暢享下游的極致場(chǎng)景體驗(yàn)。

去年11月，上海人工智能實(shí)驗(yàn)室聯(lián)合商湯科技、香港中文大學(xué)、上海交通大學(xué)發(fā)布通用視覺(jué)技術(shù)體系“書(shū)生”（INTERN），一套持續(xù)學(xué)習(xí)框架，用于系統(tǒng)化解決當(dāng)下人工智能視覺(jué)領(lǐng)域中存在的任務(wù)通用、場(chǎng)景泛化和數(shù)據(jù)效率等一系列瓶頸問(wèn)題。

前不久，上海人工智能實(shí)驗(yàn)室聯(lián)合商湯科技發(fā)布通用視覺(jué)開(kāi)源平臺(tái)OpenGVLab，面向?qū)W術(shù)界和產(chǎn)業(yè)界開(kāi)放其超高效預(yù)訓(xùn)練模型、超大規(guī)模公開(kāi)數(shù)據(jù)集，以及業(yè)內(nèi)首個(gè)針對(duì)通用視覺(jué)模型的評(píng)測(cè)基準(zhǔn)。

這些開(kāi)源技術(shù)，究竟有何魔力？

2 大力出奇跡，打造通用視覺(jué)模型

“書(shū)生” （INTERN），就是練就通用視覺(jué)能力的底層技術(shù)。

從技術(shù)實(shí)現(xiàn)上講，“書(shū)生”技術(shù)體系由由七大模塊組成，包括三個(gè)基礎(chǔ)設(shè)施模塊和四個(gè)訓(xùn)練階段構(gòu)成。

書(shū)生（INTERN）結(jié)構(gòu)圖

首先，通用視覺(jué)數(shù)據(jù)系統(tǒng)。

這是一個(gè)超大規(guī)模的精標(biāo)數(shù)據(jù)集，擁有100億個(gè)樣本和各種監(jiān)督信號(hào)，并依照四大視覺(jué)任務(wù)分別設(shè)置了四個(gè)數(shù)據(jù)子集：多模態(tài)數(shù)據(jù)GV-D- 10B分類(lèi)標(biāo)注的GV-Dc-36M、檢測(cè)標(biāo)注的GV-Dd-3M、分割標(biāo)注的GV-Ds-143K。

另外，這一數(shù)據(jù)集還包含11.9萬(wàn)的標(biāo)簽系統(tǒng)，不僅涵蓋了自然界的眾多領(lǐng)域和目前計(jì)算機(jī)視覺(jué)研究中的幾乎所有標(biāo)簽，還擴(kuò)充了大量細(xì)粒度標(biāo)簽，涵蓋各類(lèi)圖像中的屬性、狀態(tài)等。

而這，就是書(shū)生“大力出奇跡”的一大注腳。

其次，通用視覺(jué)模型結(jié)構(gòu)。

它是由一個(gè)具有CNN和Transformer的統(tǒng)一搜索空間構(gòu)建而成。

為何要建立這樣的混合結(jié)構(gòu)？要知道，多年來(lái)，卷積神經(jīng)網(wǎng)絡(luò)（CNN）一直主導(dǎo)著視覺(jué)表征學(xué)習(xí)，并在圖像分類(lèi)、目標(biāo)檢測(cè)和語(yǔ)義分割等下游任務(wù)中表現(xiàn)出穩(wěn)定的可遷移性。但最近幾年，Vision Transformer (ViT)僅使用普通的Transformer結(jié)構(gòu)就能作為圖像編碼模型在ImageNet-1k上取得媲美 CNN 的性能，在大規(guī)模數(shù)據(jù)集上 ViT 更是展示出比 CNN 更大的潛力。

盡管ViT在性能上有優(yōu)點(diǎn)，但純Transformer網(wǎng)絡(luò)相比卷積神經(jīng)網(wǎng)絡(luò)缺乏某些歸納偏置（inductive biases），因此需要更多的數(shù)據(jù)和計(jì)算資源。此外，自注意的計(jì)算成本相對(duì)于輸入的數(shù)量是平方的，限制了對(duì)高輸入分辨率的應(yīng)用。因此，將CNN和Transformer和MLP結(jié)合起來(lái)，平衡效率和有效性?xún)蓚€(gè)方面，才是模型通用的關(guān)鍵。

這種兼具更好的泛化能力和更高的模型容量的模型結(jié)構(gòu)名為MetaNet。在MetaNet網(wǎng)絡(luò)結(jié)構(gòu)族里面進(jìn)行網(wǎng)絡(luò)結(jié)構(gòu)搜索，從而得到最優(yōu)的一個(gè)模型訓(xùn)練結(jié)構(gòu)。

統(tǒng)一搜索的MetaNet架構(gòu)：Conv和Trans分別表示卷積和Transformer。C和S為每一階輸出通道數(shù)和步幅。

具體來(lái)看，MetaNet不僅基于強(qiáng)化學(xué)習(xí) 的PPO算法提出了統(tǒng)一搜索架構(gòu)，并且，為了避免傳統(tǒng)的下采樣模塊會(huì)成為模型性能的瓶頸，“書(shū)生“結(jié)合了包含 local-global-DSM (LG_DSM) 和 global-DSM (G-DSM)的context-aware down-sampling modules (DSM)，用來(lái)代替原本的下采樣模塊。

因此，在淺層，模型依然使用卷積來(lái)提取特征，但在深層，模型卻能將Transformer模塊和LG-DSM結(jié)合使用，以便于更好地提取全局信息。

同時(shí)，書(shū)生還基于最大的MetaNet-B15蒸餾出了多達(dá)13種不同的模型結(jié)構(gòu)，共24種不同的模型權(quán)重，現(xiàn)已全部開(kāi)源。

這些模型結(jié)構(gòu)基本涵蓋了現(xiàn)有市面上大部分的主流backbone，不僅能夠很輕易地遷移到所需要的算法框架作為新網(wǎng)絡(luò)預(yù)訓(xùn)練的初始化，而且只需要更短的訓(xùn)練時(shí)間就可以達(dá)到比原來(lái)更好的訓(xùn)練效果。

MetaNet 模型與其他模型結(jié)構(gòu)比較，結(jié)果如下：

基于卷積、Transformer和兩者混合的結(jié)構(gòu)，分別用C，T和H表示，可以看出，在圖像分類(lèi)性能上，MetaNet系列的MN-B1，MN-B4和MN-B7，和其他的SOTA模型相比，不僅有更高的精度，還有更低的FLOPS和參數(shù)量。

除了分類(lèi)任務(wù)，把MetaNet做為檢測(cè)和分割的backbone，在COCO數(shù)據(jù)集上使用Mask R-CNN結(jié)構(gòu)訓(xùn)練，結(jié)果發(fā)現(xiàn)：在模型參數(shù)量更小的前提下，MN-B4比Swin-T精度高出2到4個(gè)點(diǎn)。另外還在ADE20K數(shù)據(jù)集上進(jìn)行了語(yǔ)義分割任務(wù)，MN-B4的mIoU指標(biāo)比Swin-T高出5個(gè)點(diǎn)之多。

上述兩個(gè)實(shí)驗(yàn)結(jié)果表明，MetaNet系列模型結(jié)構(gòu)，在模型精度與計(jì)算量之間，都達(dá)到了新的SOTA！

最后，通用視覺(jué)評(píng)測(cè)基準(zhǔn)。

視覺(jué)評(píng)測(cè)基準(zhǔn)GV-B ，就像是一個(gè)「擂臺(tái)」。

如下表所示，測(cè)評(píng)基準(zhǔn)收集了 26 個(gè)下游任務(wù)數(shù)據(jù)集，囊括了 4 種視覺(jué)任務(wù)類(lèi)型：分類(lèi)，檢測(cè)，分割和深度估計(jì)。

在設(shè)置上，該基準(zhǔn)引入了百分比樣本（percentage-shot），只需要選取整個(gè)數(shù)據(jù)集的一部分，例如 10%、20% ，對(duì)比縮小下游任務(wù)的訓(xùn)練數(shù)據(jù)量后的模型性能。

與傳統(tǒng)的少樣本設(shè)置相比，這種百分比樣本設(shè)置可以很好地保留原始數(shù)據(jù)集的長(zhǎng)尾分布等屬性，并減輕對(duì)樣本選擇的敏感性。因?yàn)橛幸恍?shù)據(jù)集樣本類(lèi)別分布不平衡，比如下表中的VOC07+12，百分比數(shù)據(jù)的劃分方式卻會(huì)繼承這種分布情況。

右側(cè)三列avg，min和max，分別表示在10%的數(shù)據(jù)中，不同類(lèi)別樣本數(shù)量的平均值，最小值和最大值。

結(jié)合上述數(shù)據(jù)集和任務(wù)類(lèi)型，論文選取了一些具有代表性的模型來(lái)做評(píng)測(cè)對(duì)比。為了比較公平性，該對(duì)比使用了這些模型的官方預(yù)訓(xùn)練權(quán)重。這些模型包括：

有了超大精標(biāo)數(shù)據(jù)集、模型結(jié)構(gòu)，以及評(píng)測(cè)基準(zhǔn)后，已經(jīng)是萬(wàn)事俱備，只欠訓(xùn)練。

書(shū)生作為中國(guó)古代讀書(shū)人的經(jīng)典形象，代表著一個(gè)通過(guò)不斷學(xué)習(xí)、不斷成長(zhǎng)進(jìn)而擁有各方面才能的人格化角色：從基礎(chǔ)的知識(shí)技能學(xué)習(xí)開(kāi)始，到對(duì)多種專(zhuān)業(yè)知識(shí)觸類(lèi)旁通，進(jìn)而成長(zhǎng)為擁有通用知識(shí)的通才。借此意象，“書(shū)生”（INTERN）系統(tǒng)可通過(guò)持續(xù)學(xué)習(xí)，舉一反三，逐步實(shí)現(xiàn)通用視覺(jué)領(lǐng)域的融會(huì)貫通，最終實(shí)現(xiàn)靈活高效的模型部署。

下面就來(lái)看看，這套系統(tǒng)是如何通過(guò)訓(xùn)練，一步步從生手變成專(zhuān)家再到多面手，最終在各種任務(wù)中大顯身手。

第一階段，訓(xùn)練的是基礎(chǔ)能力，被稱(chēng)為“基礎(chǔ)模型”（Amateur）。

然而CLIP需要400M的圖像-文本對(duì)進(jìn)行前訓(xùn)練，囿于極大的數(shù)據(jù)量，CLIP很難進(jìn)一步發(fā)展。但“書(shū)生”提出了一種新的訓(xùn)練范式，DeCLIP（Data efficient CLIP ），能夠同時(shí)使用來(lái)自圖像-文本、圖像-圖像和文本-文本對(duì)的監(jiān)督信號(hào)進(jìn)行模型預(yù)訓(xùn)練，從而更有效地實(shí)現(xiàn)通用性。

此外，為了充分利用大規(guī)模多模態(tài)數(shù)據(jù)獲取基礎(chǔ)模型的優(yōu)勢(shì)，這一階段提出了Upstream-Amateur (Up-A)視覺(jué)語(yǔ)言預(yù)訓(xùn)練框架，同時(shí)挖掘模態(tài)內(nèi)和跨模態(tài)知識(shí)。

這一訓(xùn)練框架分為兩個(gè)預(yù)訓(xùn)練階段：Upstream-Amateur for Global Representation (Up-A-G)和Upstream-Amateur for Local Representation (Up-A-L)。

其中，Up-A-G(左)使用群體監(jiān)督功能，從更豐富的監(jiān)督中學(xué)習(xí)。Up-A-L(右)采用局部自我監(jiān)督學(xué)習(xí)方法，對(duì)訓(xùn)練好的視覺(jué)-語(yǔ)言模型進(jìn)行調(diào)整，從而提高自身在密集預(yù)測(cè)CV任務(wù)中的表現(xiàn)。

Upstream-Amateur的框架

得益于這些內(nèi)在的監(jiān)督，DeCLIP-ResNet50可以在ImageNet上實(shí)現(xiàn)60.4%的zero-shot 精度第一。這比CLIP-ResNet50高出0.8%，數(shù)據(jù)使用量少了81%。當(dāng)遷移到下游任務(wù)時(shí)，DeCLIP-ResNet50在11個(gè)視覺(jué)數(shù)據(jù)集中有8個(gè)優(yōu)于CLIP。

更關(guān)鍵的是，訓(xùn)練完成的Upstream-Amateur為后續(xù)的訓(xùn)練階段提供了一個(gè)很高的起點(diǎn)。

第二階段，訓(xùn)練的是專(zhuān)業(yè)能力，被稱(chēng)為“專(zhuān)家模型”（Expert）。

Up-A階段得到的基礎(chǔ)模型，在一般的視覺(jué)識(shí)別問(wèn)題上顯示出優(yōu)異的性能。但要完全掌握檢測(cè)、分割等更具體的任務(wù)，還需要在每個(gè)任務(wù)中進(jìn)行更專(zhuān)業(yè)的預(yù)訓(xùn)練，這就促成了第二個(gè)階段的到來(lái)，專(zhuān)家模型。

對(duì)于每個(gè)專(zhuān)家，“書(shū)生”采用了一種簡(jiǎn)單的多頭設(shè)計(jì)，每個(gè)頭是一個(gè)特定數(shù)據(jù)集的子網(wǎng)絡(luò)，從一個(gè)公共的、共享的“主干”分支出來(lái)。比如Up-E (C)、Up-E (D)和Up-E (S)，分別用于圖像分類(lèi)、對(duì)象檢測(cè)和語(yǔ)義分割。

第三階段，訓(xùn)練的是組合能力，被稱(chēng)為“通才模型”（Generalist）。

上述的多任務(wù)是指不同數(shù)據(jù)集(如ImageNet和CIFAR)的一個(gè)視覺(jué)問(wèn)題(如分類(lèi))，或一個(gè)數(shù)據(jù)集的多個(gè)視覺(jué)問(wèn)題(如分類(lèi)和檢測(cè))。但關(guān)鍵是，如何將專(zhuān)家整合到一個(gè)統(tǒng)一的模型中，獲得一個(gè)更加通用的視覺(jué)模型。因此，在預(yù)訓(xùn)練“專(zhuān)家”階段之后，又將“通才”作為第三個(gè)預(yù)訓(xùn)練階段，以進(jìn)一步統(tǒng)一特征表示。

“書(shū)生”提出了一個(gè)新的范式，名為“混合參數(shù)共享”，從而開(kāi)發(fā)一個(gè)名為“多面手”的通才模型。

具體來(lái)說(shuō)，由于專(zhuān)家捕獲的知識(shí)是相互關(guān)聯(lián)的，當(dāng)專(zhuān)家的特征融合為一個(gè)共享的表示形式時(shí)，再利用基于軟共享的跨任務(wù)知識(shí)轉(zhuǎn)移和基于硬共享的通用表示學(xué)習(xí)的方法，在不引入任務(wù)沖突的情況下在專(zhuān)家之間傳遞信息（特征轉(zhuǎn)移），從而進(jìn)一步提高了多任務(wù)訓(xùn)練的模型(專(zhuān)家)性能，即“通才”能力。

在結(jié)構(gòu)上，通才模型是所有專(zhuān)家的一個(gè)相互關(guān)聯(lián)的版本，因此可以把每個(gè)“專(zhuān)家主干”稱(chēng)為“通才分支”。此外，我們還可以根據(jù)訓(xùn)練相應(yīng)專(zhuān)家的任務(wù)將通才中的每個(gè)分支分為圖像、補(bǔ)丁和像素。但無(wú)論是軟共享還是硬共享，都意味著從專(zhuān)家模型到通才模型的一次躍升。

在經(jīng)歷了前三個(gè)訓(xùn)練階段模塊后，終于來(lái)到最后的任務(wù)遷移階段（Adaptation）。

這個(gè)階段屬于技術(shù)鏈條的下游，用來(lái)解決各式各樣不同類(lèi)型的任務(wù)，而這也是最考驗(yàn)“書(shū)生”舉一反三能力的時(shí)刻。它需要在這個(gè)階段把之前學(xué)到的通用知識(shí)，融會(huì)貫通地應(yīng)用到不同特定任務(wù)中。

在此之前，很多遷移學(xué)習(xí)方法確實(shí)取得了很多進(jìn)步，但問(wèn)題是，這些方法既沒(méi)有利用上游預(yù)訓(xùn)練中的隱含信息，也沒(méi)有考慮到下游數(shù)據(jù)在少鏡頭場(chǎng)景中的不足。

因此，“書(shū)生”提出了一種Multi-stage Fine-tuning (MF)方法，緩解在數(shù)據(jù)較少的情況下傳輸?shù)睦щy，再通過(guò)將上游數(shù)據(jù)編碼成生成模型，即VQ-GAN，可以將預(yù)訓(xùn)練的模型轉(zhuǎn)移到多個(gè)任務(wù)和領(lǐng)域，而無(wú)需每次都使用上游數(shù)據(jù)，而這也使得“書(shū)生”更具通用性和可擴(kuò)展性。

多級(jí)微調(diào)(MF)概述：VQ-GAN模型首先在第一階段使用上游數(shù)據(jù)進(jìn)行訓(xùn)練，然后在第二階段由它重構(gòu)下游數(shù)據(jù)。在此之后，第三階段只對(duì)新增任務(wù)的特定參數(shù)進(jìn)行重新表示的圖像訓(xùn)練，第四階段則通過(guò)下游數(shù)據(jù)對(duì)整個(gè)模型進(jìn)行微調(diào)。

至此，一個(gè)具有持續(xù)學(xué)習(xí)能力的通用視覺(jué)模型終于出世。

而具體有哪些提升，不如看一下更直觀的實(shí)驗(yàn)數(shù)據(jù)對(duì)比！

3 一網(wǎng)打盡視覺(jué)領(lǐng)域四大任務(wù)

視覺(jué)領(lǐng)域，任務(wù)繁多，主流任務(wù)包含分類(lèi)、目標(biāo)檢測(cè)、語(yǔ)義分割、深度估計(jì)四大類(lèi)型。

在這四大任務(wù)中，最強(qiáng)大的視覺(jué)模型還是去年OpenAI發(fā)布的CLIP模型。但相比較而言，“書(shū)生”則在準(zhǔn)確率和數(shù)據(jù)使用效率上都有所提升。

1、精度表現(xiàn)

通過(guò)對(duì)“書(shū)生”訓(xùn)練出的模型在GV-B上的評(píng)測(cè)對(duì)比，發(fā)現(xiàn)經(jīng)過(guò)多階段預(yù)訓(xùn)練的MetaNet精度表現(xiàn)優(yōu)異。

在ImageNet等26個(gè)最具代表性的下游場(chǎng)景中， “書(shū)生”在分類(lèi)、目標(biāo)檢測(cè)、語(yǔ)義分割及深度估計(jì)等四大任務(wù)上，平均錯(cuò)誤率分別降低了40.2%、47.3%、34.8%和9.4%。

書(shū)生（INTERN）與CLIP-R50x16在不同樣本量上的性能對(duì)比，正確率展示

2、數(shù)據(jù)使用效率

“書(shū)生”在數(shù)據(jù)效率方面的提升尤為矚目：只需要1/10的下游數(shù)據(jù)，就能超過(guò)CLIP基于完整下游數(shù)據(jù)訓(xùn)練的準(zhǔn)確度。

以CLIP-R50x16和Up-G MN-B15在GV-B的評(píng)測(cè)對(duì)比為例，分別在分類(lèi)、目標(biāo)檢測(cè)、語(yǔ)義分割、深度估計(jì)四大類(lèi)型的26個(gè)下游任務(wù)數(shù)據(jù)集上進(jìn)行了評(píng)測(cè)，僅使用了10%數(shù)據(jù)進(jìn)行訓(xùn)練的Up-G MN-B15模型，在絕大部分?jǐn)?shù)據(jù)集上都能比使用了全部訓(xùn)練數(shù)據(jù)的CLIP-R50有更好的精度表現(xiàn)。這表明，經(jīng)過(guò)多階段預(yù)訓(xùn)練的MetaNet具有極強(qiáng)的泛化能力，能夠在僅有少量的訓(xùn)練樣本情況下，達(dá)到SOTA的精度表現(xiàn)。

在下游視覺(jué)場(chǎng)景中，小樣本訓(xùn)練帶來(lái)的是極高的訓(xùn)練速度，以及極低的訓(xùn)練成本。

例如在花卉種類(lèi)識(shí)別任務(wù)上，“書(shū)生“只需要每一類(lèi)型的花卉提供兩個(gè)訓(xùn)練樣本，就能實(shí)現(xiàn)99.7%的準(zhǔn)確率。

這個(gè)花卉數(shù)據(jù)集由102種英國(guó)常見(jiàn)的花組成，每個(gè)類(lèi)別有40至258張圖片。其中包含有很大的比例、姿勢(shì)和光線(xiàn)變化。

102個(gè)類(lèi)別的花卉數(shù)據(jù)集：

https://www.robots.ox.ac.uk/~vgg/data/flowers/102/index.html

4 通用視覺(jué)平臺(tái)，已正式開(kāi)源

如此強(qiáng)大的通用視覺(jué)訓(xùn)練模型已經(jīng)正式開(kāi)源！

更關(guān)鍵的是，連同上述講到的標(biāo)簽數(shù)據(jù)集、網(wǎng)絡(luò)結(jié)構(gòu)以及評(píng)測(cè)基準(zhǔn)，均在OpenGVLab被統(tǒng)一打包開(kāi)源。

其中的網(wǎng)絡(luò)結(jié)構(gòu)除了MetaNet，還包含大家普遍使用的ResNet， MobileNet， ViT， EfficientNet等，以滿(mǎn)足不同場(chǎng)景的應(yīng)用，賦能計(jì)算機(jī)視覺(jué)。

然而，「書(shū)生」的布局不止于此。

OpenGVLab將與上海人工智能實(shí)驗(yàn)室此前發(fā)布的OpenMMLab、OpenDILab一道，共同構(gòu)筑開(kāi)源體系OpenXLab，持續(xù)推進(jìn)通用人工智能的技術(shù)突破和生態(tài)構(gòu)建。

一位已經(jīng)使用過(guò)此次開(kāi)源平臺(tái)的自動(dòng)駕駛算法研究員表示：“書(shū)生系列模型充分覆蓋了從移動(dòng)可部署的小模型，到超大規(guī)模自研結(jié)構(gòu)，為行業(yè)帶來(lái)了希望，尤其是它的收斂速度，大幅節(jié)省了訓(xùn)練開(kāi)銷(xiāo)，是技術(shù)落地的一大助推器?！?

不僅是自動(dòng)駕駛領(lǐng)域，智慧城市、智慧醫(yī)療、智慧交通，以及千千萬(wàn)萬(wàn)其他的智能化領(lǐng)域，都將獲得通用視覺(jué)模型帶來(lái)的技術(shù)紅利。

一位騰訊研究員大贊OpenGVLab：“能把這么大的工作開(kāi)源出來(lái)真的是業(yè)界良心。簡(jiǎn)單用了一下，確實(shí)比CLIP要更fine-grained（細(xì)粒度更高）?！?

而來(lái)自學(xué)界的師生也對(duì)此感慨有加：“OpenGVLab集成了大量各種量級(jí)的state-of-the-art（先進(jìn)）模型，使用起來(lái)更得心應(yīng)手，省去了對(duì)不同codebase、不同模型繁瑣調(diào)研的煩惱?！?

換句話(huà)說(shuō)，當(dāng)那些代碼和公式脫去了枯燥乏味的外衣，人們才發(fā)現(xiàn)了真正的創(chuàng)造力。而這，也是技術(shù)創(chuàng)新與平臺(tái)開(kāi)源的魅力所在。

往近了說(shuō)，用這款通用視覺(jué)模型打比賽，怕不是獎(jiǎng)金多到飛起！在技術(shù)生產(chǎn)力的道路上，又誕生了一個(gè)致富小妙招！

目前，“書(shū)生”技術(shù)報(bào)告《INTERN: A New Learning Paradigm Towards General Vision》已在arXiv平臺(tái)發(fā)布。

論文地址：arxiv.org/abs/2111.08687

三、chatgtp開(kāi)源嗎

不開(kāi)源。ChatGPT并沒(méi)有開(kāi)源，而且官方也沒(méi)有任何關(guān)于ChatGPT的開(kāi)源計(jì)劃。chatgpt是OpenAI開(kāi)發(fā)的一個(gè)大型預(yù)訓(xùn)練語(yǔ)言模型，通俗一點(diǎn)說(shuō)就是一個(gè)聊天機(jī)器人。它是GPT-3模型的變體，ChatGPT經(jīng)過(guò)了訓(xùn)練，可以根據(jù)接收到的輸入生成類(lèi)似人類(lèi)的文本響應(yīng)，具有更自然、更多樣化的特點(diǎn)。用戶(hù)可以向它提出無(wú)數(shù)問(wèn)題，而且通常會(huì)得到有用的答案。

四、2022年開(kāi)源技術(shù)的7大趨勢(shì)

開(kāi)放源碼技術(shù)是指一種技術(shù)或軟件，通過(guò)其源代碼在大眾中分布，使程序員能夠改變應(yīng)用程序或程序的行為。如果一個(gè)程序員可以訪(fǎng)問(wèn)特定軟件的源代碼，他可以修改、檢查和更改該軟件，通過(guò)升級(jí)它的新功能或修復(fù)一個(gè)破損的部分，以提高其效率。

開(kāi)源技術(shù)的概念出現(xiàn)于1983年，當(dāng)時(shí)麻省理工學(xué)院的一名程序員和研究員理查德·斯托曼提出技術(shù)應(yīng)該是開(kāi)源的。他希望程序員有更多的自由，因?yàn)樗嘈懦绦騿T可以創(chuàng)建更好的版本的軟件，并帶來(lái)革命性的技術(shù)變化，如果他們提供的源代碼。這個(gè)想法導(dǎo)致了1998年開(kāi)放源代碼促進(jìn)會(huì)的誕生(Adey，2021)。

這些年來(lái)，很多事情都發(fā)生了變化，開(kāi)源軟件領(lǐng)域出現(xiàn)了新的趨勢(shì)，產(chǎn)生了新的想法，為程序員創(chuàng)造了更多的機(jī)會(huì)，這樣他們就可以學(xué)習(xí)、適應(yīng)和實(shí)施他們的教導(dǎo)，為開(kāi)源軟件的幸福做出貢獻(xiàn)(Wallen，2022)。

讓我們來(lái)看看開(kāi)源技術(shù)領(lǐng)域即將發(fā)生的一些最大趨勢(shì)，這些趨勢(shì)將在未來(lái)幾年改變這個(gè)行業(yè)。

對(duì)擁有開(kāi)源技能的全棧開(kāi)發(fā)人員和 IT 人員的需求將會(huì)激增。在軟件系統(tǒng)的開(kāi)發(fā)、建模和操作中使用的棧的多樣性將為程序員和開(kāi)發(fā)人員提供大量的機(jī)會(huì)來(lái)增強(qiáng)他們的技能集。在云計(jì)算、 DevOps 工具、 Kubernetes、 Python、 PyTorch 等領(lǐng)域的經(jīng)驗(yàn)將使程序員能夠優(yōu)化業(yè)務(wù)并增加收入。企業(yè)和企業(yè)，無(wú)論是大企業(yè)還是小企業(yè)，都希望在投資開(kāi)源技術(shù)的力量和解決客戶(hù)問(wèn)題的積極影響時(shí)填補(bǔ)空白(Kamaruzzaman，2021)。

Kubernetes (作為云應(yīng)用程序的開(kāi)源容器編排平臺(tái))的采用將會(huì)增加。這將使兼容的開(kāi)源容器格式得以廣泛使用，正如 Open Container Initiative 中所描述的那樣。盡管實(shí)現(xiàn) Kubernetes 所需的學(xué)習(xí)曲線(xiàn)非常龐大，但是隨著全球大量 IT 團(tuán)隊(duì)認(rèn)識(shí)到這種技術(shù)所具有的真正潛力，一切進(jìn)展順利。Kubernetes 被認(rèn)為是最重要的開(kāi)源技術(shù)，它的采用將在2022年增加(Wallen，2022)。

Snap 和 Flatpak 都是為分發(fā) Linux 應(yīng)用程序而設(shè)計(jì)的系統(tǒng)。盡管隨著時(shí)間的推移，這些系統(tǒng)一直受到嘲笑，但它們簡(jiǎn)化了應(yīng)用程序的安裝過(guò)程，并為桌面上的更多應(yīng)用程序騰出了空間。由于 Snap 和 Flatpak，像 Slack、 Spotify 和 Skype 這樣的應(yīng)用程序可以毫無(wú)困難地安裝。現(xiàn)在需要這兩個(gè)系統(tǒng)，Linux 社區(qū)遲早會(huì)理解它們的重要性。在不久的將來(lái)，一個(gè)完全默認(rèn)為 Snap 和 Flatpak 的發(fā)行版將在 App Store 上發(fā)布。這將是對(duì)新用戶(hù)的一次款待(Kamaruzzaman，2021)。

隨著開(kāi)源技術(shù)在當(dāng)今 IT 世界的普及，加強(qiáng)安全措施以防止對(duì)這種技術(shù)的網(wǎng)絡(luò)攻擊的必要性也在增加?？梢?huà)呙栝_(kāi)源軟件漏洞的新工具將被引入，并將被頻繁地用于減輕任何傷害。從事開(kāi)源技術(shù)的 IT 公司和組織將投資于獲取新版本的軟件和補(bǔ)丁，以改善整體安全狀況。

當(dāng)黑客發(fā)現(xiàn)未經(jīng)修補(bǔ)的開(kāi)源漏洞，他們可以插入討厭的病毒或軟件時(shí)，他們就會(huì)入侵軟件供應(yīng)鏈。但現(xiàn)在這一切都要停止了。像 Linux 基金會(huì)這樣的組織將加強(qiáng)他們的游戲，防止黑客實(shí)現(xiàn)他們的惡意設(shè)計(jì)。諸如數(shù)字簽名服務(wù)等高級(jí)開(kāi)源工具的開(kāi)發(fā)將在2022年及以后繼續(xù)發(fā)展(Wallen，2022)。

這可以被認(rèn)為是一個(gè)愿望，很容易在2022年見(jiàn)到曙光。一個(gè)全新的、來(lái)自各方面的開(kāi)源社交網(wǎng)絡(luò)是可能的，它可能會(huì)給 Facebook 帶來(lái)困難。這種社交網(wǎng)絡(luò)可以完全改變社交網(wǎng)絡(luò)的執(zhí)行方式，并將給予程序員和開(kāi)發(fā)人員更多的自由，以改善普通大眾的用戶(hù)體驗(yàn)。

諸如人工智能(AI)、機(jī)器學(xué)習(xí)(ML)、深度學(xué)習(xí)(DL)和數(shù)據(jù)驅(qū)動(dòng)技術(shù)等技術(shù)將會(huì)繼續(xù)存在，并且它們的實(shí)現(xiàn)和執(zhí)行將會(huì)迅速增加。人工智能可以對(duì)人類(lèi)有很大的幫助，因?yàn)樗梢砸槐橛忠槐榈貓?zhí)行枯燥、單調(diào)的任務(wù)，為開(kāi)發(fā)人員和程序員節(jié)省大量時(shí)間。他們可以將注意力轉(zhuǎn)移到手頭更聰明的任務(wù)上。使用 GPT-3和其他 NLP 庫(kù)，AI 能夠自動(dòng)完成這些任務(wù)。一些人工智能助手足夠聰明，可以為開(kāi)發(fā)人員生成源代碼，比如 Tabine、 gitHub Copilot 和 Codota。它們?nèi)匀惶幱谠缙陔A段，但隨著時(shí)間的推移逐漸成熟(Wallen，2022)。

Steam Deck是一個(gè)便攜式手持游戲設(shè)備，并在2022年，Linux 是確定，它可以游戲。Linux 不會(huì)取代 Windows 在桌面游戲領(lǐng)域的地位，但它將證明 Linux 也是一個(gè)可行的選擇，當(dāng)它來(lái)玩游戲通過(guò)蒸汽(Martinez-Torres & Diaz-Fernandez，2013)。

以上就是關(guān)于gpt3.5開(kāi)源相關(guān)問(wèn)題的回答。希望能幫到你，如有更多相關(guān)問(wèn)題，您也可以聯(lián)系我們的客服進(jìn)行咨詢(xún)，客服也會(huì)為您講解更多精彩的知識(shí)和內(nèi)容。