第(3/3)頁

    “我們團(tuán)隊(duì)除了繼續(xù)在星際2這個項(xiàng)目推進(jìn)靈境ai之外，我們接下來的新任務(wù)就是開發(fā)構(gòu)建一個語言大模型。”羅靖站在會議大屏幕右側(cè)不急不緩地說道：

    “這個模型的核心其實(shí)就是‘自注意力機(jī)制’，也就是gpt中的t，比方說讓ai給一段文字序列中的不同詞語標(biāo)注權(quán)重，然后對下文的推測依據(jù)權(quán)重來進(jìn)行，這樣做的好處就是即便之前很早的信息也能被ai用上，不至于讓ai學(xué)了之后轉(zhuǎn)頭就忘了前面的。”

    “整個的過程是通過自監(jiān)督完成，也就是ai自我學(xué)習(xí)完成，在此期間沒有我們?nèi)祟愔笇?dǎo)，當(dāng)然也沒法指導(dǎo)，沒有人能把百渡百科、維基百科或全網(wǎng)的全部內(nèi)容都熟記下來。”

    這時，與會的一位t5級工程師說道：“頭兒，這個預(yù)訓(xùn)練pre-trained會不會讓靈境gpt呈現(xiàn)出什么都懂，但樣樣不精通的局面？可以說全面發(fā)展反而變得全面平庸，按你之前的描述，讓靈境gpt的語言模型變得更大似乎并不能使它更好的遵循用戶的意圖，甚至不排除會生成一些假的、有害的對人沒有幫助的回答。”

    羅靖頓時說道：“好問題。所以要對靈境gpt進(jìn)行微調(diào)，讓它生成的答案更有幫助性，在訓(xùn)練階段就不能用自監(jiān)督學(xué)習(xí)的辦法了，而是要找人類來給它上課。”

    此話一出，另一位工程師不禁說道：“這……那得多少人？意思是讓用戶來訓(xùn)練？那算力、維護(hù)和運(yùn)營成本得爆炸，經(jīng)費(fèi)能撐得住嗎？”

    不用想都知道前期得持續(xù)燒錢并且賺不了錢。

    羅靖淡定的說道：“經(jīng)費(fèi)問題那是老板該頭疼的事情，我們只管搞技術(shù)和找老板伸手要錢，找老板要錢這個事情我來做就是了，你們不用管，回歸正題……”

    頓了片刻，羅靖按動手里的小遙控器接著說道：“靈境gpt使用人類監(jiān)督，我已經(jīng)微調(diào)訓(xùn)練了一個初始模型，這個模型靠人類ai訓(xùn)練員提供對話內(nèi)容。”

    眾人暗暗吃驚，不愧是大佬，居然一個人就把初始模型給搞出來了。

    ……


    第(3/3)頁