當(dāng)前，我國正在建設(shè)科技強(qiáng)國的道路上大步邁進(jìn)。黨的二十大報告明確指出：“堅持面向世界科技前沿、面向經(jīng)濟(jì)主戰(zhàn)場、面向國家重大需求、面向人民生命健康，加快實現(xiàn)高水平科技自立自強(qiáng)。以國家戰(zhàn)略需求為導(dǎo)向，集聚力量進(jìn)行原創(chuàng)性引領(lǐng)性科技攻關(guān)，堅決打贏關(guān)鍵核心技術(shù)攻堅戰(zhàn)。”人工智能是新一輪科技革命和產(chǎn)業(yè)變革的重要驅(qū)動力量，正在加速創(chuàng)新發(fā)展，賦能產(chǎn)業(yè)轉(zhuǎn)型升級。現(xiàn)階段，大模型成為人工智能發(fā)展的熱點方向，尤其是文心一言和ChatGPT等近來備受關(guān)注的大語言模型，具備與人對話互動、回答問題、協(xié)助創(chuàng)作等能力，有望帶來人工智能創(chuàng)新的爆發(fā)式增長，引發(fā)社會熱議，成為全球科技競爭焦點。
大語言模型某種程度上具備對人類意圖理解能力
美國作為傳統(tǒng)的科技強(qiáng)國，在大模型發(fā)展方面具有一定的優(yōu)勢，美國各巨頭科技公司均有相關(guān)雄厚的技術(shù)資源和能力。中國在大模型發(fā)展上正在迎頭趕上，各科技公司紛紛加入了大模型開發(fā)和應(yīng)用的隊伍。總體而言，雖然與國際領(lǐng)先水平相比仍然存在一定的差距，但以文心一言為代表的國產(chǎn)大語言模型的出現(xiàn)，讓我國成功躋身這場全球科技競爭當(dāng)中。這背后得益于全棧人工智能技術(shù)的加持。
人工智能技術(shù)?？煞譃?ldquo;芯片層、框架層、模型層和應(yīng)用層”，在技術(shù)棧的每一層，都有領(lǐng)先的關(guān)鍵自研技術(shù)，實現(xiàn)了層與層反饋，端到端優(yōu)化，大幅提升效率。作為自主研發(fā)的知識增強(qiáng)大語言模型，文心一言在技術(shù)四層都有涉及，尤其是飛槳深度學(xué)習(xí)平臺和文心大模型的聯(lián)合優(yōu)化，為文心一言提供了堅實的技術(shù)支撐。
文心一言是多年技術(shù)積累和產(chǎn)業(yè)實踐的水到渠成。早在2019年，文心大模型ERNIE1.0發(fā)布。經(jīng)過4年研發(fā)和迭代，文心大模型已經(jīng)形成了產(chǎn)業(yè)級知識增強(qiáng)大模型技術(shù)體系，包括自然語言處理大模型、視覺大模型、跨模態(tài)大模型、生物計算大模型、行業(yè)大模型，以及支撐大模型應(yīng)用的工具平臺，蘊含了大量自主創(chuàng)新并且在大規(guī)模產(chǎn)業(yè)應(yīng)用中得到驗證的技術(shù)。其中有些關(guān)鍵技術(shù)已申請專利或發(fā)表論文，還有一些相關(guān)技術(shù)已開源開放。
杜甫有詩：“讀書破萬卷，下筆如有神”。這句詩一定意義上也是大語言模型的形象寫照：從海量數(shù)據(jù)中學(xué)習(xí)，相當(dāng)于讀了萬億卷書籍，吸收和理解了海量知識，在此基礎(chǔ)上，就可以按照用戶的需求去創(chuàng)作文案、回答問題、完成總結(jié)分析。當(dāng)下，文心一言、ChatGPT等大語言模型在某種程度上具備了對人類意圖的理解能力，其回答的準(zhǔn)確性、邏輯性、流暢性都逐漸接近人類水平。但整體而言，這類大語言模型還遠(yuǎn)未到發(fā)展完善的階段，有賴于通過更多真實的用戶反饋逐步迭代進(jìn)化。
國產(chǎn)大語言模型處于什么水平
技術(shù)上的比較優(yōu)勢，是未來國際競爭中的立足點，也是人們普遍關(guān)心的問題。文心一言在文心知識增強(qiáng)大模型ERNIE及對話大模型PLATO的基礎(chǔ)上研發(fā)，基于飛槳深度學(xué)習(xí)平臺訓(xùn)練和部署，其關(guān)鍵技術(shù)包括，有監(jiān)督精調(diào)、人類反饋的強(qiáng)化學(xué)習(xí)、提示、知識增強(qiáng)、檢索增強(qiáng)和對話增強(qiáng)。前三項是這類大語言模型都會采用的技術(shù)，此前已經(jīng)有應(yīng)用和積累，文心一言中又進(jìn)行了進(jìn)一步強(qiáng)化和打磨，做到了更懂中文、更懂中國文化、更懂中國的使用場景；后三項則是我們已有技術(shù)優(yōu)勢的再創(chuàng)新，也是文心一言越來越強(qiáng)大的技術(shù)底氣。
我們可以用老師教學(xué)生來類比大語言模型背后的技術(shù)原理。預(yù)訓(xùn)練大模型像博覽群書的學(xué)生，記住了很多知識，但需要老師來指導(dǎo)如何運用，而有監(jiān)督精調(diào)就是老師在教學(xué)生，將提煉出來的知識要點、典型范例等教給模型，讓它知道該如何符合人類的規(guī)范、習(xí)慣和價值觀，如何按照人的指令去執(zhí)行相應(yīng)動作，生成相應(yīng)內(nèi)容。在文心一言中我們訓(xùn)練了獎勵模型，為每次輸出的結(jié)果打分并反饋給模型，進(jìn)行強(qiáng)化學(xué)習(xí)。隨著真實用戶的反饋越來越多，文心一言的效果會越來越好，能力越來越強(qiáng)，進(jìn)步“一日千里”。同時，文心一言還融合了不同類型的數(shù)據(jù)和知識自動構(gòu)造提示，包括實例、提綱、規(guī)范、知識點和思維鏈等，提供了豐富的參考信息，激發(fā)模型相關(guān)知識，生成高質(zhì)量結(jié)果。
在知識增強(qiáng)方面，知識是人類認(rèn)識和改造世界的智慧結(jié)晶。文心一言基于龐大的知識圖譜，通過知識內(nèi)化和知識外用來實現(xiàn)知識增強(qiáng)。知識內(nèi)化，是從大規(guī)模知識和無標(biāo)注數(shù)據(jù)中，基于語義單元學(xué)習(xí)，利用知識構(gòu)造訓(xùn)練數(shù)據(jù)，將知識學(xué)習(xí)到模型參數(shù)中；知識外用，是引入外部多源異構(gòu)知識，做知識推理、提示構(gòu)建等等，使模型具備有效運用外部知識的能力。在知識的指導(dǎo)下，文心一言如同站在巨人的肩膀上，學(xué)得又好又快，模型效率和效果均大幅提升。
在檢索增強(qiáng)方面，文心一言借助了搜索引擎的能力。以語義理解與語義匹配為核心技術(shù)的新一代檢索架構(gòu)，深入理解用戶需求和網(wǎng)頁內(nèi)容，進(jìn)行語義匹配。通過引入搜索結(jié)果，可以為大模型提供時效性好、準(zhǔn)確性高的參考信息，更好地滿足用戶需求。
在對話增強(qiáng)方面，基于對話技術(shù)和應(yīng)用積累，文心一言具備記憶機(jī)制、上下文理解和對話規(guī)劃能力，使得對話的連貫性、合理性和邏輯性更好。
未來國力競爭與生產(chǎn)力提高的重要資源
大語言模型不僅僅是一項技術(shù)，更是未來國力競爭與生產(chǎn)力提高的重要資源。以深度學(xué)習(xí)平臺和大模型為代表的AI新型基礎(chǔ)設(shè)施，對科技創(chuàng)新、產(chǎn)業(yè)升級和高質(zhì)量發(fā)展意義重大。大語言模型的快速進(jìn)步，正在激發(fā)新業(yè)態(tài)、新模式，由此帶來的工作方式、教育模式等的變革，以及人工智能安全等問題引起社會的熱議。
在工作方式的變革方面，人工智能技術(shù)，本質(zhì)上是提升生產(chǎn)力的工具，可以跟人協(xié)同工作，也可以替代人完成一些工作，使我們有機(jī)會去做更具創(chuàng)造力的事情。人類歷史上任何一次科技革命和產(chǎn)業(yè)變革都會帶來一些工作被替代、工作方式的改變，同時創(chuàng)造了更多新的工作機(jī)會。如同汽車出現(xiàn)后，馬車夫這樣的工作不復(fù)存在，但汽車帶來的工作機(jī)會多了很多倍。隨著技術(shù)的進(jìn)步和生產(chǎn)效率的提高，人們的生活會越來越美好，因為科技創(chuàng)新帶來了各種各樣新的機(jī)會。
在教育模式變革方面，“死記硬背”已經(jīng)落伍，教育將與時俱進(jìn)，向激發(fā)靈感、培養(yǎng)創(chuàng)造力的方向轉(zhuǎn)變。在未來，如何用合理的輸入指令來使用大語言模型，如何基于大語言模型的輸出來進(jìn)行創(chuàng)造性工作，可能是每個人的必備技能。我們不僅要培養(yǎng)懂人工智能技術(shù)的人才，也要培養(yǎng)會運用人工智能技術(shù)在各行各業(yè)中解決問題的人才，才能在建設(shè)科技強(qiáng)國的征程上穩(wěn)步向前。
大語言模型及相關(guān)人工智能技術(shù)的發(fā)展，要堅定遵守相關(guān)法律法規(guī)和倫理規(guī)范，配備相應(yīng)的監(jiān)督和管理機(jī)制，從各個環(huán)節(jié)做好安全防范。在文心一言的開發(fā)過程中，從最初的數(shù)據(jù)的采集、處理，模型的訓(xùn)練，到最后的使用過程，構(gòu)筑了五道安全防線，也有數(shù)據(jù)管理委員會，與社會各界共同合作，不斷完善相關(guān)政策、規(guī)則，強(qiáng)化人工智能安全。
隨著大模型帶來的智能化創(chuàng)新熱潮不斷涌現(xiàn)，大語言模型的下一步會是通用人工智能嗎？就像人造地球衛(wèi)星永遠(yuǎn)也不會和月球這樣的自然衛(wèi)星畫等號一樣，人工智能永遠(yuǎn)也不會直接跟人類的智能完全畫等號，研究人工智能是在研究用技術(shù)手段來模擬、延伸和拓展人的智能，最終目的是為人類帶來更先進(jìn)的科技，服務(wù)于人類更美好的生活和社會的發(fā)展。人工智能的通用性越來越強(qiáng)，部分能力已經(jīng)達(dá)到或超越人的水平，比如人工智能棋手的水平已經(jīng)超過世界上最強(qiáng)的選手；自然語言理解的國際評測上，知識增強(qiáng)語言模型的得分已經(jīng)超過人類得分；智能質(zhì)檢設(shè)備可以檢測到人眼發(fā)現(xiàn)不了的缺陷和瑕疵，準(zhǔn)確率和檢測速度大幅提升等等，遠(yuǎn)遠(yuǎn)超過人的能力。從這個角度來看，可以認(rèn)為通用人工智能在一定程度上已經(jīng)實現(xiàn)了，但比起這個概念本身，我們更應(yīng)該關(guān)注人工智能為人類帶來的價值。
從大模型的產(chǎn)業(yè)模式來看，大模型依賴算法、算力和數(shù)據(jù)的綜合支撐，產(chǎn)業(yè)化面臨挑戰(zhàn)：模型體積大，訓(xùn)練難度高；算力規(guī)模大，性能要求高；數(shù)據(jù)規(guī)模大，數(shù)據(jù)質(zhì)量參差不齊。大模型需要類似“代工廠”的產(chǎn)業(yè)模式，即具有算法、算力和數(shù)據(jù)綜合優(yōu)勢的企業(yè)，將模型生產(chǎn)的復(fù)雜過程封裝起來，通過低門檻、高效率的生產(chǎn)平臺，為千行百業(yè)提供大模型服務(wù)。大語言模型既是人工智能發(fā)展的一個里程碑，更是分水嶺。未來，文心一言這類大語言模型會成為一個通用的賦能平臺，金融、能源、媒體、政務(wù)等各行各業(yè)，都可以基于實現(xiàn)智能化變革，提高效率，創(chuàng)造巨大的商業(yè)價值。
放眼全球，以文心一言為代表的國產(chǎn)大語言模型讓中國第一時間參與到世界前沿科技競爭中，意味著我國的人工智能可以參與制定競爭規(guī)則，掌握科技創(chuàng)新、經(jīng)濟(jì)發(fā)展的主動權(quán)，避免受制于人，也為產(chǎn)業(yè)上下游發(fā)展贏得先機(jī)。
