科研范式是常規(guī)科學(xué)所賴以運(yùn)作的理論基礎(chǔ)和實(shí)踐規(guī)范,隨著科學(xué)的發(fā)展以及外部環(huán)境的推動,人類的科學(xué)研究已經(jīng)經(jīng)歷了經(jīng)驗(yàn)科學(xué)、理論科學(xué)、計(jì)算科學(xué)以及數(shù)據(jù)科學(xué)四類范式。ChatGPT取得的矚目成果展現(xiàn)了人機(jī)融合驅(qū)動的創(chuàng)新研究巨大潛力,可以看出,如今科研范式的變革正處在“哥白尼革命”的前夜,其基本理論和方法將會發(fā)生巨大變化。本文從ChatGPT的研發(fā)邏輯出發(fā),分析了ChatGPT對科研范式變革的啟示,對結(jié)合非線性抽象思維(人)和邏輯推理(機(jī))的人機(jī)融合新科研范式進(jìn)行了展望。
1. 科研范式總是隨著科技的重大進(jìn)步而變革
科學(xué)研究范式,指的是常規(guī)科學(xué)研究所賴以運(yùn)作的理論基礎(chǔ)和實(shí)踐規(guī)范,是從事研究的科學(xué)家群體所共同遵從的世界觀和行為方式[1]。科學(xué)研究范式建立的目的是幫助科學(xué)家們以最有效的方式完成科學(xué)研究,提高科學(xué)研究的準(zhǔn)確性和可靠性。
科學(xué)研究范式不是一成不變的,它會隨著科學(xué)的發(fā)展以及外部環(huán)境的推動不斷發(fā)生變化。由于科學(xué)家對科學(xué)研究范式的信奉,受到時代認(rèn)知的局限性,某種科學(xué)研究范式總會在科學(xué)發(fā)展到一定程度后顯示出不足而無法解決一些問題,出現(xiàn)困難、矛盾和困惑,這種矛盾推動了科學(xué)家們的反思和進(jìn)一步探索,進(jìn)而逐漸形成新的科學(xué)研究范式。美國科學(xué)哲學(xué)家Kuhn認(rèn)為,科學(xué)家從一個舊范式跳到一個新范式時,往往是從一個預(yù)測性較弱的范式跳到一個預(yù)測性較強(qiáng)的范式,只不過他們在這樣做的時候,根本無法理解新范式優(yōu)越的預(yù)測力背后的根本原因[2]。根據(jù)圖靈獎得主Jim Gray的觀點(diǎn),人類的科學(xué)研究已經(jīng)經(jīng)歷了四類范式,分別是經(jīng)驗(yàn)范式、理論范式、模擬仿真范式和數(shù)據(jù)挖掘范式[3]。科學(xué)研究范式的演進(jìn)對于科學(xué)家理解和解決更復(fù)雜的科學(xué)研究問題發(fā)揮著重要指導(dǎo)性作用。
第一范式:經(jīng)驗(yàn)范式:以經(jīng)驗(yàn)主義和人的深度思考為主導(dǎo)的科學(xué)研究范式,實(shí)驗(yàn)是開展研究的主要手段。實(shí)驗(yàn)法最早可追蹤到古希臘和中國,數(shù)千年文明史中,人類絕大多數(shù)技術(shù)發(fā)展源于對自然現(xiàn)象觀察和實(shí)驗(yàn)總結(jié)。典型案例如:人類記錄各種自然現(xiàn)象(鉆木取火、摩擦起電等),柏拉圖、亞里士多德對哲學(xué)的思考等。經(jīng)驗(yàn)對于科學(xué)研究是必不可少的,但經(jīng)驗(yàn)范式本質(zhì)上是在已經(jīng)猜測的理論之間進(jìn)行選擇,而不是發(fā)現(xiàn)理論[4]。
第二范式:理論科學(xué):當(dāng)實(shí)驗(yàn)條件不具備的時候,第一范式難以為繼,此時為了研究更為精確的自然現(xiàn)象,催生出了新的科學(xué)研究范式。第二范式是以建模和歸納的理論學(xué)科和分析為主導(dǎo)的科學(xué)研究范式。相比于依賴觀察和實(shí)驗(yàn)的第一范式可以做到“知其然”,第二范式的科學(xué)理論需要做到“知其所以然”,對自然界某些規(guī)律做出背后原理性的解釋,不再局限于描述經(jīng)驗(yàn)事實(shí)。如:數(shù)學(xué)中的集合論、圖論、數(shù)論和概率論;物理學(xué)中的經(jīng)典力學(xué),相對論、弦理論、圈量子引力理論;地理學(xué)中的大陸漂移學(xué)說、板塊構(gòu)造學(xué)說;氣象學(xué)中的全球暖化理論;經(jīng)濟(jì)學(xué)中的微觀經(jīng)濟(jì)學(xué)、宏觀經(jīng)濟(jì)學(xué)以及博弈論;計(jì)算機(jī)科學(xué)中的信息論等[4]。
第三范式:計(jì)算科學(xué):隨著理論研究的深入,以量子力學(xué)和相對論為代表的理論對超凡的頭腦和復(fù)雜的計(jì)算提出了超高要求,同時驗(yàn)證理論的難度和經(jīng)濟(jì)投入也越來越大,第二范式面臨重大瓶頸和挑戰(zhàn),迫切需要提出新的科學(xué)研究范式。第三范式是以計(jì)算和模擬為主導(dǎo)的科學(xué)研究范式,由1982年諾貝爾物理學(xué)獎獲得者肯尼斯·威爾遜(Kenneth Wilson)提出并確立。20世紀(jì)后半葉,伴隨高性能計(jì)算機(jī)和基于大規(guī)模并行計(jì)算的計(jì)算機(jī)體系結(jié)構(gòu)的發(fā)展,科學(xué)家嘗試在理論模型指導(dǎo)下,利用計(jì)算機(jī)設(shè)計(jì)數(shù)值求解算法、編寫仿真程序來推演復(fù)雜理論、模擬復(fù)雜物理現(xiàn)象,如彈藥爆炸、病毒傳播、天氣預(yù)報(bào)、人口增長、溫室效應(yīng)等。借助計(jì)算機(jī)的巨大算力,科學(xué)家可以精確地、大規(guī)模地求解方程組,進(jìn)而去探索那些無法通過實(shí)驗(yàn)法和理論推導(dǎo)法解決的復(fù)雜問題。經(jīng)過合理的模型假設(shè)和簡化,第三范式主導(dǎo)的計(jì)算科學(xué)在經(jīng)濟(jì)學(xué)、心理學(xué)、認(rèn)知科學(xué)等缺乏簡單、直觀分析解決方案的軟科學(xué)問題中同樣取得了成功應(yīng)用。
第四范式:數(shù)據(jù)科學(xué):第三范式是先提出可能的理論,再搜集數(shù)據(jù)進(jìn)行仿真計(jì)算和驗(yàn)證,然而隨著科學(xué)的發(fā)展和環(huán)境的變化,人們可能已經(jīng)擁有了大量的數(shù)據(jù),但難以直接提出可能的理論,此時第三范式的指導(dǎo)意義有限,需要開發(fā)或總結(jié)新的科學(xué)研究范式。第四范式是以數(shù)據(jù)驅(qū)動為主導(dǎo),通過數(shù)據(jù)和算力探索前沿的科學(xué)研究范式,由1998年圖靈獎獲得者吉姆·格雷(JimGray)提出。第四范式以數(shù)據(jù)考察為基礎(chǔ),聯(lián)合理論、實(shí)驗(yàn)和模擬等方法于一體,也稱數(shù)據(jù)密集型科學(xué)[5]。其與第三范式的區(qū)別在于,隨著數(shù)據(jù)量的高速增長,計(jì)算機(jī)不僅僅局限于按照科學(xué)家設(shè)定的程序規(guī)則開展模擬仿真,還能從海量數(shù)據(jù)中發(fā)現(xiàn)規(guī)律,形成基于關(guān)聯(lián)關(guān)系的科學(xué)理論,其本質(zhì)是通過海量數(shù)據(jù)的收集代替人類傳統(tǒng)的經(jīng)驗(yàn)觀察過程,借助機(jī)器的高算力代替人類的歸納推理,從而實(shí)現(xiàn)遠(yuǎn)超經(jīng)驗(yàn)范式的理論歸納能力。這種通過程序+數(shù)據(jù)發(fā)現(xiàn)規(guī)則的過程,可以在一定程度上代替過去由科學(xué)家才能完成的工作。當(dāng)今處于數(shù)據(jù)爆炸的時代,數(shù)據(jù)科學(xué)成為技術(shù)發(fā)展的前沿領(lǐng)域,第四范式強(qiáng)調(diào)借助并行計(jì)算、數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)等技術(shù)去發(fā)現(xiàn)隱藏在數(shù)據(jù)中的關(guān)系與聯(lián)系,將數(shù)據(jù)作為解決問題的工具而非問題本身。
2. ChatGPT正在接近人類研究問題的邏輯
2.1 ChatGPT/GPT4研發(fā)邏輯
ChatGPT是由OpenAI最新發(fā)布的一種對話式自然語言處理模型,其前身是InstructGPT模型[6],與BERT[7]等大語言模型(Large Language Model,LLM)相同,GPT采用了以Transformer[8]為核心的編碼器-解碼器結(jié)構(gòu)。通俗來講,該類模型的原理類似于人腦的語言處理過程,基于自注意力機(jī)制編碼器能夠獲取文本內(nèi)部的關(guān)聯(lián)關(guān)系,進(jìn)而將其編碼為可存儲、更抽象的語義向量。解碼器則可根據(jù)該語義向量生成文本序列。鑒于自然語言任務(wù)的內(nèi)在相似性,通過在海量文本數(shù)據(jù)上進(jìn)行自監(jiān)督訓(xùn)練,可以得到具有豐富知識表達(dá)的預(yù)訓(xùn)練模型,達(dá)到“理解”語言的目的,通過在機(jī)器翻譯、知識問答等不同下游任務(wù)上進(jìn)行微調(diào)訓(xùn)練,即可完成多種自然語言處理任務(wù)。
GPT第一代到第三代采用的都是監(jiān)督學(xué)習(xí)的思路,但數(shù)據(jù)規(guī)模和模型規(guī)模爆炸式增長,GPT-1的參數(shù)量是1.17億,預(yù)訓(xùn)練數(shù)據(jù)量約5GB,GPT-2分別使用了15億參數(shù)和40GB的訓(xùn)練數(shù)據(jù),而GPT-3的模型參數(shù)量多達(dá)1750億,預(yù)訓(xùn)練數(shù)據(jù)量多達(dá)45TB[9],模型效果也明顯提高,但是仍然存在內(nèi)容胡編亂造、不遵循用戶的明確指示、內(nèi)容偏見有害等顯著問題。
而ChatGPT的火爆,在于其文本生成結(jié)果的準(zhǔn)確性、完整度、連貫性、交互性相較于GPT-3有了顯著提升,在問答對話、代碼生成、文本摘要等不同領(lǐng)域都接近甚至超過了人類水平。相對于GPT-3,ChatGPT核心創(chuàng)新點(diǎn)主要有三個方面。
2.1.1 指示學(xué)習(xí)(Instruct Learning)
大語言模型的主流訓(xùn)練模式經(jīng)歷了數(shù)次變遷。首先是預(yù)訓(xùn)練+微調(diào)(Pre-training + Fine-tuning),接著是提示學(xué)習(xí)(Prompt Learning)。但真正改變規(guī)則的是指示學(xué)習(xí)的前身——上下文學(xué)習(xí)(InContext Learning)。
OpenAI自GPT-2的研發(fā)中就開始探索大語言模型的泛化遷移(即零樣本、小樣本)能力,希望能夠?qū)崿F(xiàn)訓(xùn)練一個模型作為基座支撐,用戶只需調(diào)用接口,輸入想讓其完成的任務(wù)要求即可,并不需要對大語言模型進(jìn)行領(lǐng)域微調(diào)。但由于GPT-2僅拋棄微調(diào)階段,其余基本延續(xù)GPT-1的兩模式,其效果并不好。當(dāng)?shù)搅薌PT-3時,上下文學(xué)習(xí)被開創(chuàng)性的提出,部分解決了上述困境。與之前的訓(xùn)練模式相比,上下文學(xué)習(xí)在預(yù)訓(xùn)練階段將輸入樣本組織成“任務(wù)描述+樣例+提示”的模式,通過海量樣本和1750億訓(xùn)練參數(shù)的支撐,GPT-3基本實(shí)現(xiàn)了零樣本能力。
OpenAI并未止步于此。在他們對人工智能的設(shè)想中,應(yīng)該是人工智能優(yōu)化改善人們的生活,而不是用戶倒過來遷就它。上下文學(xué)習(xí)的確有效,但不符合人類的使用模式。日常中,非人工智能從業(yè)者們很難給出一個規(guī)范的“任務(wù)描述+樣例+提示”,以要求人工智能給出答案。因此,OpenAI在ChatGPT的訓(xùn)練中繼續(xù)往前走了一步,雇用了40名標(biāo)注人員進(jìn)行提示(Prompt)設(shè)計(jì)等工作[6],以人的認(rèn)知經(jīng)驗(yàn)引導(dǎo)模型的訓(xùn)練。在指示學(xué)習(xí)中,所有輸入樣例都符合真實(shí)應(yīng)用場景中,人們的語言習(xí)慣和行文風(fēng)格。比如執(zhí)行翻譯任務(wù),訓(xùn)練樣本大致上是“幫我把這個英文句子翻譯成中文:Today is a good day”。通過這一設(shè)計(jì),真正讓人工智能服務(wù)于人類日常應(yīng)用,并在最終性能表現(xiàn)上證明了其優(yōu)異性。
2.1.2 人類反饋的強(qiáng)化學(xué)習(xí)(Reinforcement Learning with HumanFeedback,RLHF)
自Deepmind2017年研制出AlphaGo系列橫掃圍棋界后,強(qiáng)化學(xué)習(xí)破圈走進(jìn)大眾視野。但其在自然語言處理領(lǐng)域始終未能得到良好應(yīng)用,根本原因之一在于目標(biāo)難定義。不像棋類游戲那樣有明確的規(guī)則約束,一段人工智能生成的文字或是給出的回答,很難直接判定“好壞”,這也就導(dǎo)致了強(qiáng)化學(xué)習(xí)中的獎勵機(jī)制難以界定。
OpenAI在ChatGPT的實(shí)踐中給出了一個精妙的設(shè)計(jì)思路,即人類反饋的強(qiáng)化學(xué)習(xí)。整個過程包含三個階段。一是有監(jiān)督學(xué)習(xí)階段。先是通過專業(yè)標(biāo)記者設(shè)計(jì)出小規(guī)模、高質(zhì)量、全領(lǐng)域的提示語(Prompt),然后利用這些數(shù)據(jù),微調(diào)GPT-3。二是獎勵模型訓(xùn)練階段。利用上一步獲得的GPT-3,對收集到的真實(shí)問題生成系列答案,不同于以往給予生成文本固定獎勵值的模式,OpenAI采用了答案排序機(jī)制:以是否符合人類認(rèn)知作為標(biāo)準(zhǔn)對文本進(jìn)行排序。讓專業(yè)標(biāo)記者對這些生成的答案進(jìn)行排序,并用這些答案數(shù)據(jù)訓(xùn)練一個獎勵模型。三是策略網(wǎng)絡(luò)學(xué)習(xí)階段。此處基于PPO的強(qiáng)化學(xué)習(xí)模式[10],針對輸入的問題,讓新模型(另一個GPT-3)生成答案,接下來通過前一步獲得的獎勵模型對答案打分,反饋更新策略網(wǎng)絡(luò)。完成了強(qiáng)化學(xué)習(xí)的自訓(xùn)練迭代模式。
這一過程中最重要的創(chuàng)新點(diǎn)在于引入了人類的認(rèn)知,答案不再是機(jī)器自己判斷,或者少數(shù)專家給出“黃金解”(Ground Truth)。而是整合了用戶的閱讀習(xí)慣、言語風(fēng)格等多方位的背景知識后,給出了相對合理的排序讓機(jī)器去理解。
2.1.3 思維鏈(Chain of Thought,CoT)
思維鏈的技術(shù)通俗易懂,將以往期望模型能夠一步學(xué)會的過程進(jìn)行拆解,逐步輸入到機(jī)器里。譬如計(jì)算一個復(fù)雜的數(shù)學(xué)邏輯題目,將計(jì)算過程分拆為一個個具體的步驟,指導(dǎo)模型一步步學(xué)習(xí)。
ChatGPT于2022年11月投入用戶使用后,OpenAI不斷對其在實(shí)踐中暴露出的偏見、倫理、安全等方面的問題進(jìn)行不斷優(yōu)化。但ChatGPT基座的GPT3.5模型本質(zhì)上是僅能處理自然語言的單模態(tài)模型,未能將音視頻、圖像等多模態(tài)信息納入其處理能力范疇。然而,隨著2023年3月14日GPT4的發(fā)布,這些短板也被攻克。OpenAI總裁兼聯(lián)合創(chuàng)始人格雷格·布羅克曼(Greg Brockman)表示:“GPT4不僅僅是一個語言模型,它還是視覺模型?!痹诠俜窖菔疽曨l中,格雷格用筆和紙畫了個網(wǎng)站草圖,拍照上傳給GPT-4,讓其自主編寫一個網(wǎng)頁,后者僅用1到2秒的時間,就生成了網(wǎng)頁代碼、制作出了幾乎與圖中一模一樣的網(wǎng)站。
在具體性能方面,GPT4可接受的文字輸入長度提升到了2.5萬個單詞,允許長內(nèi)容創(chuàng)建、擴(kuò)展對話以及文檔搜索和分析等??梢愿鼫?zhǔn)確地解決高級推理難題,具有更廣泛的常識和解決問題的能力,在專業(yè)和學(xué)術(shù)方面更是表現(xiàn)出接近于人類的水平。在模擬律師考試中,GPT4的得分能排進(jìn)前10%左右,而GPT3.5的得分只能排在倒數(shù)10%左右。此外,GPT4不僅能對文本或圖片進(jìn)行單獨(dú)的識別,還可以接受圖文混排的內(nèi)容。遺憾的是,OpenAI此次僅給出了98頁關(guān)于GPT4的技術(shù)性能報(bào)告,未透露任何技術(shù)實(shí)現(xiàn)方面的細(xì)節(jié)。
2023年3月24日,OpenAI更是進(jìn)一步宣布在ChatGPT中實(shí)現(xiàn)了對插件的初始支持,能夠幫助ChatGPT訪問最新信息、運(yùn)行計(jì)算或使用第三方服務(wù)。此外,不僅親自下場提供了兩款插件:網(wǎng)絡(luò)瀏覽器和代碼解釋器,還開源了知識庫檢索插件的代碼,由任何開發(fā)人員自行托管。換句話說,OpenAI破除了ChatGPT能力邊界的限制,通過第三方插件的形式,逐步打造新的AI生態(tài)圈,能夠?yàn)槿祟愐率匙∫约肮ぷ?、學(xué)習(xí)等方方面面提供更加優(yōu)質(zhì)的服務(wù)。
2.2 科研范式變革之前夜
復(fù)雜模型、海量數(shù)據(jù)、超大算力是當(dāng)前科技的鮮明特征。據(jù)谷歌統(tǒng)計(jì),自數(shù)字化時代以來全球產(chǎn)生的數(shù)據(jù)量基本服從“大數(shù)據(jù)摩爾定律”,即每兩年就會翻一倍。尤其是近年來,隨著一些復(fù)雜系統(tǒng)的出現(xiàn),以及物聯(lián)網(wǎng)技術(shù)的發(fā)展,人類社會積累的數(shù)據(jù)量呈加速增長趨勢。例如,歐洲核子研究中心大型強(qiáng)子對撞機(jī)每秒鐘就可以產(chǎn)生40兆兆字節(jié)的數(shù)據(jù),一架波音噴氣機(jī)引擎每分鐘即產(chǎn)生20兆兆字節(jié)運(yùn)行信息。國際數(shù)據(jù)公司(IDC)曾預(yù)測,全球數(shù)據(jù)總量將從2018年的33ZB(1ZB=10^21字節(jié))增長到2025年的175ZB[11]。
通過超大算力對海量數(shù)據(jù)進(jìn)行知識挖掘,通過人工智能技術(shù)實(shí)現(xiàn)復(fù)雜系統(tǒng)的推理,使得科學(xué)研究的效率得到了空前提高。在應(yīng)用科學(xué)領(lǐng)域,李飛飛團(tuán)隊(duì)大型圖數(shù)據(jù)庫ImageNet[12]涵蓋約2萬類、1400萬張標(biāo)注了類別的圖像,通過使用深度學(xué)習(xí)技術(shù)成功地提高了圖像識別的準(zhǔn)確率,將錯誤率降低到了歷史最低水平;谷歌旗下DeepMind公司的AlphaZero[13]使用了深度學(xué)習(xí)和強(qiáng)化學(xué)習(xí)方法,在40天內(nèi)進(jìn)行了約4900萬次圍棋自我對弈,并達(dá)到了超越人類和其他計(jì)算機(jī)程序的水平。在基礎(chǔ)科學(xué)領(lǐng)域,DeepMind使用人工智能來幫助證明或提出新的數(shù)學(xué)定理,輔助數(shù)學(xué)家形成對復(fù)雜數(shù)學(xué)的直覺;AlphaFold基于生命科學(xué)積累的大量數(shù)據(jù),能在幾分鐘內(nèi)預(yù)測出一個典型蛋白質(zhì)的結(jié)構(gòu),無需對蛋白質(zhì)進(jìn)行結(jié)晶或使用昂貴的冷凍電鏡進(jìn)行研究,顛覆了傳統(tǒng)結(jié)構(gòu)生物學(xué)的研究模式。在分子生物學(xué)、天文學(xué)、地理科學(xué)、大氣科學(xué)等數(shù)據(jù)積累豐富、結(jié)構(gòu)化程度高、問題定義清晰的領(lǐng)域,數(shù)據(jù)和人工智能的結(jié)合已經(jīng)帶來了科研范式的巨大變革。
當(dāng)前,科學(xué)研究正在進(jìn)入人機(jī)融合的時代,ChatGPT采用人機(jī)融合的設(shè)計(jì)模式。借助人類反饋的強(qiáng)化學(xué)習(xí)技術(shù)實(shí)現(xiàn)了對話這一自然語言處理任務(wù)的突破,2023年3月14日發(fā)布的GPT-4模型[14],擁有圖像識別、高級推理等功能,其單詞處理能力是GhatGPT的8倍,在模擬律師考試、SAT(美國高考)數(shù)學(xué)考試中成績分別超過90%和89%人類考生,可見,在具有主觀、非線性、不良結(jié)構(gòu)特征的研究對象上,僅靠機(jī)器已經(jīng)難以實(shí)現(xiàn)有效的科學(xué)發(fā)現(xiàn),基于人機(jī)融合的科學(xué)研究方式開始展現(xiàn)其強(qiáng)大的潛力。
近年來,大數(shù)據(jù)、人工智能等相關(guān)技術(shù)的更新?lián)Q代呈現(xiàn)出越來越快的趨勢。以自然語言處理(NLP)領(lǐng)域?yàn)槔?,其自誕生之日起歷經(jīng)五次研究范式轉(zhuǎn)變,其中小規(guī)模專家知識方法發(fā)展了40年(1950-1990),淺層機(jī)器學(xué)習(xí)模型發(fā)展了20年(1990-2010),深度學(xué)習(xí)算法發(fā)展歷時10年(2010-2017),而大語言模型從2018年概念提出到ChatGPT產(chǎn)品落地才用了5年。新一代技術(shù)何時出現(xiàn)不得而知,但也許,我們已經(jīng)到了科研范式發(fā)生變革的前夜。
3. 人機(jī)融合的科研第五范式漸露端倪
隨著數(shù)據(jù)獲取以及計(jì)算能力的不斷提高,科學(xué)研究從經(jīng)驗(yàn)范式發(fā)展到了數(shù)據(jù)科學(xué)范式,可以從海量數(shù)據(jù)中挖掘出僅憑人腦難以發(fā)現(xiàn)或總結(jié)的科學(xué)規(guī)律,但經(jīng)過多年的科學(xué)實(shí)踐可以發(fā)現(xiàn),不論是計(jì)算科學(xué)還是數(shù)據(jù)科學(xué)范式,在面對社會、經(jīng)濟(jì)、人腦智能等復(fù)雜巨系統(tǒng)科研對象時,都存在數(shù)理模型難以構(gòu)建、數(shù)據(jù)學(xué)習(xí)效率低下、內(nèi)在機(jī)理不明等局限性,數(shù)據(jù)科學(xué)范式的主要作用是發(fā)現(xiàn)關(guān)聯(lián)規(guī)律,而忽略了因果關(guān)系,而很多情況下,簡單的因果推斷就能勝過大量數(shù)據(jù)分析所得到的經(jīng)驗(yàn)規(guī)律[16],如果僅靠數(shù)據(jù)的統(tǒng)計(jì)分析,不賦予機(jī)器常識和深度理解能力,則很難在復(fù)雜對象的科學(xué)理論發(fā)現(xiàn)上達(dá)到人類的智能水平[17][18]。GPT1到GPT3等ChatGPT的前代版本通過典型的數(shù)據(jù)科學(xué)范式進(jìn)行設(shè)計(jì),雖然在很多自然語言處理任務(wù)上取得了較好的效果,但難以實(shí)現(xiàn)類人響應(yīng),ChatGPT進(jìn)行了顛覆式迭代,通過將人類經(jīng)驗(yàn)融合到模型設(shè)計(jì)當(dāng)中,使其具備了從人類的反饋中強(qiáng)化學(xué)習(xí)并重新思考的能力,在對話這一自然語言處理任務(wù)上實(shí)現(xiàn)了突破性的效果。
可以看出,通過將人的直覺性經(jīng)驗(yàn)或?qū)<倚越?jīng)驗(yàn)融合到數(shù)據(jù)模型或者計(jì)算模型當(dāng)中,以人類專家經(jīng)驗(yàn)引導(dǎo)改進(jìn)“機(jī)器”的低效探索,發(fā)揮“機(jī)器”的計(jì)算能力優(yōu)勢和人類的直覺性優(yōu)勢,以人機(jī)融合、人在回路的形式進(jìn)行科學(xué)實(shí)踐,可以彌補(bǔ)“機(jī)器”無法感知或推理某些難以量化的科學(xué)規(guī)律上的局限性。隨著研究對象從客觀對象向主觀對象不斷發(fā)展、從簡單系統(tǒng)向復(fù)雜巨系統(tǒng)不斷拓展,科學(xué)研究的范式也正在從數(shù)據(jù)科學(xué)范式向人機(jī)融合的第五范式轉(zhuǎn)變。
在已有的四個科研范式中,科技進(jìn)步為人們提供了新的理論、方法和工具,但人類始終沒有被作為生產(chǎn)力列入科研范式之中。事實(shí)上,人在科研范式中的主導(dǎo)地位一直存在,例如第一范式中人類觀察總結(jié),第二范式中人類歸納推導(dǎo),第三范式中人類建模分析,第四范式中人類設(shè)計(jì)框架等。人在科研范式中的主導(dǎo)地位是因?yàn)槿祟惥哂蟹蔷€性抽象思維,人的大腦是開放變化的復(fù)雜系統(tǒng),能夠輕松實(shí)現(xiàn)整體大于部分之和;善于處理關(guān)聯(lián)演化性問題,哪怕對于無跡可尋的事物也可能頓悟致知。科研范式發(fā)展到今天,借鑒ChatGPT的研發(fā)邏輯,人的定位應(yīng)該從幕后走向臺前,為擅長邏輯推理的機(jī)器賦予人類特有的非線性抽象思維,機(jī)器積累量變,人腦觸發(fā)質(zhì)變,螺旋升級共同促進(jìn)科學(xué)技術(shù)的進(jìn)步和發(fā)展,實(shí)現(xiàn)真正意義上的人機(jī)融合,稱之為科研第五范式。
人機(jī)融合的科研第五范式可簡要概述如下:首先,人類深度參與、促進(jìn)并主導(dǎo)機(jī)器進(jìn)化,創(chuàng)造更加開放、更加智能、更加強(qiáng)大的工具;其次,新工具將人類從一部分“體力”勞動中解放出來,讓人集中精力于非線性抽象思維,同時新工具還可能提高人類的整體認(rèn)知水平,為人腦進(jìn)化創(chuàng)造新環(huán)境;然后,認(rèn)知或思維進(jìn)化后的人類再次/同時促進(jìn)擅長邏輯推理的機(jī)器進(jìn)化,如此迭代,相互糾纏,螺旋上升。
- 總結(jié)
如美國著名哲學(xué)科學(xué)家Thomas Samuel Kuhn所述,科研范式是常規(guī)科學(xué)所賴以運(yùn)作的理論基礎(chǔ)和實(shí)踐規(guī)范。ChatGPT的橫空出世,讓我們看到,如今科研范式的變革正處在“哥白尼革命”的前夜,其基本理論和方法將會發(fā)生巨大變化。如同牛頓引力理論取代亞里士多德物體運(yùn)動理論,相對論和量子物理取代引力理論,達(dá)爾文進(jìn)化論取代神創(chuàng)論。在經(jīng)歷經(jīng)驗(yàn)科學(xué)范式(直觀描述現(xiàn)象)、理論科學(xué)范式(基于模型或歸納表征現(xiàn)象)、計(jì)算科學(xué)范式(仿真模擬復(fù)雜現(xiàn)象)、大數(shù)據(jù)科學(xué)范式(數(shù)據(jù)分析挖掘)之后,我們相信以邏輯推理(機(jī))結(jié)合非線性抽象思維(人)的人機(jī)融合新科研范式無疑將會大放異彩,它更加強(qiáng)調(diào)創(chuàng)新導(dǎo)向、價值導(dǎo)向、貢獻(xiàn)導(dǎo)向;更有利于推動科研模式從無價值負(fù)載的信馬由韁式研究轉(zhuǎn)向負(fù)責(zé)任、有組織的研究轉(zhuǎn)變,更能夠促進(jìn)如曼哈頓工程、阿波羅登月計(jì)劃、引力波探測、中國的神舟飛船等大科學(xué)、大工程的建設(shè),在未來科學(xué)技術(shù)發(fā)展中占據(jù)主流位置,成為推動科技發(fā)展的重要基礎(chǔ)。
* 轉(zhuǎn)載請注明:周剛,王銳,李凱文,宋國鵬,黃生俊,劉天宇,廖勁智,劉威,“覺悟ChatGPT,科研第五范式即將來臨”,2023年04月04日。
* 聯(lián)系人:王銳,國防科技大學(xué)系統(tǒng)工程學(xué)院,湖南省長沙市開福區(qū)德雅路109號,郵箱:szxtgc_nudt@163.com 。
* 本文首發(fā)于中國仿真學(xué)會公眾號,2023/4/4。
參考文獻(xiàn):
[1]Tansley S, Tolle K M. The fourth paradigm: data-intensivescientific discovery[M]. Redmond, WA: Microsoft research, 2009.
[2]Kuhn T S. The structure of scientific revolutions[M].University of Chicago press, 2012.
[3]Hey T, Trefethen A. The fourth paradigm 10 years on[J].Informatik Spektrum, 2020, 42: 441-447.
[4][英]戴維·多伊奇. 無窮的開始:世界進(jìn)步的本源(第2版)[M].人民郵電出版社, 2019.
[5]Bell G, Hey T, Szalay A. Beyond the data deluge[J]. Science,2009, 323(5919): 1297-1298.
[6]黃欣卓, 米加寧, 章昌平, 等. 科學(xué)數(shù)據(jù)復(fù)用研究的演化, 知識體系與方法工具——兼論第四科研范式的影響[J]. 科研管理, 2022, 43(8): 100.
[7]Ouyang L, Wu J, Jiang X, et al. Training language models tofollow instructions with human feedback[J]. arXiv preprint arXiv:2203.02155,2022.
[8]Devlin J, Chang M W, Lee K, et al. Bert: Pre-training of deepbidirectional transformers for language understanding[J]. arXiv preprintarXiv:1810.04805, 2018.
[9]Vaswani A, Shazeer N, Parmar N, et al. Attention is all youneed[J]. Advances in neural information processing systems, 2017, 30.
[10] Brown T, Mann B, Ryder N, et al. Language models are few-shotlearners[J]. Advances in neural information processing systems, 2020, 33:1877-1901.
[11] Schulman J, Wolski F, Dhariwal P, et al. Proximal policyoptimization algorithms[J]. arXiv preprint arXiv:1707.06347, 2017.
[12] Reinsel D, Gantz J, Rydning J. The digitization of the worldfrom edge to core[J]. IDC white paper, 2018, 13.
[13] Deng J, Dong W, Socher R, et al. Imagenet: A large-scalehierarchical image database[C]//2009 IEEE conference on computer vision andpattern recognition. Ieee, 2009: 248-255.
[14] Silver D, Hubert T, Schrittwieser J, et al. A generalreinforcement learning algorithm that masters chess, shogi, and Go throughself-play[J]. Science, 2018, 362(6419): 1140-1144.
[15] OpenAI. GPT-4 Technical Report[R]. arXiv preprint arXiv:2303.08774, 2023.
[16] Pearl J, Mackenzie D. The book of why: the new science ofcause and effect[M]. Basic books, 2018.
[17] Mitchell M. Artificial intelligence: A guide for thinkinghumans[M]. Penguin UK, 2019.
[18] Marcus G, Davis E. Rebooting AI: Building artificialintelligence we can trust[M]. Vintage, 2019.