探索人工智能與語言科學的連結:《語言學與人工智能:基礎概念與實作》修課心得

從語言學與人工智慧的交會中,我看見了語言結構知識在實務應用上的潛力。這樣不同視角的討論不僅開闊了我的學習視野,也深化了我對語言學在 AI 發展中所能扮演角色的理解。

探索人工智能與語言科學的連結:《語言學與人工智能:基礎概念與實作》修課心得

文:曾宜苹(國立陽明交通大學外國文學暨語言學研究所)

從社會趨勢出發,以好奇心探索人工智能與語言科學的連結

AI 是當前社會與科技發展的熱門趨勢也是核心議題。在日常生活中,大型語言模型(如 ChatGPT)、自動翻譯與語音辨識,都是 AI 的相關應用,無處不在,似乎已經成為日常生活的一部分。ChatGPT 生成語言、自動翻譯成為即時口譯的另一項可能、語音辨識減少了打字的不便,種種都是與語言相關的應用。雖然我自己並非電資相關領域背景出身,但面對這樣的未來趨勢,與其被動地接受這些改變,我認為有必要更為積極主動地接觸相關知識與議題,主動去理解它們背後的原理與可能性。

上學期末選課時,王文傑老師開授的《語言學與人工智能:基礎概念與實作》 在外文系的修課選擇當中獨樹一格,在當時立即吸引了我的注意,也引起我對於選修這門課的興趣。不同於文學作品閱讀或語言學理論的課程,也非其他英文寫作、翻譯等語文技能課程,這門課將語言學與 AI 結合,打破以往對於 AI 只會是電資學院課程的印象,結合語言學與 AI,進行工程實作,突破傳統外文系的課程框架。

我選這門課並不是抱著「要全面掌握 AI」的心態來選課,而是希望能從語言學的角度切入,看看語言學與 AI 這兩大認知科學領域如何有交集以及是否真的能有對話互惠的可能性。在修課以前,我對於語言學的理解停留在理論層面,對於要如何將句法樹幾何結構、語意邏輯表示式這些課本上的理論知識應用到實際工程層面感到困惑,這些研究語法結構與語意邏輯的理論要如何與 AI 結合?直到上完這門課以後,我才理解語言學在 AI 這個領域當中可以扮演的角色。這門課不同於典型的語言學課程,也絕非一般的電腦課程,而是融合兩者,試圖從「階層結構」(hierarchical structure)與「合成語意理解」(compositional semantics)的角度切入語言與機器的關係

階層結構的意思是:語言不是一連串平面線性的字詞接龍,而是有高低深淺的層次、像樹狀圖一樣的結構。也就是說,人類使用字詞來組合句子的時候,這些字詞不是一個接一個地排排站,而是兩兩配對,依序組成更大的單位(像是片語),這些片語又再兩兩配對組成更大的單位(像是子句或整句話)。舉例來說,例句(1)表面上只有五個詞的線性排列(the/ detective/saw/the/thief),但站在語言學研究的觀點,它的組合細節其實如(2)所示,分成不同層次的單位:“the” 與 “detective” 的組合形成 “the detective” 名詞片語(noun phrase, NP), “saw the thief” 是一個動詞片語(verb phrase, VP),其中 “saw” 是動詞,受詞 “the thief” 是由 “the” 與 “theif” 組合而成的名詞片語。這些字詞的兩兩配對,依序組合,小單位組成大單位,就會自然形成具有高低深淺的階層結構。

  1. The detective saw the thief.

  2. [NP The detective] [VP saw [NP the thief]].


階層結構的重要性在於它能解釋「合成語意理解」,合成語意理解是指句子的語意來自其組成部件以及組合方式。舉例來說,我們將介系詞片語 “with a telescope” 加進例句(1)之後,產生了例句(3),例句(3)有(3a)以及(3b)兩種的語意解讀。而例句(3)之所以有這兩種語意,正是因為動詞組內,介系詞片語的組合方式有(4)以及(5)這兩種可能。

  1. [NP The detective] [VP saw [NP the thief] [PP with a telescope]].

a. 偵探使用望遠鏡看到了小偷。

b. 偵探看到了帶著望遠鏡的小偷。

  1. (3a)的語意合成過程:

a. …saw +  [NP the thief]
b. …[VP saw the thief] + [PP with a telescope]


  1. (3b)的語意合成過程:
    a. … [NP the thief] + [PP with a telescope]
    b. …saw + [NP the thief with a telescope]

上述兩項語言學中的句法學和語意學的知識,因為具備「結構」與「組合」的這個概念而易於與電腦程式設計結合。這樣的課程設計讓我感受到兩個領域之間知識交會的可能性,也正是我最初選課時追求的未知與挑戰。


從理論語法到應用工程實作,看見語言學的應用潛力

這門課的另一個特色,是讓我從實作層面理解到語言學理論的落地應用。過去的語言學課程都是從理論層面的分析切入,像是句法結構分析、語意邏輯分析等,知道生成語言學因為句式的變化可以生成出不同的句子,但未曾見識過這樣的「生成」該如何體現在 AI 上。在這門課中,老師強調的不是語言學是一門多麼高深的學問,而是這些語言學的理論知識如何做為基礎,與程式語言能力結合,成為機器理解與生成語言的關鍵條件。透過課堂上的示範與操作,我見證了生成語法如何被做成實際的模型,讓機器透過語言結構來產生有意義的句子。這對我而言是相當震撼的體驗,也顛覆了我對於語言學未來可能的想像。

在課堂中也大量介紹了不同類型的 AI 技術,如向量語意1、人工神經網路2、深度學習3 等,在了解這些目前的主流技術以後,再引導我們比較這些技術與語言理解的差異,思考這些主流 AI 技術與(人類)語言理解本質上的不同。

例來說,向量模型雖然十分強大,但當這樣的技術對語言缺乏結構性理解時,往往只能處理表層資訊,無法穩健地掌握合成性語意邏輯(compositional semantics)。反之,語言學提供了架構,讓我們能夠從階層結構(hierarchical structure)出發,有能力去分析詞(組)與詞(組)之間的結構依存關係(structural dependency)與抽象符號代數意涵(symbolic-algebraic meaning)。老師在上課時介紹過的 Articut、Loki 等工具,便是以階層結構以及合成語意的概念來處理語言。透過這些工具在課堂上進行的實作任務讓我明白,語言不僅僅是可以被分析的內容,也可以被建構與操作。我在下一節將以實際案例說明如何運用語言學知識,來建構與操作一個語言模型。


1. 向量語意透過詞向量(word embedding)的技術,將詞轉為數值以後,投射在高維向量空間,在向量空間中距離愈近的兩個詞數值相差愈小,表示兩者語義愈接近。

2. 人工神經網路(Artifical Neural Network)是一種計算模型,本質是數字序列(sequence of real numbers),運作的基本操作是一個數字序列透過被稱為神經元的結構映射(map)至另一數字序列的函數運算。每個神經元節點接收來自其他節點的訊號,進行函數運算處理後再將結果傳遞給其他節點。人工神經網路可以透過訓練調整權重,讓預測等任務的表現更好。

3. 而深度學習(Deep Learning)是運用多層人工神經網路進行機器學習的一種方式(因此這個「深度」只是說層次很多很深,並不是「深刻理解」),多層人工神經網路的函數運算可以表現出學習現象的原因在於輸入(input)函數的每一個數字是帶有比重的(weighted),而數字比重也可視訓練資料與訓練者的監督回饋(supervision)進行彈性調整,進而影響每次運算輸出結果(output),因此人工神經網路可以表現出隨著資料訓練與監督回饋產生逐步接近研究者期望的學習表徵。以上這些技術都是目前主流的 AI 技術,卻未對語言有結構性的理解。

將檔案內容轉換為自然語言的任務

在這門課的實作內容當中,讓我印象最深刻的,是一次需要將字典格式的檔案轉換為 Q&A 模式的任務。字典格式的檔案如圖 1 的這種 JSON 檔案格式。

圖1:JSON 檔案格式


對電腦而言,字典格式這種一個 key 對應一個 value 的格式是一種很容易處理的格式,然而人類並不會這樣對話,人類的對話方式如圖 2:

圖 2:人類對話模式下的問答


圖 2 中左邊的方括號代表需要填入一個名詞片語(Noun Phrase),在這裡就會填入圖 1 檔案內提供的「○○公司」,而右邊方括號上的 HUMAN 標記,則是代表需要填入的是一個具有人類特性的名詞。

圖 2 是一組人類問答對話,A 是一個 WH 問句,因此在句子的受詞位置,也就是標記 HUMAN 的這個方括號,會需要一個 WH 疑問詞,而在 WH 疑問詞當中,語意性質和「人類/人名」有關的 WH 詞是「誰」,因此將「誰」填入圖 2A 的受詞位置。圖 2B 是這組對話中的答句,是一個直述句,在這個對話中,為了回應問句 A 的問題,答句 B 的受詞位置需要給出一個相對應的答案,去除「誰」的疑問成分以後,在這個位置還需要一個帶有人類特性的名詞,再加上需要明確回答 A 的提問,因此填入檔案提供的負責人「陳小明」。生成語言學的句法和語意課程的訓練,就是這段操作的背景知識。

像圖 2 這種一問一答的對話方式,是人類習慣的得到解答的方法,先說出一個問句,再從對話中另一方的回答中獲得答案。圖 2 中 A 說的問句需要被回答的是「誰」這個疑問詞,而在 B 的答句中,「陳小明」則回答了這個問題。人類在對話時不會只拋給對方一個 key ,並期待這樣就能得到 value 作為回應,這些 key 與 value 必須被語言結構的框架包裝起來。因此,這項任務的核心概念便在於,一個檔案中的內容應該如何有效並且方便地被人類提取,而這也會讓檢索的過程變得更為直觀。

這項任務要處理的檔案內容為公司登記的公開資訊,若想要將這樣的檔案轉換為問答模式,我們需要將一個已經被整理好的字典格式檔案經過兩個階段的處理。

第一階段是將圖 1 這樣的字典格式內容轉換為圖 2 的 B 這樣的直述句。我們需要設計一個直述句,並將檔案內容中的 key 和 value 放入句子當中相對應的位置,如:「○○公司負責人(key)是陳小明(value)。」,像這樣的處理便是將字典格式檔案的 key 與 value 放入中文的句法結構當中。在這個階段的處理,就是人類語言問答對話中「答」的部分。

第二階段則是將第一階段產生的直述句轉換為問句,也就是將圖 2 的 B 這樣的直述句轉換為 A 這樣的疑問句。在轉換過程中,我們會思考句子的哪一個部分可以被替換為 WH 疑問詞。WH 疑問詞有:「誰、什麼、哪裡、什麼時候」,等等這些疑問詞,替換為問句的話就會變成像圖 2A:「○○公司的負責人是?」這樣的句子。

但是相同意思的疑問詞通常不只有一個,同樣意義的問句還可以將上述問句當中的「誰」替換為「哪位」,變成:「○○公司的負責人是哪位?」。像這樣可能會有多個同義詞時,我們在設計模型的時候可能無法全部都想到,在這種情況下就可以與大型語言模型結合,讓大型語言模型幫忙想這些疑問詞的同義詞,而在需要結構的語法部分再交給人類。將人類擅長的任務:「生成合法自然的句子」交給人類,將適合大型語言模型的任務:「大量生成詞彙」交給大型語言模型,分工合作、各司其職,便能做成一個強大的模型。最後再將做好的模型串接到 Discord 上,成為聊天機器人,讓人類使用者可以在聊天室中與聊天機器人進行對話,變成一般人也能輕易操作的模型。

在直述句到問句之間的轉換任務中,我才理解到這樣的轉換原來在實際應用層面可以被如此利用!而這種根據資料庫內容獲取回答依據的模型也讓每一次的問答皆有所本,可以知道這個回答並不是任意生成。像這樣的模型便很適合做成閉源模型,因為並不是每一個使用者的需求都允許模型即時線上搜尋答案(特別是那些注重安全、穩健以及隱私的產業,如財金、法律、醫療與高科技業)。


動手做、勇敢問、積極參與,會學到更多!

這門總整實作課程對於現代 AI 領域普遍認為生成語言學(generative linguistics)無用的討論讓我深受啟發。許多現有的大型語言模型忽略語法結構,僅依賴大量資料與統計規則來產生語句序列接龍,看似有效,卻也暴露出其理解能力上的限制。老師在課堂上用具體實例分析 AI 不了解語言結構可能帶來的風險。這樣不同視角的討論不僅開闊了我的學習視野,也強化了我對語言學在 AI 發展中可以扮演的角色的認識。

如果有同學對這門課有興趣、正在考慮要不要選課,我會推薦大家:「可以修!」。但也必須要提醒大家,這門課與一般的語言學或電腦課程不同,它是一門跨領域整合程度相當高的課程,需要選修同學具備一定程度的自主學習動力並保持開放學習的心態,也需要同學在課餘時間每週額外投入大約 6 小時以上的時間。除了對語言學的句法知識需要先有一定程度的理解以外,也需要對電腦程式有基本的實際操作能力,例如 Python、正則表達式(regex)等。雖然老師在課堂上不會強調程式設計技巧,但在課堂上使用語言處理工具,如果有基礎會更快理解概念,也更能主動進行嘗試,在實作過程中才比較不會因為基礎概念卡住而難以參與課程中動手做的部分。

此外,這門課相當重視動手操作與課堂互動。建議想要修課的同學們可以在課堂上多提問、多分享自己的想法,甚至主動嘗試延伸案例中的應用方式。這門課最大的價值,除了「知道」語言學如何與 AI 結合以外,還在於能夠真正「做」出一點東西。無論是在課堂上每週的實作練習或者是回家作業,只要肯動手實作,都會有所收穫。

更重要的是,這門課並不只是一門冷冰冰的科技課程,而是一門富有哲學思辨與探討的課程。老師經常引導我們思考「什麼是理解?」、「人類語言是如何運作的?」、「AI 真的懂語言嗎?」、「機器是這樣運作的,那人類呢?」這些問題雖然抽象,但值得反覆思考。這些思考過程讓課程不只是技能傳授,也同時是一場思維訓練。相信這對於任何一位想要理解人工智慧與語言學真正本質的學生而言,這門課都會是一場充滿挑戰但極為珍貴的體驗。

文章分類

標籤

作者介紹

陽明交通大學外國語文系

陽明交通大學外國語文系

國立陽明交通大學向以理工、醫學及管理見長,有鑒於科技的發展宜導以人文的關懷、博雅的精神,而資訊的流通則取決於語文的運用,因此於民國八十三年八月成立外國語文學系。

本系發展著重人文與科技之深層多元整合,以本系文學、語言學之厚實知識素養為底,再廣納本校資訊理工、管理、醫學以及其他人社領域等豐厚資源,創造多元與融合的學術環境,開拓具前瞻性及整合性之研究與學習,以培養兼具系統性思考及人本軟實力的學生,使其成為兼具在地及國際性多層次觀點與分析批判能力的未來領導者。

在研究所的規劃上,語言學方面主要是結合理論與實踐,特別重視學生在基本語言分析及獨立思考能力上的訓練。除語言各層面的結構研究外,本系也尋求在跨領域如計算機與語言的結合及語言介面上之研究 (如句法語意介面研究)能有所突破,並以台灣的語言出發,呈現出台灣語言(台灣閩南語、台灣華語、南島語)多樣性,融入社會觀察,如自閉語者聲學、聽障相關研究、社會語音學研究以及台灣語言的音變等。

相關文章

<< 上一篇