從生成語言學到自然語言處理（一）：LLM和人類一樣嗎？
句法語意 科技應用
現在的生成式人工智慧能做到的事情越來越多，也越做越好。像是ChatGPT這樣的大型語言模型應用，從一般的問答、文章翻譯、摘要到檢查，甚至程式碼的撰寫，都能幫上忙。而身為語言學研究所的學生，我對於機器和資訊系統學習人類語言這件事情感到驚奇之餘，也很好奇 LLM 和人類在「語言知識的儲存表徵與運用機制」的差異究竟在哪裡？
句法語意
精選文章
將真值判斷模擬為理性言語行為
影音 句法語意
在這場演講中，加州大學爾灣分校的 Gregory Scontras 教授探討兒童在語言理解中對真值判斷的表現，特別是為何他們對多義句的解讀與成人不同。他提出三個關鍵影響因素——語法處理能力、對話情境的理解以及對描述世界的預期，並透過貝葉斯理性言語行為模型分析其作用。研究結果顯示，語用因素比語法處理對兒童的判斷影響更大，並有最新的成人數據進一步支持這些發現。
解釋你的語感！補充資訊的字大有不同，誰最不可或缺？
句法語意
而要從學習上得到成就感，我覺得最大的因素之一就是學以致用。當我們要說一個「法國的英文老師」會說 “a French English teacher”，而非 “an English French teacher”。你有沒有想過為什麼呢？
從生成語言學到自然語言處理（三）：語法檢查任務的實作
句法語意 科技應用
我們進行這個實驗並不是想表達 LLM 不好，而是想實際應用簡單的語言學知識，驗證這些形式化的分析是否真的能實現「在接受這麼少的前提的情況下，知道這麽多」的效果。我們的實驗成果顯示 pyLiteracy 在文法檢查這類小型 NLP 任務中的表現十分出色。最重要的是，仰賴更貼近人類對語言的理解方式，它能用相比於 LLM 而言，非常非常少的資源就完成任務，在這個專案中，我們用非常非常少的語言學知識就省下了非常多的資源。
從生成語言學到自然語言處理（二）：LLM 的推理 v.s. 人類的推理
句法語意 科技應用
掌握母語知識後，幼兒便能開始創造其「一生中從沒看過或聽過」的句子。反觀 LLM，以 Meta 開發的 Llama 3.1 405B為例，根據官方給出的數據，其訓練資料包含超過 15 兆個字元，這幾乎可以說是網際網路出現以來所有的文本資料了，並且其訓練用的硬體設備不論在記憶體大小還是執行速度上，都遠超幼兒大腦。集大量軟硬體資源於一身的 LLM 在「語言知識」上仍與普通人類有基本的差異，甚至在某些特定情境下，不及那個每天早上只靠一杯咖啡保持頭腦清醒、侃侃而談的你。
從生成語言學到自然語言處理（一）：LLM和人類一樣嗎？
句法語意 科技應用
現在的生成式人工智慧能做到的事情越來越多，也越做越好。像是ChatGPT這樣的大型語言模型應用，從一般的問答、文章翻譯、摘要到檢查，甚至程式碼的撰寫，都能幫上忙。而身為語言學研究所的學生，我對於機器和資訊系統學習人類語言這件事情感到驚奇之餘，也很好奇 LLM 和人類在「語言知識的儲存表徵與運用機制」的差異究竟在哪裡？
外文系數位時代的戰略與戰術
句法語意 科技應用
本文為一系列作者對於語言學與自然語言處理活動及實習的心得紀錄，包含參與Python自然語言處理工作坊，以及林融與王文傑的演講紀錄