
從生成語言學到自然語言處理(二):LLM 的推理 v.s. 人類的推理
掌握母語知識後,幼兒便能開始創造其「一生中從沒看過或聽過」的句子。反觀 LLM,以 Meta 開發的 Llama 3.1 405B為例,根據官方給出的數據,其訓練資料包含超過 15 兆個字元,這幾乎可以說是網際網路出現以來所有的文本資料了,並且其訓練用的硬體設備不論在記憶體大小還是執行速度上,都遠超幼兒大腦。集大量軟硬體資源於一身的 LLM 在「語言知識」上仍與普通人類有基本的差異,甚至在某些特定情境下,不及那個每天早上只靠一杯咖啡保持頭腦清醒、侃侃而談的你。