在這個大語言模型風靡的時代，Context Size 代表模型能夠處理的對話內容長度上限。它就像模型的短期記憶容量，決定了它能記住多少上下文。

回想 ChatGPT 剛流行時，它的 Context Size 大概只有 4K tokens，處理簡單的文書內容或短暫對話已經綽綽有餘。但如今，大多數模型的 Context Size 都從 128K 起跳，甚至能一次消化一個中等規模的程式碼庫。有些頂尖模型更達到了驚人的百萬 tokens 級別，讓人不由得感慨技術進步之快。

現在，假設你手邊的模型只有 4K 的 Context Size，你會怎麼使用它？對我來說，大概只適合簡單任務，比如文字潤色、程式碼小修小補，或者快速解答瑣碎問題。畢竟，超過這個限制，對話就會開始「遺忘」，模型的回應也會變得斷斷續續。

隨著大語言模型越來越強調同理心、情感理解等特性，越來越多人開始讓它們走進內心世界，扮演諮商師或朋友的角色。你可以和它傾訴煩惱、分享日常，甚至建立一種虛擬的親密關係。但這時，Context Size 又成為一個關鍵主題：當對話累積到超過上限時，你的這位「朋友」或「諮商師」就會開始忘記一些細節——可能是最早的對話內容，端看系統如何管理上下文的機制。這不僅是技術限制，更是提醒我們，AI 的記憶終究有限。

現在，讓我們把視角拉回現實。請打開你的通訊軟體，看看那位你忘不掉但卻已經絕對不會再聯絡的人。點開聊天紀錄，看看有多少對話內容，看看你佔用了這個人多少「Context」在這份過往上。那些累積的訊息，是否像 tokens 一樣，佔據了彼此的記憶空間？