什麼是 Token？為什麼 AI 要用 Token？

用白話先理解 Token 是什麼

Token 是 AI 在處理文字時使用的基本單位，可以是一個字、一個詞，或詞的一部分，而不是我們直覺認為的「一句話」。

對電腦來說，整句話太複雜，無法直接運算。為了讓模型能處理文字，語言必須被拆解成較小、可計算的單位，這就是 Token 的由來。

透過把文字轉成 Token，模型才能進行預測、比較與生成，並在數學空間中運作。

可以把 Token 想像成樂高積木。完整的句子是成品，而 Token 是一塊塊積木。模型並不是一次產生整句話，而是一塊一塊地把積木接起來。

每產生一個 Token，模型就重新評估下一個最合理的 Token 是什麼，直到完成整段輸出。

在實務中，Token 不只影響模型怎麼理解文字，也直接影響成本、速度與上下文長度。

在 Vibe Coding 或 AI 協作流程中，理解 Token 的概念有助於你判斷：為什麼提示詞太長會變慢、為什麼上下文會被截斷、為什麼使用成本會隨內容增加。

第一個常見誤解是，以為 Token 等於字數。實際上，不同語言與詞彙拆解方式會產生不同數量的 Token。

第二個誤解是，認為只要輸出內容多才會花 Token，其實輸入內容同樣會計入。

第三個誤解是，忽略 Token 與上下文限制的關係，導致 AI 無法記住前面的內容。

如果你只是偶爾與 AI 對話、進行簡單詢問，Token 通常不會成為問題。

但在大量自動化、長對話或系統級應用中，Token 幾乎一定需要被考慮。