Token

Định nghĩa về token, đơn giản là token là “đơn vị nhỏ nhất” mà mô hình lớn hiểu và xử lý ngôn ngữ. Máy tính không giống con người có thể đọc theo “chữ” hoặc “từ”, về bản chất chúng chỉ nhận biết các số. Để máy có thể xử lý văn bản, cần phải cắt nhỏ và chuyển đổi văn bản thành một chuỗi các số.