Quay lại bảng thuật ngữ 
11 phút đọc Token AI
Token AI là gì? Đây là khái niệm bạn sẽ gặp ngay khi dùng ChatGPT, Claude, Gemini hoặc gọi API của một mô hình AI, vì token quyết định lượng thông tin mô hình xử lý được và ảnh hưởng đến chi phí của nhiều yêu cầu API. Bài viết này giúp bạn hiểu cách tokenization hoạt động, sự khác nhau giữa input token và output token, cách token tác động đến chi phí và context window, cũng như cách giảm token thừa trong quy trình AI agent. Lưu ý: cụm từ “AI token” cũng có thể chỉ tiền mã hóa, nhưng bài viết chỉ tập trung vào token trong mô hình ngôn ngữ lớn và AI tạo sinh.
Token AI là đơn vị dữ liệu mà một mô hình ngôn ngữ lớn (LLM) xử lý khi đọc đầu vào hoặc tạo đầu ra. Với văn bản, một token có thể là một từ hoàn chỉnh, một phần của từ, một ký tự, dấu câu hoặc một đoạn văn bản khác, tùy vào mô hình và tokenizer.
Nếu nhóm của bạn đang xây dựng quy trình với AI agent, hiểu rõ token giúp kiểm soát chi phí khi agent làm việc qua nhiều bước. Multilogin được xây dựng cho cả con người và AI agent: agent có thể khởi chạy và vận hành điện thoại đám mây Multilogin cùng hồ sơ trình duyệt qua API. Bắt đầu miễn phí, không cần thẻ tín dụng.
Token trong AI là gì?
Token trong AI là một đơn vị dữ liệu nhỏ mà mô hình xử lý ở đầu vào hoặc tạo ra ở đầu ra.
Với các mô hình ngôn ngữ lớn xử lý văn bản, nội dung được chuyển thành token trước khi mô hình bắt đầu xử lý. Một token có thể đại diện cho một từ hoàn chỉnh, một phần của từ, một ký tự hoặc dấu câu.
Điều này có nghĩa là LLM không đơn thuần đếm số từ trong prompt của bạn. Mô hình xử lý một chuỗi token do tokenizer của nó tạo ra.
Tokenization trong AI tạo sinh hoạt động như thế nào?
Tokenization trong AI là quá trình chia văn bản thành các đơn vị nhỏ hơn để mô hình AI tạo sinh có thể xử lý.
Một tokenizer (bộ phân tách token) thực hiện việc chuyển đổi này trước khi văn bản đến được mô hình. Mỗi mô hình có thể dùng tokenizer hoặc cách mã hóa khác nhau, nên cùng một câu không nhất thiết cho ra cùng số token trên mọi mô hình.
Quy trình cơ bản như sau:
Văn bản đầu vào → Tokenizer → Token → Mô hình ngôn ngữ → Token đầu ra
Chính vì tokenization mà số từ không thể cho bạn biết chính xác mô hình AI sẽ xử lý bao nhiêu văn bản.
Ví dụ thực tế về tokenization trong AI
Tokenizer chuyển văn bản thành các đơn vị nhỏ hơn trước khi mô hình ngôn ngữ xử lý.
Hãy xem câu sau:
AI agent có thể tự động hóa các tác vụ trên trình duyệt.
| Giai đoạn | Điều gì xảy ra |
| Văn bản | AI agent có thể tự động hóa các tác vụ trên trình duyệt. |
| Tokenization | Tokenizer chia văn bản thành các đơn vị nhỏ hơn |
| Token ID | Mỗi token được biểu diễn bằng một con số để mô hình xử lý |
| Mô hình xử lý | Mô hình xử lý chuỗi token |
| Đầu ra | Mô hình tạo ra các token đầu ra mới |
Bảng không thể hiện ranh giới token cụ thể vì các mô hình khác nhau có thể tách cùng một câu theo những cách khác nhau. Ví dụ này minh họa quy trình, không có nghĩa là mọi mô hình đều chia văn bản giống nhau.
Token AI có giống với một từ không?
Không. Một token AI không phải lúc nào cũng tương đương một từ.
Một số từ ngắn hoặc phổ biến có thể được biểu diễn bằng một token duy nhất. Những từ khác cần nhiều token. Dấu câu, ký tự, khoảng trắng và các phần của từ cũng ảnh hưởng đến lượng token sử dụng.
Cách quy đổi từ sang token phụ thuộc vào ngôn ngữ và mô hình. Chẳng hạn, cùng một nội dung viết bằng tiếng Việt và tiếng Anh có thể cho ra số token khác nhau. Thay vì dùng một công thức cố định để quy đổi từ sang token, hãy dùng tokenizer hoặc phương pháp đếm token của chính mô hình bạn đang làm việc để có con số chính xác.
Input token và output token trong LLM là gì?
Input token (token đầu vào) là các token được gửi đến LLM, còn output token (token đầu ra) là các token do mô hình tạo ra.
Đầu vào có thể chứa nhiều hơn câu hỏi mà người dùng nhìn thấy. Tùy ứng dụng, đầu vào còn có thể gồm chỉ dẫn hệ thống, lịch sử hội thoại, thông tin được truy xuất, định nghĩa công cụ, tài liệu hoặc ngữ cảnh khác.
| Loại token | Ý nghĩa | Ví dụ |
| Input token | Thông tin được gửi đến mô hình | Prompt, chỉ dẫn, tin nhắn trước đó |
| Output token | Thông tin do mô hình tạo ra | Câu trả lời được tạo |
| Cached input token | Đầu vào đã xử lý trước đó và có thể được tái sử dụng | Ngữ cảnh lặp lại |
| Reasoning token | Phần xử lý mà một số mô hình suy luận sử dụng | Quá trình suy luận của mô hình trước khi đưa ra câu trả lời cuối |
Với đa số người dùng, input token và output token là hai loại quan trọng nhất cần hiểu khi ước tính mức sử dụng AI.
Token AI ảnh hưởng đến chi phí như thế nào?
Chi phí token AI phụ thuộc vào số token mà mô hình xử lý và cách nhà cung cấp định giá từng loại token.
Nhiều API AI tính phí riêng cho input token và output token. Một số nhà cung cấp còn áp dụng mức giá riêng cho cached input hoặc các loại token khác.
Vì vậy, câu trả lời ngắn không phải lúc nào cũng đồng nghĩa với yêu cầu rẻ. Một quy trình liên tục gửi chỉ dẫn dài, tài liệu, lịch sử hội thoại hoặc thông tin công cụ có thể tiêu tốn rất nhiều input token, dù câu trả lời cuối cùng chỉ vài dòng.
Để tính toán chính xác, hãy kiểm tra tài liệu giá hiện hành của nhà cung cấp và mô hình cụ thể mà bạn sử dụng.
Giới hạn token và context window hoạt động như thế nào?
Context window (cửa sổ ngữ cảnh) là lượng thông tin mà mô hình có thể xử lý trong một lần, còn giới hạn token là lượng thông tin đã được token hóa có thể nằm vừa trong ngữ cảnh khả dụng đó.
Ngữ cảnh có thể bao gồm chỉ dẫn hệ thống, prompt của người dùng, tin nhắn trước đó, tài liệu được truy xuất, thông tin công cụ và các dữ liệu khác được cung cấp cho mô hình.
Mô hình cũng có thể có giới hạn đầu ra riêng, nên lượng văn bản tối đa mà mô hình tạo ra có thể khác với tổng ngữ cảnh mà nó xử lý được.
Điều gì xảy ra khi prompt vượt quá context window?
Khi prompt lớn hơn context window, ứng dụng sẽ phải gửi ít thông tin hơn đến mô hình.
Cách xử lý cụ thể phụ thuộc vào mô hình, API và ứng dụng. Một yêu cầu quá lớn có thể bị lỗi, hoặc ứng dụng cần rút gọn, tóm tắt, chia nhỏ, cắt bớt hay quản lý ngữ cảnh theo cách khác trước khi xử lý.
Điều này đặc biệt quan trọng với các cuộc hội thoại dài và quy trình AI nhiều bước, nơi ngữ cảnh có thể tích lũy dần theo thời gian.
Cách ước tính lượng token AI bằng công cụ đếm token
Cách tính lượng token AI đáng tin cậy nhất là dùng token calculator, tokenizer hoặc phương pháp đếm token được thiết kế cho chính mô hình bạn sẽ sử dụng.
Tokenization có thể khác nhau tùy mô hình, cách mã hóa, ngôn ngữ, dấu câu và cấu trúc văn bản, nên chỉ dựa vào số từ sẽ thiếu chính xác.
Với các quy trình vận hành thực tế, bạn nên so sánh:
- số token ước tính trước khi gửi yêu cầu
- số input token và output token thực tế sau khi yêu cầu hoàn tất
Cách này giúp nhóm có cái nhìn sát thực tế hơn về lượng token AI sử dụng so với việc dựa vào một tỷ lệ quy đổi từ sang token chung chung.
Làm sao để giảm lượng token AI không cần thiết?
Các nhóm có thể giảm lượng token AI không cần thiết bằng cách chỉ gửi cho mô hình những thông tin mà tác vụ hiện tại thực sự cần.
Prompt dài hơn không tự động là prompt tốt hơn. Chỉ dẫn lặp lại, lịch sử hội thoại không liên quan, tài liệu quá lớn và đầu ra dư thừa đều làm tăng mức tiêu thụ token mà không cải thiện kết quả.
Một số cách hữu ích:
- Loại bỏ các chỉ dẫn trùng lặp.
- Chỉ gửi phần lịch sử hội thoại có liên quan.
- Chỉ truy xuất những phần tài liệu cần cho tác vụ hiện tại.
- Tóm tắt lịch sử hoặc tài liệu dài trước khi tái sử dụng.
- Giữ prompt ngắn gọn nhưng không bỏ sót chỉ dẫn quan trọng.
- Giới hạn độ dài đầu ra khi không cần thiết.
- Theo dõi riêng lượng input token và output token.
- Dùng caching khi nhà cung cấp hỗ trợ và ngữ cảnh lặp lại đủ nhiều để mang lại lợi ích.
Token AI được sử dụng thế nào trong quy trình AI agent?
Mỗi lần một AI agent gửi dữ liệu đến mô hình ngôn ngữ hoặc nhận lại đầu ra do mô hình tạo, token AI sẽ được tiêu thụ.
Một chatbot cơ bản có thể chỉ gọi mô hình một lần. Trong khi đó, AI agent có thể gọi mô hình nhiều lần trong quá trình lập kế hoạch, truy xuất thông tin, sử dụng công cụ, đánh giá kết quả và đưa ra quyết định tiếp theo.
Một quy trình đơn giản có thể trông như sau:
Yêu cầu của người dùng → Agent lập kế hoạch → Gọi công cụ → Kết quả từ công cụ → Mô hình phân tích → Hành động tiếp theo → Câu trả lời cuối cùng
Đầu ra của bước này có thể trở thành đầu vào của bước sau. Vì vậy, lượng token có thể tích lũy trong suốt quy trình nhiều bước, đặc biệt khi một lượng lớn ngữ cảnh liên tục được gửi lại cho mô hình.
AI agent cũng có thể vận hành điện thoại đám mây Multilogin qua API và ADB, cũng như hồ sơ trình duyệt qua Selenium, Puppeteer hoặc Playwright. Con người vẫn chịu trách nhiệm tuân thủ quy định của nền tảng và kiểm soát chất lượng đầu ra.
Với các nhóm đang xây dựng quy trình AI, hiệu quả sử dụng token không chỉ phụ thuộc vào độ dài prompt mà còn vào việc quyết định thông tin nào thực sự cần chuyển từ bước này sang bước tiếp theo.
“AI token” có phải là tiền mã hóa không?
Có. Cụm từ “AI token” cũng có thể chỉ một loại tiền mã hóa hoặc tài sản blockchain gắn với một dự án liên quan đến AI.
Đó là một nghĩa khác với token AI được đề cập trong bài viết này. Trong mô hình ngôn ngữ lớn và AI tạo sinh, token AI là một đơn vị dữ liệu được mô hình xử lý.
Ngữ cảnh xung quanh thường giúp phân biệt rõ hai nghĩa này. Khi nội dung nói về prompt, LLM, tokenizer, context window, giới hạn token hoặc chi phí API, “token” thường là token trong AI tạo sinh chứ không phải tiền mã hóa.
Thuật ngữ liên quan
Mô hình ngôn ngữ lớn (LLM): Mô hình được huấn luyện để xử lý và tạo ra ngôn ngữ cũng như các dạng thông tin khác.
AI agent: Hệ thống có thể hiểu mục tiêu, lựa chọn các bước, sử dụng công cụ và thực hiện hành động để hoàn thành một tác vụ.
Agentic AI: Các hệ thống AI được thiết kế để theo đuổi mục tiêu thông qua lập kế hoạch nhiều bước, sử dụng công cụ, thực hiện hành động và đánh giá kết quả.
Tokenizer: Thành phần chuyển đổi văn bản hoặc dữ liệu đầu vào khác thành token mà mô hình có thể xử lý.
Context window: Lượng thông tin mà mô hình có thể làm việc cùng lúc trong phạm vi giới hạn token khả dụng.
AI content automation: Việc sử dụng AI để tạo, chuyển đổi, sắp xếp hoặc phân phối nội dung như một phần của quy trình tự động hóa.
Mọi người cũng hỏi
Token trong mô hình ngôn ngữ AI là gì?
Một token là đơn vị văn bản nhỏ nhất mà một mô hình ngôn ngữ lớn đọc và tạo ra. Nó không đồng nghĩa với một từ. Đó có thể là một từ hoàn chỉnh, một phần của từ, một ký tự đơn lẻ hoặc một dấu chấm câu, tùy thuộc vào cách bộ phân tách token của thuật toán chia nhỏ dữ liệu đầu vào. Mỗi token riêng biệt được gán một mã số nhận dạng, nhờ đó mô hình có thể xử lý văn bản dưới dạng một chuỗi số, thay vì xử lý trực tiếp các ký tự thực tế.
Các từ được chia thành các token như thế nào?
Không có quy tắc chung nào quy định rõ ràng điểm bắt đầu và kết thúc của một token. Quá trình phân đoạn (tokenisation) phụ thuộc vào mô hình cụ thể, cách mã hóa, ngôn ngữ, cách viết hoa, khoảng cách giữa các từ và văn bản xung quanh. Các từ dài hơn (hoặc các từ ít phổ biến) thường được chia thành các phần nhỏ hơn có ý nghĩa, trong khi các từ ngắn và phổ biến thường ít khi bị phân đoạn. Đây là lý do tại sao hai mô hình khác nhau có thể phân đoạn cùng một câu theo cách khác nhau, và tại sao số lượng từ không bao giờ là một chỉ số đáng tin cậy để thay thế cho số lượng token. Một quy tắc chung, chẳng hạn như “một token tương đương khoảng bốn ký tự”, chỉ là một ước tính sơ bộ, chứ không phải là một quy tắc chuyển đổi cứng nhắc có thể áp dụng cho mọi mô hình và ngôn ngữ.
Các token đầu vào và đầu ra ảnh hưởng đến chi phí như thế nào?
Các token đầu vào (những gì bạn gửi) và token đầu ra (những gì mô hình tạo ra) thường được tính phí riêng biệt, và token đầu ra thường là phần đắt hơn trong công thức tính phí đó. Một số nhà cung cấp còn phân loại chi tiết hơn thành các danh mục như token đầu vào được lưu trong bộ nhớ đệm hoặc token suy luận, mỗi loại có mức giá khác nhau. Điều khiến mọi người bối rối là một câu trả lời ngắn gọn, trông có vẻ đơn giản lại có thể tiêu tốn lượng token nhiều hơn rất nhiều so với những gì văn bản hiển thị, bởi vì các hướng dẫn, tài liệu được truy xuất và các bối cảnh ẩn khác đều được tính là token đầu vào. Trên thực tế, chi phí không phụ thuộc nhiều vào lời nhắc mà bạn nhìn thấy, mà phụ thuộc nhiều hơn vào tất cả những gì mô hình thực sự phải xử lý để tạo ra câu trả lời đó.
Điều gì sẽ xảy ra khi một lời nhắc hoặc cuộc hội thoại vượt quá cửa sổ ngữ cảnh của mô hình?
Không có một quy tắc chung nào, và đó là câu trả lời trung thực: một số ứng dụng sẽ tự động rút gọn, tóm tắt, chia nhỏ hoặc cắt bớt nội dung đầu vào, trong khi những ứng dụng khác sẽ chỉ đơn giản là trả về thông báo lỗi. Lời khuyên chung an toàn nhất, được trích từ tài liệu hướng dẫn của các nhà cung cấp lớn, là bạn nên chủ động tự giảm bớt các nội dung đầu vào quá dài: cắt bớt các đoạn văn bản lặp lại, diễn đạt lại hoặc rút gọn lời nhắc, chia các tài liệu lớn thành nhiều phần nhỏ, hoặc tóm tắt văn bản trước khi gửi. Độ dài bối cảnh luôn được đo bằng token thay vì từ thông thường, đây là một lý do nữa khiến mô hình tư duy “đếm từ” trở nên không còn phù hợp khi cuộc trò chuyện trở nên dài.
Giới hạn đầu ra tối đa của một mô hình có phải là cùng một khái niệm với cửa sổ ngữ cảnh của nó không?
Không, đây là hai con số khác nhau mà người ta thường nhầm lẫn. Cửa sổ bối cảnh là tổng ngân sách token mà mô hình có thể chứa cho một yêu cầu duy nhất, bao gồm cả những gì bạn gửi vào và những gì mô hình tạo ra, trong khi giới hạn đầu ra tối đa là một giới hạn riêng biệt, nhỏ hơn, cụ thể là về độ dài của một phản hồi duy nhất. Vì các token đầu ra được tính vào tổng số token của cửa sổ bối cảnh, nên một phản hồi rất dài sẽ làm giảm dung lượng còn lại cho đầu vào trong cùng một trao đổi đó. Các nhà cung cấp ngày càng cung cấp các công cụ đếm token để các nhà phát triển có thể kiểm tra các con số này trước khi gửi yêu cầu, thay vì phải đoán mò.
