Os modelos de IA generativa, assim como os do Gemini, dividem os dados em unidades chamadas tokens para processamento. Cada modelo do Gemini tem um número máximo de tokens que ele pode processar em comandos e respostas.
Nesta página, mostramos como receber uma estimativa da contagem de tokens e do número de caracteres faturáveis em uma solicitação.
Quais informações são fornecidas na contagem?
Observe o seguinte sobre a contagem de tokens e caracteres faturáveis:
Contar o total de tokens
Essa contagem é útil para garantir que suas solicitações não ultrapassem o limite permitido janela de contexto.
A contagem de tokens refletirá o tamanho de todos os arquivos (por exemplo, imagens). que são fornecidos como parte da entrada request. Ele não contará a quantidade de imagens ou o número de segundos de um vídeo.
Em todos os modelos do Gemini, um token equivale a cerca de quatro caracteres. 100 tokens equivalem a cerca de 60 a 80 palavras em inglês.
Contar o total de caracteres faturáveis
Essa contagem é útil para entender e controlar seus custos, já que Para Vertex AI, o número de caracteres faz parte do cálculo do preço.
A contagem de caracteres faturáveis refletirá o número de caracteres no text que é fornecido como parte da entrada request.
Para Vertex AI, os tokens não fazem parte do cálculo de preços. Saiba mais sobre limites de token por modelo e o preço por modelo.
Preços e cotas para contagem de tokens e caracteres faturáveis
Não há restrições de cobrança ou cota para o uso da API CountTokens. A cota máxima para a API CountTokens é de 3.000 solicitações por minuto.