Liczenie tokenów i znaków podlegających rozliczeniu


Modele generatywnej AI (takie jak modele Gemini) rozkładają dane na jednostki nazywane tokeny do przetworzenia. Każdy model Gemini ma maksymalną liczbę tokenów który może obsłużyć w prompcie i odpowiedzi.

Na tej stronie dowiesz się, jak oszacować liczbę tokenów i liczbę płatne znaki w żądaniu.

Jakie informacje zawiera liczba?

Pamiętaj o liczeniu tokenów i znaków podlegających rozliczeniu:

  • Zliczanie łącznej liczby tokenów

    • Dzięki temu masz pewność, że żądania nie przekraczają dopuszczalnej okna kontekstu.

    • Liczba tokenów odzwierciedla rozmiar wszystkich plików (np. obrazów). podawane w polu żądania. Nie będzie natomiast liczyć liczba obrazów czy liczba sekund filmu.

    • We wszystkich modelach Gemini token odpowiada około 4 znakom. 100 tokeny składają się z około 60–80 słów w języku angielskim.

  • Zliczanie wszystkich znaków podlegających rozliczeniu

    • Ta liczba pomaga zrozumieć i kontrolować koszty, ponieważ w przypadku Vertex AI liczba znaków jest przy obliczaniu ceny.

    • Liczba znaków podlegających rozliczeniu będzie odzwierciedlać liczbę znaków w wartości tekst podawany w polu request.

W przypadku Vertex AI tokeny nie są uwzględniane przy obliczaniu cen. Więcej informacji o limity tokenów na model i cenę dla danego modelu.

Ceny i limit liczenia tokenów i znaków podlegających rozliczeniu

Korzystanie z interfejsu API CountTokens nie wiąże się z żadnymi opłatami ani ograniczeniami. maksymalny limit dla interfejsu API CountTokens wynosi 3000 żądań na minutę.

Przykładowe fragmenty kodu

Tylko tekst

Wprowadzanie wielomodalne