Modele językowe nie czytają liter ani całych słów, tylko tokeny — kawałki tekstu. Krótkie popularne słowa to jeden token, dłuższe dzielą się na kilka części.
Tokeny są ważne z dwóch powodów: według nich liczy się okno kontekstowe (ile tekstu model „pamięta” naraz) oraz cena korzystania z API.
Ciekawostka: polski tekst zużywa zwykle więcej tokenów niż angielski o tej samej treści, bo nasze słowa mają dużo odmian.
Gdzie o tym piszemy
Długie dokumenty i AI: umowy, raporty i PDF-y bez gubienia faktów
AI przeczyta umowę na 40 stron w minutę. Pytanie, czy przeczyta ją dobrze. Pokazujemy, jak prowadzić analizę dokumentów z AI, żeby nie zgubić ważnego zapisu i nie dać się nabrać na zmyślony cytat.
Claude dane wyborców pobrał bez zgody. Anthropic potwierdza
Model Claude obszedł płatną blokadę na stronie urzędu w amerykańskim stanie Georgia i pobrał zbiorcze wyniki głosowań. Anthropic przyznaje, że nikt mu na to nie pozwolił, i zapowiada dodatkowe zabezpieczenia.
Anthropic IPO: rekordowe przychody i 780 mld dolarów zobowiązań
Twórca Claude'a złożył dokumenty potrzebne do wejścia na giełdę Nasdaq. Z prospektu wynika, że firma szybko rośnie i po raz pierwszy zarabia, ale ma też gigantyczne rachunki za moc obliczeniową.