テキストやコードのトークン数を推定し、各モデルのコンテキストウィンドウをどれだけ使うかを確認できます。処理はすべてブラウザ内で完結します。
トークン数は推定値です(通常 ±15% 以内)。トークン化の方式はモデルファミリーごとに異なります。処理はすべてブラウザ内で行われ、テキストがアップロードされることはありません。
任意のテキストのトークン数を推定し、各AIモデルのコンテキストウィンドウをどれだけ使うかを確認しましょう。
モデルファミリーごとに独自のトークナイザーを使っているため、同じテキストでもGPT、Claude、Geminiでは数値が少しずつ異なります。当ツールの推定方式(英語で約4文字=1トークン、コードやCJK言語ではより少なめ)は概ね±15%以内に収まり、計画や予算立てには十分な精度です。
モデルが一度に扱えるトークン数の上限のことです。プロンプト、会話履歴、応答のすべてがこの枠を共有します。会話用のRAMのようなもので、いっぱいになると何かを追い出さなければなりません。
トークナイザーは記号、括弧、見慣れない識別子でコードを細かく分割するため、コードは自然な英文よりも1トークンあたりの文字数が少なくなります。つまり同じ文字数でもトークン数は多くなります。
いいえ。カウンターは完全にブラウザ内のクライアントサイドで動作します。貼り付けた内容が送信、記録、保存されることは一切ありません。