メインコンテンツへスキップ
kitlocal.dev

トークナイザー可視化

ローカルで実行

100% ブラウザ内で処理されます。入力や出力が端末の外に送信されることはありません。

AIのトークナイザーごとにテキストがどうトークン分割されるかを可視化します。