[Q]
Azure OpenAI の利用料金はトークン数に依存していますが、トークンとは何でしょうか。
[A]
自然言語学習モデルは、「トークン」と呼ばれる単語や文字のかたまりに対して学習されます。
例えば、「hamburger」という単語は、「ham」「bur」「ger」というトークンに分けられますが、「pear」のような短い一般的な単語は1つのトークンとなります。
学習した自然言語モデルがユーザーの入力を受けると、その入力もトークンに分割されます。
以下のツールを利用して、トークン数の調べることが可能です。
https://platform.openai.com/tokenizer
下記の英語の場合は、84文字で16トークンとカウントされます。
| How AI makes developers’ lives easier, and helps everybody learn to develop software |
下記の日本語の場合は、40文字で58トークンとカウントされます。
| AI がどのように開発者の生活を楽にし、誰もがソフトウェア開発を学ぶのに役立つか |
[更新日]
Update:202303