25.2. 基本的な用語

LLMsに関連する基本的な用語を紹介します．

プロンプト

LLMsに与える指示や質問をプロンプトと言います．LLMsからの応答は，一般にプロンプト次第で変わり，ユーザに役に立つかどうかも変わります．良い応答を引き出すための工夫を，プロンプトエンジニアリングとも言います．ユーザが入力するプロンプトとは別に，「あなたは有能なアシスタントです」などと事前に指示する，システムプロンプトがあります．

コンテクスト

入力として与える情報に相当します．会話の場合は最新のメッセージだけでなく，これまでの会話履歴 (LLMからの応答も含む) も入力します．画像やPDF，プログラムのソースコードなどを与えることもあります．どれだけ長いコンテクストを保持できるかは，LLMsの能力 (モデルの大きさなど) によります．

トークン

LLMsの入出力のデータの大きさを示します．文章の場合は，単語数にだいたい比例します．利用料金算出の単位にも使われます．

モデル

多くのサービスでは，複数のモデルから使うものを選べます．一般的な傾向としては，大きなモデルほど高機能で，小さなモデルは応答が速いです．モデルの大きさの指標として，学習パラメータの数が使われることがあります．たとえば 24b なら 24 billions の意味です．

電子透かし (digital watermarking)

人の文章や画像と区別するなどの目的でに，LLMsの出力に目印を埋め込むことが主要なサービスで行われています．人が読んで分かる目印もありますが，見た目では分からず専用の判定プログラムを使って見分ける手法もあります．これを電子透かしと言います．出力された文章を多少書き換えても，透かしが失われないようなアルゴリズムが研究されています．

ハルシネーション (hallucination)

LLMsは，「分からない」ということが苦手なようで，たまに自信ありそうに明らかな誤りを言うことがあります．ハルシネーションは，細かくは文脈によりますが，そのようなLLMs の不適切な出力を指します．

Cutoff date

LLMsは，ウェブの文書などその時点で存在するデータを用いて訓練されます．そのため，過去のことは学習する機会がありますが，学習終了時点から未来のことは知りません．これをcutoff dateと言います．それ以降の事柄について意味のある応答を得るためには，参考となる資料を入力として与える必要があります．