トークンとコンテキストウィンドウの解説

言語モデルは、トークンと呼ばれる小さな単位で情報を処理します。コンテキストウィンドウとは、モデルが一度に考慮できる情報量のことです。

重要性

プロンプトに明確なソース資料が含まれている場合、モデルはその資料を活用して、より関連性の高い回答を生成できます。入力が非常に長かったり、焦点が定まっていなかったりすると、重要な詳細を見つけにくくなることがあります。

実用的なヒント

大規模なタスクはセクションに分割し、望ましい結果を明示し、下書きの前にモデルに重要な事実を要約させましょう。そして、結果をソース資料と照らし合わせて確認してください。