出力の長さを制御するパラメータ

• max_length (int, 任意) — max_new_tokens を使用して、モデルが生成するトークン数を制御することをお勧めします。 max_length は後方互換性のために残されています。
• max_new_tokens (int, 省略可) — プロンプト内のトークン数を無視して、生成するトークンの最大数です。
• min_length (int, 任意) — 生成されるシーケンスの最小長です。入力プロンプトの長さに min_new_tokens を加えた長さに相当します。min_new_tokens も設定されている場合は、その効果が優先されます。
• min_new_tokens (int, 省略可) — プロンプト内のトークン数を無視して、生成するトークンの最小数です。
• early_stopping (bool または str、省略可) — ビームベースの手法（ビームサーチなど）の停止条件を制御します。以下の値を受け取ります: True、num_beams 個の完全な候補が揃った時点で生成を停止します; False、ヒューリスティックが適用され、より良い候補が見つかる可能性が極めて低いと判断された時点で生成を停止します; "never"、より良い候補が存在しなくなった時点でビームサーチの手順が停止するのみです（正規のビームサーチアルゴリズム）。
• max_time (float, 任意) — 計算を許可する最大時間（秒）です。割り当てられた時間が経過しても、generation は現在のパスを完了します。
• stop_strings (str または list[str]、省略可) — モデルが出力した場合に生成を終了させる文字列、または文字列のリスト。

使用される生成戦略を制御するパラメータ

• do_sample (bool) — サンプリングを使用するかどうか。使用しない場合は、グリーディーデコーディングを行います。
• num_beams (int, 任意) — ビームサーチに使用するビームの数です。1 を指定すると、ビームサーチを行いません。
• use_mtp — (bool): モデルがサポートしている場合、Multi-Token Prediction (MTP) を使用するかどうか。

キャッシュを制御するパラメータ

• use_cache (bool) — モデルが、デコーディングを高速化するために、過去のキー/バリューの注意機構（モデルが対応している場合）を利用すべきかどうかを指定します。
• cache_implementation (str, 省略可) — generate でインスタンス化されるキャッシュクラスの名称。デコードを高速化するために使用されます。指定可能な値は以下の通りです: generate, 指定がない場合、モデルのデフォルトのキャッシュ（多くの場合 DynamicCache）が使用されます。詳細については、キャッシュのドキュメントを参照してください。
  • "dynamic": DynamicCache
  • "static": StaticCache
  • "offloaded": DynamicCache(offloaded=True)
  • "offloaded_static": StaticCache(offloaded=True)
  • "quantized": QuantizedCache

  指定がない場合、モデルのデフォルトキャッシュ(多くの場合、DynamicCache)が使用されます。詳細については、キャッシュのドキュメントを参照してください。

• cache_config (dict、任意、デフォルトはNone) — キーバリューキャッシュクラスで使用する引数は、cache_configに渡すことができます。
• max_cache_len (int, 省略可) — 静的キャッシュ(cache_implementation が "static" または "offloaded_static" に設定されている場合)でのみ使用されます。 現在の呼び出しの max_length ではなく、この長さにキャッシュを事前サイズ設定します。 想定される最大の呼び出しに対して一度だけ設定しておくと、より長いプロンプトやより大きな max_new_tokens(この上限まで)を伴う繰り返し generate() 呼び出しにおいて、再割り当てや torch.compile の再コンパイルをトリガーする代わりに、同じキャッシュを再利用できます。

モデル出力の logits を操作するためのパラメータ

• temperature (float, 任意) — 次のトークンの確率を調整するために使用される値。この値はモデルのgeneration_config.jsonファイルに設定されます。設定されていない場合、デフォルト値は1.0です。
• top_k (int, 任意) — トップkフィルタリングのために保持する、確率の高い語彙トークンの数です。この値はモデルのgeneration_config.jsonファイルで設定されます。設定されていない場合、デフォルト値は50です。
• top_p (float, 任意) — 1 未満の float に設定した場合、生成に保持されるのは、確率の合計が top_p 以上になる最も確率の高いトークンの最小集合のみです。この値はモデルの generation_config.json ファイルで設定されます。設定されていない場合、デフォルト値は 1.0 です。
• min_p (float, 省略可) — トークンの最小確率です。最も確率の高いトークンの確率でスケーリングされます。0 から 1 までの値である必要があります。典型的な値は 0.01〜0.2 の範囲で、top_p を 0.99〜0.8 の範囲に設定した場合と同程度の選択性を持ちます（通常の top_p の値とは逆の方向に設定します）。
• top_h (float, 任意) — サンプリング時に分布のエントロピーのどの程度を保持するかを制御するエントロピー予算のスケーリング係数です。 0 から 1 までの値である必要があります。各ステップで、トークンは確率順にソートされ、正規化されたエントロピーが完全な分布のエントロピーの top_h 倍以下となる最小のトークンプレフィックスが保持されます。 小さい値（例: 0.2–0.5）はより焦点が絞られた決定的な出力を導き、1.0 に近い値はより多くのランダム性と多様性を許容します。典型的な値は 0.3–0.6 の範囲です。
• typical_p (float, 任意) — Local typicality は、すでに生成された部分テキストが与えられた条件下で、次のターゲットトークンを予測する条件付き確率が、次のランダムなトークンを予測する期待される条件付き確率とどれだけ類似しているかを測定します。float < 1 に設定した場合、確率の合計が typical_p 以上になる最も局所的に典型的なトークンの最小集合が生成のために保持されます。詳細は この論文を参照してください。
• epsilon_cutoff (float, 任意) — 0 より大きく 1 より小さい float に設定した場合、条件付き確率が epsilon_cutoff より大きいトークンのみがサンプリングされます。論文では、モデルサイズに応じて推奨値は 3e-4 から 9e-4 の範囲とされています。詳細は Truncation Sampling as Language Model Desmoothing を参照してください。
• eta_cutoff (float, 任意) — Eta サンプリングは、ローカル・ティピカル・サンプリングとエプシロン・サンプリングのハイブリッドです。0 より大きく 1 より小さい float に設定した場合、トークンは eta_cutoff または sqrt(eta_cutoff) * exp(-entropy(softmax(next_token_logits))) のいずれかを超えている場合のみ考慮されます。後者の項は、直感的には sqrt(eta_cutoff) でスケーリングされた次のトークンの期待確率です。論文では、モデルのサイズに応じて、推奨値は 3e-4 から 2e-3 の範囲とされています。詳細については、Truncation Sampling as Language Model Desmoothing を参照してください。
• repetition_penalty (float、任意) — 反復ペナルティのパラメータです。1.0 はペナルティなしを意味します。詳細はこの論文を参照してください。
• encoder_repetition_penalty (float、省略可) — encoder_repetition_penalty のパラメータです。元の入力に存在しないシーケンスに対して指数関数的なペナルティを適用します。1.0 はペナルティなしを意味します。
• length_penalty (float, 任意) — ビームベース生成で使用する、長さに対する指数ペナルティです。シーケンスの長さに指数として適用され、その結果がシーケンスのスコアを割るために使用されます。スコアはシーケンスの対数尤度（つまり負の値）であるため、length_penalty > 0.0 の場合は長いシーケンスが促進され、length_penalty < 0.0 の場合は短いシーケンスが促進されます。
• no_repeat_ngram_size (int、任意) — 0 より大きい int に設定した場合、そのサイズの ngram は 1 回しか出現できません。
• bad_words_ids (list[list[int]]、任意) — 生成が許可されないトークン ID のリストのリストです。詳細なドキュメントと例については、NoBadWordsLogitsProcessorを参照してください。
• renormalize_logits (bool) — すべての logits プロセッサ（カスタムなものを含む）を適用した後、logits を再正規化するかどうか。検索アルゴリズムはスコア logits が正規化されていることを前提としていますが、一部の logits プロセッサが正規化を崩すため、このフラグをTrueに設定することを強く推奨します。
• forced_bos_token_id (int、任意、デフォルトは model.config.forced_bos_token_id) — decoder_start_token_id の後に強制的に最初の生成トークンとして使用するトークンの ID です。mBART のような多言語モデルでは、最初の生成トークンがターゲット言語のトークンである必要があるため、有用です。
• forced_eos_token_id (int or list[int], *optional*, defaults to model.config.forced_eos_token_id) -- The id of the token to force as the last generated token when max_length` is reached. Optionally, use a list to set multiple end-of-sequence tokens.
• remove_invalid_values (bool) — モデルの出力に含まれる可能性のある nan および inf を除去し、生成メソッドのクラッシュを防ぐかどうかを指定します。 remove_invalid_values を使用すると、生成が遅くなる可能性があることに注意してください。
• exponential_decay_length_penalty (tuple(int, float)、省略可) — この Tuple は、一定数のトークンが生成された後、指数関数的に増加する長さペナルティを追加します。この Tuple は (start_index, decay_factor) で構成され、start_index はペナルティの開始位置を示し、decay_factor は指数減衰の係数を表します。
• suppress_tokens (list[int]、任意) — 生成時に抑制されるトークンのリストです。SuppressTokens logit プロセッサは、これらのトークンの log probs を-infに設定し、サンプリングされないようにします。
• begin_suppress_tokens (list[int], 省略可) — 生成の開始時に抑制されるトークンのリストです。SuppressBeginTokens logit プロセッサは、これらがサンプリングされないよう、その log probs を -inf に設定します。
• sequence_bias (dict[tuple[int], float]、省略可) — トークンのシーケンスをそのバイアス項にマッピングする辞書です。正のバイアスはそのシーケンスが選択される確率を高め、負のバイアスは逆に確率を下げます。詳細なドキュメントと例については、SequenceBiasLogitsProcessorを参照してください。
• token_healing (bool) — プロンプトの末尾トークンを、適切な拡張トークンに置き換えることで修復します。これにより、貪欲なトークナイズのバイアスによって影響を受けたプロンプトの補完品質が向上します。
• guidance_scale (float, 任意) — Classifier Free Guidance (CFG) のガイダンススケールです。guidance_scale > 1 を設定することで CFG が有効になります。 ガイダンススケールを高くすると、入力プロンプトとより強く関連するサンプルを生成するようモデルが促されますが、通常は品質の低下を伴います。
• watermarking_config (BaseWatermarkingConfig または dict、省略可) — 「グリーン」トークンと呼ばれるランダムに選択されたトークンセットに小さなバイアスを加えることで、モデルの出力にウォーターマークを付与するために使用される引数です。詳細については、SynthIDTextWatermarkingConfig および WatermarkingConfig のドキュメントを参照してください。Dict として渡された場合、内部で WatermarkingConfig に変換されます。

generate の出力変数を定義するパラメータ

• num_return_sequences (int, 省略可) — バッチ内の各要素に対して、独立して計算して返されるシーケンスの数。
• output_attentions (bool) — すべてのアテンション層のアテンションテンソルを返すかどうか。詳細は、返されるテンソルのattentionsを参照してください。
• output_hidden_states (bool) — すべての層の隠れ状態を返すかどうか。詳細は、返されるテンソルの hidden_states を参照してください。
• output_scores (bool) — 予測スコアを返すかどうかを指定します。詳細は、返されるテンソルの scores を参照してください。
• output_logits (bool) — 未処理の予測ロジットスコアを返すかどうかを指定します。詳細は、返されるテンソルのlogitsを参照してください。
• return_dict_in_generate (bool) — 生成シーケンスのみを返すのではなく、ModelOutput を返すかどうかを指定します。生成キャッシュを返すには（use_cache が True の場合）、またはオプションの出力を返すには（output_ で始まるフラグを参照）、このフラグを True に設定する必要があります。

生成時に使用できる特殊トークン

• pad_token_id (int, 任意) — padding トークンの ID。
• bos_token_id (int, 任意) — シーケンスの開始トークンの ID。
• eos_token_id (Union[int, list[int]], 任意) — シーケンス終了トークンのIDです。必要に応じて、リストを指定して複数のシーケンス終了トークンを設定できます。

エンコーダーデコーダーモデルに固有の生成パラメータ

• encoder_no_repeat_ngram_size (int、任意) — int > 0 に設定した場合、encoder_input_ids に出現するそのサイズのすべての ngram は、decoder_input_ids に出現できません。
• decoder_start_token_id (int または list[int]、省略可) — エンコーダー・デコーダーモデルが bos とは異なるトークンでデコーディングを開始する場合、そのトークンの id または長さ batch_size のリストを指定します。リストを指定すると、バッチ内の各要素に対して異なる開始 id を設定できます(例: 1 つのバッチ内で異なる対象言語を持つ多言語モデル)。

アシスタント生成に固有の生成パラメータ

• is_assistant (bool) — モデルがアシスタント（ドラフト）モデルかどうかを示します。
• num_assistant_tokens (int, 省略可) — 各イテレーションにおいて、ターゲットモデルによる検証が行われる前に、アシスタントモデルが生成する投機的トークンの数を定義します。num_assistant_tokensの値を大きくすると、生成はより投機的になります。アシスタントモデルの性能が高い場合はより大きな高速化効果が得られますが、アシスタントモデルに多くの修正が必要になる場合は、高速化効果が小さくなります。
• num_assistant_tokens_schedule (str, 省略可能) — 推論中に最大アシスタントトークン数をどのように変更するかを定義するスケジュールを指定します。
  • "heuristic": 投機的トークンがすべて正解の場合、num_assistant_tokens を 2 増やし、それ以外の場合は 1 減らします。同じアシスタントモデルでの複数回の生成呼び出しにわたって、num_assistant_tokens の値は保持されます。
  • "heuristic_transient": "heuristic" と同じですが、num_assistant_tokens が各生成呼び出し後に初期値にリセットされます。
  • "constant": 生成中、num_assistant_tokens は変更されません
• assistant_confidence_threshold (float, 任意) — アシスタントモデルの信頼度閾値です。現在のトークンに対するアシスタントモデルの予測信頼度がこの閾値を下回る場合、投機的トークン（num_assistant_tokens で定義される）の数がまだ達していない場合でも、アシスタントモデルは現在のトークン生成イテレーションを停止します。アシスタントの信頼度閾値は、不要な draft と target の forward pass の回数を減らすために、投機的イテレーションを通じて調整され、偽陰性（false negative）を避ける方向にバイアスがかかっています。 assistant_confidence_threshold の値は、同じアシスタントモデルでの複数の生成呼び出しにわたって保持されます。 これは、Dynamic Speculation Lookahead Accelerates Speculative Decoding of Large Language Models https://huggingface.co/papers/2405.04304 に記載されている dynamic speculation lookahead の教師なし（unsupervised）バージョンです。
• prompt_lookup_num_tokens (int, 省略可) — 候補トークンとして出力するトークン数。
• max_matching_ngram_size (int, 省略可) — プロンプト内のマッチングで考慮される最大 ngram サイズです。指定されない場合、デフォルトで 2 になります。
• assistant_early_exit(int, optional) — 正の整数に設定すると、モデルの早期終了（early exit）をアシスタントとして使用します。早期終了をサポートするモデル（中間層の logits を LM head で解釈できるモデル）でのみ使用できます。
• assistant_lookbehind(int, optional) — 正の整数に設定すると、再エンコード処理において、トークンの正しいアラインメントのために、直前のassistant_lookbehind個の assistant トークンも考慮されます。speculative decoding で異なる tokenizer を使用する場合にのみ利用できます。詳細は、このブログを参照してください。
• target_lookbehind(int, optional) — 正の整数に設定すると、再エンコード処理において、トークンの正しいアラインメントのために、直前のtarget_lookbehind個のターゲットトークンも考慮されます。このオプションは、speculative decoding で異なるトークナイザを使用する場合にのみ利用できます。詳細は、このブログを参照してください。
• assistant_ensemble_weight (float, 省略可) — speculative decoding における静的アンサンブル検証を有効にします。(0.0, 1.0) の範囲の値が設定されている場合、verifier は p_target ではなく、混合分布 w * p_target + (1 - w) * q_draft に対してトークンを受理します。これにより、制御された分布のバイアスを引き換えに、より高い受理率を得ることができます。デフォルトは None で、この場合、デコーディングはロスレスのまま維持されます。assistant モデルが logits を返す必要があるため、prompt lookup decoding とは互換性がありません。
• speculation_type (str, 任意) — 要求される speculation type です。受け入れられる値は dflash です。

パフォーマンスとコンパイルに関連するパラメータ

• compile_config (CompileConfig, オプション) — コンパイル可能なキャッシュを使用する場合、generateが推論を高速化するためにフォワードパスをcompileする方法を制御します。
• disable_compile (bool) — フォワードパスの自動コンパイルを無効にするかどうか。特定の条件(コンパイル可能なキャッシュの使用を含む)が満たされたときに、自動コンパイルが実行されます。このフラグを使用する必要があると判断した場合は、イシューを作成してください。