PEFT documentation
DeLoRA: Decoupled Low-rank Adaptation
DeLoRA: Decoupled Low-rank Adaptation
DeLoRAは、学習可能な低ランク行列を正規化およびスケーリングすることで、事前学習済み重みに対するFrobenius境界を暗黙的に維持するパラメータ効率の良いファインチューニング手法です。これにより、重み更新の方向(BA項)と大きさ(境界項)の学習が効果的に分離され、適応済み重みの急激な変化を回避し、ハイパーパラメータ選択に対する頑健性が向上します。
注:
- use a learning rate 10-100x larger than for standard LoRA variants (typical values from 1e-3/1e-2/..)
- 初期境界パラメータ lambda が小さすぎないことを確認してください(典型的な値は 10/15/.. 程度です)。異なるレイヤーに異なる lambda を設定することは可能です。
DeLoRAには現在、以下の制約があります:
- サポートされているのはnn.Linearレイヤーのみです。
- 量子化レイヤーはサポートされていません。
これらの制約が使用ケースに合わない場合は、他の方法を検討してください。
論文の抄録は以下の通りです:
Parameter-Efficient FineTuning (PEFT) 手法は、大規模事前学習モデルの普及により最近大きく注目されています。これらの手法は、最小限の計算コストで下流タスクへの迅速な適応を可能にします。しかし、LoRA などの一般的なファインチューニング手法は、ハイパーパラメータの選択や長期の学習設定に対して頑健性が限られており、そのままの状態で最適なパフォーマンスを発揮することができません。一方、ETHER などの有界アプローチはより高い頑健性を提供しますが、極めて低ランクの適応と固定強度の変換に限定されるため、適応の表現力が低下します。本研究では、学習可能な低ランク行列を正規化およびスケーリングする新しいファインチューニング手法である Decoupled Low-rank Adaptation (DeLoRA) を提案します。変換の距離に上限を設けることで、DeLoRA は角度方向の学習と適応強度を効果的に分離し、パフォーマンスを損なうことなく頑健性を高めます。サブジェクト駆動型画像生成、自然言語理解、および指示チューニングにおける評価を通じて、DeLoRA は競合する PEFT 手法と同等以上のパフォーマンスを示すとともに、より強い頑健性を有することを示しました。
ベンチマーク概要
API
DeloraConfig
クラス peft.DeloraConfig
< source >( task_type: Optional[Union[str, TaskType]] = Nonepeft_type: Optional[Union[str, PeftType]] = Noneauto_mapping: Optional[dict] = Nonepeft_version: Optional[str] = Nonebase_model_name_or_path: Optional[str] = Nonerevision: Optional[str] = Noneinference_mode: bool = Falser: int = 8delora_lambda: int = 15module_dropout: float = 0.0target_modules: Optional[Union[list[str], str]] = Noneexclude_modules: Optional[Union[list[str], str]] = Nonebias: Literal['none', 'all', 'delora_only'] = 'none'init_weights: bool = Truelayers_to_transform: Optional[Union[list[int], int]] = Nonelayers_pattern: Optional[Union[list[str], str]] = Nonerank_pattern: Optional[dict] = <factory>lambda_pattern: Optional[dict] = <factory>modules_to_save: Optional[list[str]] = None )
パラメータ
- r (
int) — DeLoRA アダプターのランクです。 - delora_lambda (
int) — DeLoRA アダプターの境界の初期値です。この変数は、重み変更の Frobenius ノルムに上限を設定し、ファインチューニングされたモデルが元のモデルから大きく逸脱することを防ぎます。 - module_dropout (
float) — 学習中にDeLoRAモジュールを無効にするためのドロップアウト確率。 - target_modules (
Optional[Union[List[str], str]]) — アダプタを適用するモジュールの名前です。このパラメータが指定されている場合、指定された名前のモジュールのみが置き換えられます。文字列を渡す場合、正規表現によるマッチングが行われます。文字列のリストを渡す場合、完全一致が行われるか、モジュール名が渡された文字列のいずれかで終わるかがチェックされます。このパラメータが ‘all-linear’ として指定されている場合、出力層を除くすべての linear/Conv1D モジュールが選択されます。このパラメータが指定されていない場合、モデルのアーキテクチャに基づいてモジュールが選択されます。アーキテクチャが不明な場合はエラーが発生します。この場合、ターゲットモジュールを手動で指定する必要があります。 - exclude_modules (
Optional[Union[List[str], str]]) — アダプタを適用しないモジュールの名前。文字列を渡す場合、正規表現によるマッチングが行われます。文字列のリストを渡す場合、完全一致が行われるか、モジュール名が渡された文字列のいずれかで終わるかがチェックされます。 - bias (
str) — DeLoRA のバイアスタイプです。‘none’、‘all’、‘delora_only’ のいずれかを指定できます。‘all’ または ‘delora_only’ を指定した場合、対応するバイアスが学習中に更新されます。この設定により、アダプターを無効にしても、適応なしのベースモデルが生成する出力と同一の結果は得られない点にご注意ください。 - init_weights (
bool) — アダプター重みの初期化を実行するかどうか。True(デフォルト) の場合: A は kaiming uniform 初期化で、B はゼロで初期化されます。Falseの場合: A と B の両方が kaiming uniform で初期化され、直ちにゼロでないデルタを寄与します。通常の用途では、これは一般的に推奨されません。 - layers_to_transform (
Union[List[int], int]) — 変換対象のレイヤーのインデックスです。int のリストが渡された場合、このリストに指定されたレイヤーのインデックスにアダプターが適用されます。単一の整数が渡された場合、そのインデックスのレイヤーに変換が適用されます。 - layers_pattern (
Optional[Union[List[str], str]]) —layers_to_transformがNoneと異なる場合にのみ使用されるレイヤーパターン名です。これはモデルのnn.ModuleListを対象とすべきで、通常は'layers'または'h'と呼ばれます。 - rank_pattern (
dict) —rで指定されるデフォルトのランクとは異なるランクを持つ、レイヤー名または正規表現からランクへのマッピングです。例えば、{'^model.decoder.layers.0.encoder_attn.k_proj': 16}。 - lambda_pattern (
dict) —delora_lambdaで指定されるデフォルトのラムダと異なるラムダへの、レイヤー名または正規表現の対応付けです。例えば、{'^model.decoder.layers.0.encoder_attn.k_proj': 16}。 - modules_to_save (
Optional[List[str]]) — アダプタ層を除き、最終的なチェックポイントで学習可能かつ保存されるように設定するモジュールのリスト。
これはDeloraModelの設定を保存するための設定クラスです。
DeloraModel
クラス peft.DeloraModel
< source >( modelpeft_config: Union[PeftConfig, dict[str, PeftConfig]]adapter_name: strlow_cpu_mem_usage: bool = Falsestate_dict: Optional[dict[str, torch.Tensor]] = None ) → torch.nn.Module
パラメータ
- model (
torch.nn.Module) — 適応させる対象のモデル。 - config (DeloraConfig) — DeLoRAモデルの設定。
- adapter_name (
str) — アダプターの名前。デフォルトは"default"です。
戻り値
torch.nn.Module
DeLoRAモデル。
事前学習済みのTransformersモデルからDeLoRAモデルを作成します。
この手法の詳細は、DeLoRA: Decoupled Low-rank Adaptationに記載されています。
属性:
- model (PreTrainedModel) — 適応させる対象のモデル。
- peft_config (DeloraConfig): DeLoRAモデルの設定です。