PEFT documentation

LyCORIS

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

LyCORIS

LyCORIS (Lora beYond Conventional methods, Other Rank adaptation Implementations for Stable diffusion) — это адаптеры на основе разложения матриц, аналогичные LoRA, которые изменяют слой cross-attention в UNet. Методы LoHa и LoKr наследуются от классов Lycoris, описанных здесь.

LycorisConfig

класс peft.tuners.lycoris_utils.LycorisConfig

< >

( task_type: Optional[Union[str, TaskType]] = Nonepeft_type: Optional[Union[str, PeftType]] = Noneauto_mapping: Optional[dict] = Nonepeft_version: Optional[str] = Nonebase_model_name_or_path: Optional[str] = Nonerevision: Optional[str] = Noneinference_mode: bool = Falserank_pattern: Optional[dict] = <factory>alpha_pattern: Optional[dict] = <factory> )

Базовая конфигурация для адаптеров типа LyCORIS

LycorisLayer

класс peft.tuners.lycoris_utils.LycorisLayer

< >

( base_layer: nn.Module )

Базовый слой для адаптеров типа LyCORIS

merge

< >

( safe_merge: bool = Falseadapter_names: Optional[list[str]] = None )

Параметры

  • safe_merge (bool, необязательный) — Если True, операция слияния выполняется на копии исходных весов и проверяет наличие NaN перед слиянием весов. Это полезно, если вы хотите убедиться, что операция слияния не приведёт к появлению NaN. По умолчанию False.
  • adapter_names (List[str], необязательный) — Список имён адаптеров, которые необходимо объединить. Если None, будут объединены все активные адаптеры. По умолчанию None.

Слейте веса активного адаптера с базовыми весами

unmerge

< >

( )

Этот метод отменяет слияние всех слоёв адаптеров из базовых весов.

LycorisTuner

класс peft.tuners.lycoris_utils.LycorisTuner

< >

( modelpeft_config: Union[PeftConfig, dict[str, PeftConfig]]adapter_name: strlow_cpu_mem_usage: bool = Falsestate_dict: Optional[dict[str, torch.Tensor]] = None )

Параметры

  • model (torch.nn.Module) — Модель, подлежащая адаптации.
  • config (LoraConfig) — Конфигурация модели Lora.
  • adapter_name (str) — имя адаптера, по умолчанию "default".
  • low_cpu_mem_usage (bool, optional, по умолчанию False) — Создаёт пустые веса адаптера на meta-устройстве. Полезно для ускорения процесса загрузки.

Базовый тюнер для адаптеров типа LyCORIS

Update on GitHub