PEFT documentation
LyCORIS
LyCORIS
LyCORIS (Lora beYond Conventional methods, Other Rank adaptation Implementations for Stable diffusion) — это адаптеры на основе разложения матриц, аналогичные LoRA, которые изменяют слой cross-attention в UNet. Методы LoHa и LoKr наследуются от классов Lycoris, описанных здесь.
LycorisConfig
класс peft.tuners.lycoris_utils.LycorisConfig
< source >( task_type: Optional[Union[str, TaskType]] = Nonepeft_type: Optional[Union[str, PeftType]] = Noneauto_mapping: Optional[dict] = Nonepeft_version: Optional[str] = Nonebase_model_name_or_path: Optional[str] = Nonerevision: Optional[str] = Noneinference_mode: bool = Falserank_pattern: Optional[dict] = <factory>alpha_pattern: Optional[dict] = <factory> )
Базовая конфигурация для адаптеров типа LyCORIS
LycorisLayer
Базовый слой для адаптеров типа LyCORIS
merge
< source >( safe_merge: bool = Falseadapter_names: Optional[list[str]] = None )
Параметры
- safe_merge (
bool, необязательный) — ЕслиTrue, операция слияния выполняется на копии исходных весов и проверяет наличие NaN перед слиянием весов. Это полезно, если вы хотите убедиться, что операция слияния не приведёт к появлению NaN. По умолчаниюFalse. - adapter_names (
List[str], необязательный) — Список имён адаптеров, которые необходимо объединить. ЕслиNone, будут объединены все активные адаптеры. По умолчаниюNone.
Слейте веса активного адаптера с базовыми весами
Этот метод отменяет слияние всех слоёв адаптеров из базовых весов.
LycorisTuner
класс peft.tuners.lycoris_utils.LycorisTuner
< source >( modelpeft_config: Union[PeftConfig, dict[str, PeftConfig]]adapter_name: strlow_cpu_mem_usage: bool = Falsestate_dict: Optional[dict[str, torch.Tensor]] = None )
Параметры
- model (
torch.nn.Module) — Модель, подлежащая адаптации. - config (LoraConfig) — Конфигурация модели Lora.
- adapter_name (
str) — имя адаптера, по умолчанию"default". - low_cpu_mem_usage (
bool,optional, по умолчаниюFalse) — Создаёт пустые веса адаптера на meta-устройстве. Полезно для ускорения процесса загрузки.
Базовый тюнер для адаптеров типа LyCORIS