PEFT documentation

OFT

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

OFT

Controlling Text-to-Image Diffusion by Orthogonal Finetuning

Orthogonal Finetuning (OFT) và OFTv2 là một phương pháp được phát triển để thích ứng các mô hình khuếch tán từ văn bản sang hình ảnh. Phương pháp này hoạt động bằng cách tham số hóa lại các ma trận trọng số đã được huấn luyện trước bằng ma trận trực giao của nó nhằm bảo toàn thông tin trong mô hình đã huấn luyện trước. Để giảm số lượng tham số, OFT đưa vào cấu trúc khối đường chéo trong ma trận trực giao. Phương pháp này chủ yếu tập trung vào việc duy trì hiệu suất tạo sinh của mô hình đã huấn luyện trước trong mô hình được tinh chỉnh. Nó cố gắng duy trì cùng một độ tương đồng cosine (năng lượng siêu cầu) giữa tất cả các cặp nơ-ron trong một lớp vì điều này nắm bắt tốt hơn thông tin ngữ nghĩa giữa các nơ-ron. Điều này có nghĩa là OFT có khả năng bảo toàn chủ thể tốt hơn và phù hợp hơn cho việc tạo sinh có kiểm soát (tương tự như ControlNet).

Tóm tắt từ bài báo là:

Các mô hình khuếch tán từ văn bản sang ảnh cỡ lớn có khả năng ấn tượng trong việc tạo ra các hình ảnh chân thực như ảnh chụp từ các câu lệnh văn bản. Làm thế nào để định hướng hoặc kiểm soát hiệu quả các mô hình mạnh mẽ này để thực hiện các tác vụ hạ nguồn khác nhau trở thành một vấn đề mở quan trọng. Để giải quyết thách thức này, chúng tôi giới thiệu một phương pháp tinh chỉnh có nguyên tắc — Tinh chỉnh trực giao (OFT), để thích ứng các mô hình khuếch tán từ văn bản sang ảnh với các tác vụ hạ nguồn. Khác với các phương pháp hiện có, OFT có thể chứng minh được là bảo toàn năng lượng siêu cầu, vốn đặc trưng cho mối quan hệ giữa các nơ-ron theo từng cặp trên siêu cầu đơn vị. Chúng tôi nhận thấy rằng đặc tính này là then chốt để duy trì khả năng tạo ngữ nghĩa của các mô hình khuếch tán từ văn bản sang ảnh. Để cải thiện tính ổn định của quá trình tinh chỉnh, chúng tôi tiếp tục đề xuất Tinh chỉnh trực giao có ràng buộc (COFT), áp dụng thêm một ràng buộc bán kính lên siêu cầu. Cụ thể, chúng tôi xem xét hai tác vụ tinh chỉnh từ văn bản sang ảnh quan trọng: tạo hình theo chủ thể, trong đó mục tiêu là tạo ra các hình ảnh cụ thể cho một chủ thể khi được cung cấp một vài hình ảnh của chủ thể đó và một câu lệnh văn bản; và tạo hình có thể kiểm soát, trong đó mục tiêu là cho phép mô hình nhận thêm các tín hiệu điều khiển. Chúng tôi chứng minh thực nghiệm rằng khung OFT của chúng tôi vượt trội hơn các phương pháp hiện có về chất lượng tạo hình và tốc độ hội tụ.

OFT bảo toàn năng lượng siêu cầu bằng cách học một phép biến đổi trực giao cho các neuron để giữ cho độ tương đồng cosine giữa chúng không thay đổi, từ đó có thể dẫn đến ít quên hơn các kiến thức đã học trước đó. Trên thực tế, điều này có nghĩa là lấy tích ma trận của một ma trận trực giao với ma trận trọng số được huấn luyện trước. Tuy nhiên, để đạt hiệu quả về tham số, ma trận trực giao được biểu diễn dưới dạng ma trận khối chéo với các khối có hạng r. Trong khi LoRA giảm số lượng tham số có thể huấn luyện bằng các cấu trúc hạng thấp, OFT giảm số lượng tham số có thể huấn luyện bằng cấu trúc ma trận khối chéo thưa.

Tổng quan về benchmark

Gộp trọng số OFT vào mô hình cơ sở

Tương tự như LoRA, các trọng số được học bởi OFT có thể được tích hợp vào các ma trận trọng số đã được huấn luyện trước bằng cách sử dụng hàm [~OFTModel.merge_and_unload(). Hàm này kết hợp các trọng số adapter với mô hình cơ bản, cho phép bạn sử dụng mô hình đã được kết hợp mới như một mô hình độc lập.

Ví dụ sử dụng OFT

Để sử dụng OFT cho việc tinh chỉnh lượng tử hóa với TRL cho SFT, PPO hoặc DPO, hãy làm theo các bước sau:

from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig
from trl import SFTTrainer
from peft import OFTConfig

if use_quantization:
    bnb_config = BitsAndBytesConfig(
        load_in_4bit=True,
        bnb_4bit_quant_type="nf4",
        bnb_4bit_compute_dtype=torch.bfloat16,
        bnb_4bit_use_double_quant=True,
        bnb_4bit_quant_storage=torch.bfloat16,
    )

model = AutoModelForCausalLM.from_pretrained(
    "model_name",
    quantization_config=bnb_config
)
tokenizer = AutoTokenizer.from_pretrained("model_name")

# Configure OFT
peft_config = OFTConfig(
    oft_block_size=32,
    use_cayley_neumann=True,
    target_modules="all-linear",
    bias="none",
    task_type="CAUSAL_LM"
)

trainer = SFTTrainer(
    model=model,
    train_dataset=ds['train'],
    peft_config=peft_config,
    processing_class=tokenizer,
    args=training_arguments,
    data_collator=collator,
)

trainer.train()

API

OFTConfig

lớp peft.OFTConfig

< >

( task_type: Optional[Union[str, TaskType]] = Nonepeft_type: Optional[Union[str, PeftType]] = Noneauto_mapping: Optional[dict] = Nonepeft_version: Optional[str] = Nonebase_model_name_or_path: Optional[str] = Nonerevision: Optional[str] = Noneinference_mode: bool = Falser: int = 0oft_block_size: int = 32module_dropout: float = 0.0target_modules: Optional[Union[list[str], str]] = Nonefan_in_fan_out: bool = Falsebias: Literal['none', 'all', 'oft_only'] = 'none'exclude_modules: Optional[Union[list[str], str]] = Noneinit_weights: bool = Truelayers_to_transform: Optional[Union[list[int], int]] = Nonelayers_pattern: Optional[Union[list[str], str]] = Nonemodules_to_save: Optional[list[str]] = Nonecoft: bool = Falseeps: float = 6e-05block_share: bool = Falseuse_cayley_neumann: bool = Truenum_cayley_neumann_terms: int = 5 )

Tham số

  • r (int) — Rank OFT, số lượng khối OFT trên mỗi lớp được tiêm. r lớn hơn sẽ dẫn đến các ma trận cập nhật thưa hơn với ít tham số có thể huấn luyện hơn. Bạn chỉ có thể chỉ định r hoặc oft_block_size, nhưng không thể chỉ định cả hai cùng lúc, vì r × oft_block_size = chiều của lớp. Để đơn giản, chúng tôi cho phép bạn chỉ định r hoặc oft_block_size và suy ra giá trị còn lại. Mặc định được đặt là r = 0, người dùng nên đặt oft_block_size thay vào đó để rõ ràng hơn.
  • oft_block_size (int) — Kích thước khối OFT giữa các lớp khác nhau. oft_block_size lớn hơn sẽ dẫn đến các ma trận cập nhật dày đặc hơn với nhiều tham số có thể huấn luyện hơn. Hãy chọn oft_block_size sao cho chia hết cho chiều đầu vào của lớp (in_features), ví dụ: 4, 8, 16. Bạn chỉ có thể chỉ định r hoặc oft_block_size, nhưng không thể chỉ định cả hai cùng lúc, vì r × oft_block_size = chiều của lớp. Để đơn giản, chúng tôi cho phép bạn chỉ định r hoặc oft_block_size và suy ra giá trị còn lại. Mặc định được đặt là oft_block_size = 32.
  • use_cayley_neumann (bool) — Xác định việc sử dụng tham số hóa Cayley-Neumann (hiệu quả nhưng xấp xỉ) hay tham số hóa Cayley thông thường (chính xác nhưng tốn kém về mặt tính toán do phép nghịch đảo ma trận). Chúng tôi khuyến nghị đặt thành True để đạt hiệu quả tốt hơn, tuy nhiên hiệu năng có thể giảm nhẹ do sai số xấp xỉ. Vui lòng thử cả hai cài đặt (True và False) tùy theo nhu cầu của bạn. Mặc định là False.
  • module_dropout (float) — Xác suất dropout nhân, bằng cách đặt các khối OFT thành hằng đẳng trong quá trình huấn luyện, tương tự như lớp dropout trong LoRA.
  • target_modules (Optional[Union[list[str], str]]) — Tên của các module cần áp dụng adapter. Nếu được chỉ định, chỉ các module có tên được chỉ định sẽ được thay thế. Khi truyền một chuỗi, một phép khớp regex sẽ được thực hiện. Khi truyền một danh sách các chuỗi, một phép khớp chính xác sẽ được thực hiện hoặc kiểm tra xem tên của module có kết thúc bằng bất kỳ chuỗi nào được truyền hay không. Nếu được chỉ định là ‘all-linear’, thì tất cả các module tuyến tính sẽ được chọn, ngoại trừ lớp output. Nếu không được chỉ định, các module sẽ được chọn theo kiến trúc của model. Nếu kiến trúc không được biết đến, một lỗi sẽ được ném ra — trong trường hợp này, bạn nên chỉ định các module đích thủ công.
  • fan_in_fan_out (bool) — Đặt giá trị này thành True nếu lớp cần thay thế lưu trọng số theo dạng (fan_in, fan_out).
  • bias (str) — Bias type for OFT. Can be ‘none’, ‘all’ or ‘oft_only’. If ‘all’ or ‘oft_only’, the corresponding biases will be updated during training. Be aware that this means that, even when disabling the adapters, the model will not produce the same output as the base model would have without adaptation.
  • exclude_modules (Optional[Union[List[str], str]]) — Tên của các module không áp dụng adapter. Khi truyền một chuỗi, một phép khớp regex sẽ được thực hiện. Khi truyền một danh sách các chuỗi, một phép khớp chính xác sẽ được thực hiện hoặc kiểm tra xem tên của module có kết thúc bằng bất kỳ chuỗi nào được truyền vào hay không.
  • init_weights (bool) — Có thực hiện khởi tạo trọng số OFT hay không.
  • layers_to_transform (Union[List[int], int]) — Các chỉ số lớp cần biến đổi. Nếu truyền vào một danh sách các số nguyên, adapter sẽ được áp dụng cho các chỉ số lớp được chỉ định trong danh sách này. Nếu truyền vào một số nguyên duy nhất, các phép biến đổi sẽ được áp dụng cho lớp tại chỉ số này.
  • layers_pattern (Optional[Union[List[str], str]]) — Tên mẫu lớp, chỉ được sử dụng nếu layers_to_transform khác None. Giá trị này cần nhắm đến nn.ModuleList của mô hình, thường được gọi là 'layers' hoặc 'h'.
  • modules_to_save (List[str]) — Danh sách các module ngoài các lớp adapter cần được đặt là có thể huấn luyện và lưu trong checkpoint cuối cùng.
  • coft (bool) — Có sử dụng biến thể ràng buộc của OFT hay không, mặc định là tắt.
  • eps (float) — Mức độ kiểm soát của COFT. Mức độ tự do xoay. Chỉ có hiệu lực nếu coft được đặt thành True.
  • block_share (bool) — Có chia sẻ các tham số OFT giữa các khối hay không. Mặc định là False.

Đây là lớp cấu hình để lưu trữ cấu hình của một OFTModel.

check_kwargs

< >

( **kwargs )

Tham số

  • kwargs (các đối số từ khóa bổ sung, tùy chọn) — Các đối số từ khóa bổ sung được truyền sang khởi tạo lớp con.

Kiểm tra xem các kwargs có hợp lệ cho cấu hình hay không.

OFTModel

lớp peft.OFTModel

< >

( modelpeft_config: Union[PeftConfig, dict[str, PeftConfig]]adapter_name: strlow_cpu_mem_usage: bool = Falsestate_dict: Optional[dict[str, torch.Tensor]] = None ) → torch.nn.Module

Tham số

  • model (torch.nn.Module) — Mô hình mà các lớp adapter tuner sẽ được gắn vào.
  • config (OFTConfig) — Cấu hình của mô hình OFT.
  • adapter_name (str) — Tên của adapter, mặc định là "default".
  • low_cpu_mem_usage (bool, optional, mặc định là False) — Tạo trọng số adapter rỗng trên thiết bị meta. Hữu ích để tăng tốc quá trình tải.

Trả về

torch.nn.Module

Mô hình OFT.

Tạo mô hình Orthogonal Finetuning từ một mô hình được huấn luyện trước. Phương pháp này được mô tả tại https://huggingface.co/papers/2306.07280

Ví dụ:

>>> from diffusers import StableDiffusionPipeline
>>> from peft import OFTConfig, get_peft_model

>>> config_te = OFTConfig(
...     oft_block_size=32,
...     target_modules=["k_proj", "q_proj", "v_proj", "out_proj", "fc1", "fc2"],
...     module_dropout=0.0,
...     init_weights=True,
... )
>>> config_unet = OFTConfig(
...     oft_block_size=32,
...     target_modules=[
...         "proj_in",
...         "proj_out",
...         "to_k",
...         "to_q",
...         "to_v",
...         "to_out.0",
...         "ff.net.0.proj",
...         "ff.net.2",
...     ],
...     module_dropout=0.0,
...     init_weights=True,
... )

>>> model = StableDiffusionPipeline.from_pretrained("runwayml/stable-diffusion-v1-5")
>>> model.text_encoder = get_peft_model(model.text_encoder, config_te)
>>> model.unet = get_peft_model(model.unet, config_unet)

Thuộc tính:

  • model (~torch.nn.Module) — Mô hình cần được thích ứng.
  • peft_config (OFTConfig): Cấu hình của mô hình OFT.
Update on GitHub