PEFT documentation

Llama-Adapter

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Llama-Adapter

LLaMA-Adapter: Efficient Fine-tuning of Language Models with Zero-init Attention

Llama-Adapter là một phương pháp PEFT được thiết kế đặc biệt để biến Llama thành một mô hình tuân theo chỉ thị. Mô hình Llama được đóng băng và chỉ một tập hợp các prompt thích ứng được đặt trước các token chỉ thị đầu vào là được học. Vì các module được khởi tạo ngẫu nhiên chèn vào mô hình có thể khiến mô hình mất đi một phần kiến thức hiện có, Llama-Adapter sử dụng attention khởi tạo bằng zero với zero gating để dần dần thêm các prompt chỉ thị vào mô hình.

Tóm tắt từ bài báo là:

Chúng tôi giới thiệu LLaMA-Adapter, một phương pháp thích ứng nhẹ nhàng để tinh chỉnh LLaMA thành mô hình tuân theo chỉ thị một cách hiệu quả. Sử dụng 52K bản demo tự chỉ thị, LLaMA-Adapter chỉ đưa vào 1,2M tham số có thể học được trên mô hình LLaMA 7B đã đóng băng, và chi phí tinh chỉnh dưới một giờ trên 8 GPU A100. Cụ thể, chúng tôi áp dụng một tập hợp các prompt thích ứng có thể học được và đặt chúng trước các token văn bản đầu vào ở các lớp transformer cao hơn. Sau đó, một cơ chế chú ý khởi tạo bằng không với cổng bằng không được đề xuất, cho phép tiêm thích ứng các tín hiệu chỉ thị mới vào LLaMA, đồng thời bảo tồn hiệu quả kiến thức được huấn luyện trước của nó. Với quá trình huấn luyện hiệu quả, LLaMA-Adapter tạo ra các phản hồi chất lượng cao, tương đương với Alpaca có 7B tham số được tinh chỉnh hoàn toàn. Hơn nữa, phương pháp của chúng tôi có thể được mở rộng đơn giản sang đầu vào đa phương thức, ví dụ như hình ảnh, cho LLaMA có điều kiện hình ảnh, đạt được khả năng suy luận vượt trội trên ScienceQA. Chúng tôi công bố mã nguồn tại https://github.com/ZrrSkywalker/LLaMA-Adapter.

Khi nào nên sử dụng Llama-Adapter

Llama-Adapter là một lựa chọn tốt khi:

  • Bạn muốn một checkpoint rất nhỏ. Chỉ có các prompt thích ứng và cổng của chúng được huấn luyện và lưu trữ, tương đương với adapter_layers * (adapter_len * hidden_size + 1) tham số.
  • Bạn đang thực hiện instruction-tuning trên một mô hình được hỗ trợ (Llama, Mistral hoặc GPT-2), đây là trường hợp sử dụng mà bài báo tập trung vào.
  • Bạn muốn giữ lại nhiều adapter dành riêng cho từng tác vụ cho cùng một mô hình cơ sở và chuyển đổi giữa chúng bằng set_adapter.

Khi nào không nên sử dụng Llama-Adapter

Llama-Adapter có thể không phải là lựa chọn tốt nhất khi:

  • Mô hình của bạn không phải là mô hình Llama, Mistral hay GPT-2. Các kiến trúc khác sẽ gây ra ValueError. Hãy cân nhắc sử dụng LoRA thay thế.
  • Bạn cần độ trễ suy luận bằng không. Adapter không thể được gộp vào trọng số cơ sở (merge_and_unload() không được hỗ trợ), do đó mỗi lớp đã thích ứng sẽ chú ý đến adapter_len token bổ sung vào thời điểm suy luận.
  • Bạn muốn kích hoạt nhiều adapter cùng một lúc. Chỉ có một adapter có thể được kích hoạt, và các adaption prompt không thể được xếp chồng lên cùng một attention module.

Tổng quan về benchmark

API

AdaptionPromptConfig

lớp peft.AdaptionPromptConfig

< >

( task_type: Optional[Union[str, TaskType]] = Nonepeft_type: Optional[Union[str, PeftType]] = Noneauto_mapping: Optional[dict] = Nonepeft_version: Optional[str] = Nonebase_model_name_or_path: Optional[str] = Nonerevision: Optional[str] = Noneinference_mode: bool = Falsetarget_modules: str = Noneadapter_len: int = Noneadapter_layers: int = None )

Lưu trữ cấu hình của một AdaptionPromptModel.

AdaptionPromptModel

lớp peft.AdaptionPromptModel

< >

( modelconfigs: dictadapter_name: str )

Thực hiện các prompt thích ứng như được mô tả trong https://huggingface.co/papers/2303.16199.

Các module attention L hàng đầu được thay thế bằng các module AdaptedAttention bao bọc các module gốc, nhưng chèn các prompt có thể huấn luyện kèm cổng (để khởi tạo bằng không).

Ghi chú về mẫu đa adapter:

  • Chúng tôi lưu trữ trạng thái của các adapter khác nhau bằng cách giữ một từ điển các module AdaptedAttention được chỉ mục theo tên adapter.
  • Mỗi khi chúng ta chuyển đổi adapter, chúng ta sẽ gỡ bỏ các module của adapter đang hoạt động khỏi mô hình, lưu chúng vào từ điển, và thay thế chúng bằng các module của adapter mới.
  • Để tránh trạng thái bị trùng lặp và có thể không nhất quán, adapter đang hoạt động luôn được xóa khỏi từ điển.
  • Việc vô hiệu hóa adapter cũng sẽ dẫn đến việc các module bị gỡ bỏ khỏi mô hình.

add_adapter

< >

( adapter_name: strconfig: AdaptionPromptConfig )

Thêm một adapter với tên và cấu hình đã cho.

delete_adapter

< >

( adapter_name: str )

Xóa bộ thích ứng có tên được chỉ định.

disable_adapter_layers

< >

( )

Tắt các lớp adapter bằng cách thay thế các module AdaptedAttention.

enable_adapter_layers

< >

( )

Bật các lớp adapter bằng cách thay thế bằng các module AdaptedAttention đã được lưu trong bộ nhớ đệm.

set_adapter

< >

( adapter_name: strinference_mode: bool = False )

Đặt mô hình để sử dụng adapter có tên đã cho.

Update on GitHub