PEFT documentation
Integraciones de PEFT
Integraciones de PEFT
Los beneficios prácticos de PEFT se extienden a otras bibliotecas de Hugging Face como Diffusers y Transformers. Uno de los principales beneficios de PEFT es que un archivo de adaptador generado por un método de PEFT es mucho más pequeño que el modelo original, lo que facilita enormemente la gestión y el uso de múltiples adaptadores. Puedes utilizar un modelo base preentrenado para múltiples tareas simplemente cargando un nuevo adaptador afinado para la tarea que estás resolviendo. O bien, puedes combinar múltiples adaptadores con un modelo de difusión de texto a imagen para crear nuevos efectos.
En este tutorial se mostrará cómo PEFT puede ayudarte a gestionar adaptadores en Diffusers y Transformers.
Diffusers
Diffusers es una biblioteca de IA generativa para crear imágenes y videos a partir de texto o imágenes con modelos de difusión. LoRA es un método de entrenamiento especialmente popular para modelos de difusión porque permite entrenar y compartir modelos de difusión muy rápidamente para generar imágenes en nuevos estilos. Para facilitar el uso y la prueba de múltiples modelos LoRA, Diffusers utiliza la biblioteca PEFT para ayudar a gestionar diferentes adaptadores para la inferencia.
Por ejemplo, cargue un modelo base y luego cargue el adaptador artificialguybr/3DRedmond-V1 para la inferencia con el método load_lora_weights. El argumento adapter_name en el método de carga está habilitado por PEFT y le permite establecer un nombre para el adaptador para que sea más fácil de referenciar.
import torch
from diffusers import DiffusionPipeline
device = torch.accelerator.current_accelerator().type if hasattr(torch, "accelerator") else "cuda"
pipeline = DiffusionPipeline.from_pretrained(
"stabilityai/stable-diffusion-xl-base-1.0", torch_dtype=torch.float16
).to(device)
pipeline.load_lora_weights(
"peft-internal-testing/artificialguybr__3DRedmond-V1",
weight_name="3DRedmond-3DRenderStyle-3DRenderAF.safetensors",
adapter_name="3d"
)
image = pipeline("sushi rolls shaped like kawaii cat faces").images[0]
image
Ahora probemos otro modelo LoRA interesante, ostris/super-cereal-sdxl-lora. Solo tienes que cargar y nombrar este nuevo adaptador con adapter_name, y usar el método set_adapters para establecerlo como el adaptador activo en la actualidad.
pipeline.load_lora_weights(
"ostris/super-cereal-sdxl-lora",
weight_name="cereal_box_sdxl_v1.safetensors",
adapter_name="cereal"
)
pipeline.set_adapters("cereal")
image = pipeline("sushi rolls shaped like kawaii cat faces").images[0]
image
Por último, puedes llamar al método disable_lora para restaurar el modelo base.
pipeline.disable_lora()
Obtén más información sobre cómo PEFT admite Diffusers en el tutorial Inference with PEFT.
Transformers
🤗 Transformers es una colección de modelos preentrenados para todo tipo de tareas en todas las modalidades. Puedes cargar estos modelos para entrenamiento o inferencia. Muchos de los modelos son modelos de lenguaje grandes (LLM), por lo que tiene sentido integrar PEFT con Transformers para gestionar y entrenar adaptadores.
Cargue un modelo preentrenado base para entrenar.
from transformers import AutoModelForCausalLM
model = AutoModelForCausalLM.from_pretrained("facebook/opt-350m")A continuación, agregue una configuración de adaptador para especificar cómo adaptar los parámetros del modelo. Llame al método add_adapter() para agregar la configuración al modelo base.
from peft import LoraConfig
peft_config = LoraConfig(
lora_alpha=16,
lora_dropout=0.1,
r=64,
bias="none",
task_type="CAUSAL_LM"
)
model.add_adapter(peft_config)Ahora puedes entrenar el modelo con la clase Trainer de Transformers o con el marco de entrenamiento que prefieras.
Para usar el modelo recién entrenado para inferencia, la clase AutoModel utiliza PEFT en el backend para cargar los pesos del adaptador y el archivo de configuración en un modelo preentrenado base.
from transformers import AutoModelForCausalLM
model = AutoModelForCausalLM.from_pretrained("peft-internal-testing/opt-350m-lora")Alternativamente, puede usar los Pipelines de transformers para cargar el modelo y ejecutar la inferencia de manera conveniente:
from transformers import pipeline
model = pipeline("text-generation", "peft-internal-testing/opt-350m-lora")
print(model("Hello World"))Si te interesa comparar o usar más de un adaptador, puedes llamar al método add_adapter() para añadir la configuración del adaptador al modelo base. El único requisito es que el tipo de adaptador sea el mismo (no se puede mezclar un adaptador LoRA con uno LoHa).
from transformers import AutoModelForCausalLM
from peft import LoraConfig
model = AutoModelForCausalLM.from_pretrained("facebook/opt-350m")
model.add_adapter(lora_config_1, adapter_name="adapter_1")Llama a add_adapter() de nuevo para adjuntar un nuevo adaptador al modelo base.
model.add_adapter(lora_config_2, adapter_name="adapter_2")Luego puedes usar set_adapter() para establecer el adaptador activo actualmente.
model.set_adapter("adapter_1")
output = model.generate(**inputs)
print(tokenizer.decode(output_disabled[0], skip_special_tokens=True))Para deshabilitar el adaptador, llama al método disable_adapters.
model.disable_adapters()
Se puede usar enable_adapters para volver a habilitar los adaptadores.
Si te interesa, consulta el tutorial Carga y entrena adaptadores con PEFT para saber más.
Update on GitHub