TRL documentation

TRL - Transformers 강화 학습

You are viewing v1.18.0 version. A newer version v1.18.1 is available.
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

TRL - Transformers 강화 학습

TRL은 Supervised Fine-Tuning (SFT), Group Relative Policy Optimization (GRPO), Direct Preference Optimization (DPO), Reward Modeling 등의 방법으로 transformer 언어 모델을 학습할 수 있는 도구 세트를 제공하는 풀 스택 라이브러리입니다. 해당 라이브러리는 🤗 transformers와 통합되어 있습니다.

🎉 새 소식

⚡ AsyncGRPOTrainer가 이제 안정화되었습니다: AsyncGRPOTrainer가 안정된 API로 승격되었습니다. 생성과 학습을 분리하여 GRPO를 훨씬 더 빠르게 실행합니다. vLLM 서버가 롤아웃을 스트리밍하는 동안 트레이너가 모델을 업데이트합니다.

분류

아래는 성숙도와 방법 유형별로 정리된 TRL 트레이너 개요입니다.

온라인 방법

보상 모델링

오프라인 방법

지식 증류

실험적

TRL 관련 모델, 데이터셋, 데모를 TRL Hugging Face 조직에서도 탐색할 수 있습니다.

학습

🤗 smol course에서 TRL 및 기타 라이브러리를 활용한 포스트 트레이닝을 학습해 보세요.

목차

문서는 다음 섹션으로 구성됩니다:

  • 시작하기: 설치 및 빠른 시작 가이드.
  • 개념 가이드: 데이터셋 형식, 학습 FAQ, 로그 이해하기.
  • 사용 가이드: 메모리 사용량 줄이기, 학습 속도 높이기, 학습 분산하기 등
  • 통합: DeepSpeed, PEFT 등
  • 예시: 예시 개요, 커뮤니티 튜토리얼 등
  • API: trainers, utils 등

블로그 게시물

thumbnail

2026년 5월 27일에 게시됨

Hub 버킷으로 1조 개 매개변수 배포: TRL의 Delta Weight Sync

thumbnail

2026년 3월 31일에 게시됨

TRL v1: 해당 분야가 자체 가정을 무효화해도 견고함을 유지하는 후학습 라이브러리

thumbnail

2026년 3월 10일에 게시됨

토큰의 흐름을 유지하다: 16개의 오픈소스 RL 라이브러리에서 배운 것

thumbnail

2026년 3월 9일에 게시됨

Ulysses Sequence Parallelism: 백만 토큰 컨텍스트로 학습

thumbnail

2025년 10월 23일 게시

함께 구축하는 오픈 에이전트 생태계: OpenEnv 소개

thumbnail

2025년 8월 7일에 게시됨

TRL에서 Vision Language Model 정렬 ⚡️

thumbnail

2025년 6월 3일에 게시됨

NO GPU left behind: TRL에서 Co-located vLLM으로 효율성 해방

thumbnail

2025년 5월 25일에 게시됨

🐯 Liger GRPO와 TRL의 만남

thumbnail

2025년 1월 28일에 게시됨

Open-R1: DeepSeek-R1의 완전한 오픈 재현

thumbnail

2024년 7월 10일에 게시됨

TRL을 활용한 비전 언어 모델의 선호도 최적화

thumbnail

2024년 6월 12일에 게시됨

RLHF에 RL을 다시 적용하기

thumbnail

2024년 1월 10일에 게시됨

Unsloth와 🤗 TRL로 LLM Fine-tuning을 2배 빠르게

thumbnail

2023년 9월 29일에 게시됨

TRL을 사용하여 DDPO로 Stable Diffusion 모델을 Fine-tune

thumbnail

2023년 8월 8일에 게시됨

DPO를 사용하여 Llama 2를 Fine-tune

thumbnail

2023년 4월 5일에 게시됨

StackLLaMA: RLHF로 LLaMA를 학습하는 실전 가이드

thumbnail

2023년 3월 9일에 게시됨

24GB 소비자용 GPU에서 RLHF로 20B LLM 파인튜닝

thumbnail

2022년 12월 9일에 게시됨

인간 피드백을 통한 강화 학습

강연

Update on GitHub