# DeepSpeed 통합

TRL은 고급 학습 최적화 기법을 구현한 라이브러리인 DeepSpeed를 활용한 학습을 지원합니다. 여기에는 옵티마이저 상태 파티셔닝, 오프로딩, 그라디언트 파티셔닝 등이 포함됩니다.

DeepSpeed는 [Zero Redundancy Optimizer (ZeRO)](https://huggingface.co/papers/1910.02054)를 통합하여, 높은 효율성을 유지하면서 장치 수에 비례하여 모델 크기를 확장할 수 있습니다.

![ZeRO Stages](https://huggingface.co/datasets/trl-lib/documentation-images/resolve/main/zero_stages.png)

## 설치

TRL에서 DeepSpeed를 사용하려면 다음 명령을 사용하여 설치하세요:

```bash
pip install deepspeed
```

## DeepSpeed로 학습 스크립트 실행

학습 스크립트에 대한 수정은 필요하지 않습니다. [Trainer](https://huggingface.co/docs/transformers/v5.23.0/en/main_classes/trainer#transformers.Trainer)의 경우와 마찬가지로 학습 인수를 통해 DeepSpeed를 활성화합니다. `deepspeed`를 DeepSpeed 구성 파일의 경로로 설정하고, torchrun으로 실행하세요.

```python
training_args = SFTConfig(..., deepspeed="<DEEPSPEED_CONFIG_FILE.json>")
```

```bash
torchrun --nproc_per_node 8 train.py
```

`trl` CLI의 기반이 되는 스크립트와 같이 [TrlParser](/docs/trl/v1.18.0/ko/script_utils#trl.TrlParser)로 인수를 파싱하는 스크립트는 커맨드 라인에서 이를 가져옵니다:

```bash
trl sft ... --deepspeed <DEEPSPEED_CONFIG_FILE.json>
```

[`examples/deepspeed_configs`](https://github.com/huggingface/trl/tree/main/examples/deepspeed_configs) 디렉터리에서 바로 사용할 수 있는 DeepSpeed 설정 파일을 제공합니다. 예를 들어, ZeRO Stage 2로 학습을 실행하려면:

```bash
trl sft ... --deepspeed examples/deepspeed_configs/zero2.json
```

이 파일들에서 `"auto"`로 설정된 값(배치 크기, 그라디언트 축적, 정밀도 등)은 학습 인자에서 채워집니다.

## 추가 자료

DeepSpeed 통합에 대한 자세한 내용은 🤗 Transformers [DeepSpeed 문서](https://huggingface.co/docs/transformers/deepspeed)를 참고하세요.

