# Gradium Phonon TTS

## 개요

Gradium Phonon TTS는 [Gradium](https://gradium.ai)의 온디바이스 텍스트-음성 변환 모델 계열로, [Pocket TTS](./pocket_tts)의 레시피로 학습되었습니다. 인과적 트랜스포머가 음성 프롬프트와 텍스트를 읽은 후, 1단계 플로우 헤드를 통해 12.5 Hz에서 각 단계마다 하나의 연속적인 32차원 오디오 잠재를 출력하고, 발화 종료 헤드가 발화가 끝나는 시점을 결정합니다. 잠재는 프로세서가 보유하는 [Pocket TTS 오디오 토크나이저](./pocket_tts_audio_tokenizer), 즉 Pocket TTS의 [PocketTTSProcessor](/docs/transformers/v5.23.0/ko/model_doc/pocket_tts#transformers.PocketTTSProcessor)에 의해 24 kHz 오디오로 디코딩됩니다.

Pocket TTS와 음성 조건화 방식에서 차이가 있습니다. 음성 프롬프트는 별도의 스피커 코덱의 512차원 잠재 변수(latents)로 구성되며, 학습된 스피커 벡터가 모든 오디오 잠재 변수 위치에 추가됩니다. 스피커 코덱은 공개되지 않았으므로, 음성은 사전 계산된 잠재 변수로 제공됩니다(각 체크포인트의 `default-voice.safetensors` 및 [gradium/phonon-voices](https://huggingface.co/gradium/phonon-voices) 카탈로그). 또한 오디오 토크나이저는 디코더 전용이므로 녹음에서 음성을 복제할 수 없습니다.

| 체크포인트 | 매개변수 | 언어 | 라이선스 |
|---|---|---|---|
| [gradium/phonon-31m-en](https://huggingface.co/gradium/phonon-31m-en) | 31M | 영어 | Apache 2.0 |
| [gradium/phonon-40m-en](https://huggingface.co/gradium/phonon-40m-en) | 40M | 영어 | CC BY-NC 4.0 |
| [gradium/phonon-40m-fr](https://huggingface.co/gradium/phonon-40m-fr) | 40M | 프랑스어 | CC BY-NC 4.0 |
| [gradium/phonon-40m-de](https://huggingface.co/gradium/phonon-40m-de) | 40M | 독일어 | CC BY-NC 4.0 |
| [gradium/phonon-40m-es](https://huggingface.co/gradium/phonon-40m-es) | 40M | 스페인어 | CC BY-NC 4.0 |
| [gradium/phonon-40m-pt](https://huggingface.co/gradium/phonon-40m-pt) | 40M | Portuguese | CC BY-NC 4.0 |
| [gradium/phonon-40m-multilingual](https://huggingface.co/gradium/phonon-40m-multilingual) | 40M | 영어, 프랑스어, 독일어, 스페인어, 포르투갈어 | CC BY-NC 4.0 |

모두 동일한 방식으로 로드됩니다. 체크포인트를 전환하려면 리포지토리 ID만 변경하면 됩니다.

이 모델은 [Eustache Le Bihan](https://huggingface.co/eustlb)이 기여했습니다. 원본 코드는 [gradium-ai/xn-ptts](https://github.com/gradium-ai/xn-ptts)입니다.

## 사용 팁

- [apply_chat_template()](/docs/transformers/v5.23.0/ko/main_classes/processors#transformers.ProcessorMixin.apply_chat_template)로 입력을 준비합니다: 텍스트마다 `user` 메시지 하나, 음성 위치에는 빈 `{"type": "audio"}` 항목, `processor_kwargs={"audio_prompt_latents": [...]}`에 음성 latents, 그리고 `add_generation_prompt=True`를 사용합니다.
- 토크나이저는 숫자, 금액, 기호, 주소를 풀어쓰지 않으며, [텍스트 정규화](#text-normalization)를 참조하세요.
- `generate`는 `audio_latents`와 `audio_latents_mask`를 반환합니다. [PocketTTSProcessor.decode()](/docs/transformers/v5.23.0/ko/model_doc/pocket_tts#transformers.PocketTTSProcessor.decode)로 디코딩하세요.
- Gradium의 런타임과 동일한 방식으로 생성 샘플을 생성합니다: `temperature` 0.3(플로우의 시작 노이즈의 분산)를 사용하고, end-of-speech 로짓이 `eos_threshold`를 초과한 직후에 생성을 중단합니다. `do_sample=False`는 플로우를 노이즈가 0인 상태에서 시작합니다.
- 모델은 가중치가 저장된 dtype인 bf16로 로드됩니다. CPU에서는 Gradium의 런타임과 일치하도록 `dtype=torch.float32`를 전달하세요.
- 긴 텍스트는 [PocketTTSProcessor.split_text()](/docs/transformers/v5.23.0/ko/model_doc/pocket_tts#transformers.PocketTTSProcessor.split_text)로 분할하며, 청크마다 대화 하나씩 포함합니다.

## 사용

### 음성

Voice는 `(num_frames, 512)` 크기의 latent 텐서입니다. 각 checkpoint에는 하나(`default-voice.safetensors`)가 포함되며, [gradium/phonon-voices](https://huggingface.co/gradium/phonon-voices)에는 모든 언어로 된 약 100개 이상의 voice가 있습니다. 각 voice는 고유한 voice ID를 가지며, `voices.jsonl`에는 이름, 언어, 설명이 나열되어 있습니다. 어떤 voice도 어떤 checkpoint와도 함께 사용할 수 있습니다.

```python
import torch
from huggingface_hub import hf_hub_download
from safetensors.torch import load_file
from transformers import AutoProcessor, GradiumPhononTTSForConditionalGeneration

model_id = "gradium/phonon-31m-en"
processor = AutoProcessor.from_pretrained(model_id, device_map="auto")
model = GradiumPhononTTSForConditionalGeneration.from_pretrained(model_id, device_map="auto")

def load_voice(voice_id):
    """A voice of gradium/phonon-voices, as latents of shape (num_frames, 512)."""
    path = hf_hub_download("gradium/phonon-voices", f"voices/{voice_id}.safetensors")
    return load_file(path)["speaker_wavs"][0].T.float()

# Easton (en-us); the checkpoint's own voice: hf_hub_download(model_id, "default-voice.safetensors")
voice = load_voice("LMDIYE0Oa377Qh6Z")
# an empty `audio` item marks the voice
conversation = [
    {"role": "user", "content": [{"type": "audio"}, {"type": "text", "text": "Hello from Phonon."}]}
]
inputs = processor.apply_chat_template(
    conversation,
    tokenize=True,
    return_dict=True,
    add_generation_prompt=True,
    processor_kwargs={"audio_prompt_latents": [voice]},
).to(model.device)

outputs = model.generate(**inputs)
audio = processor.decode(outputs.audio_latents, outputs.audio_latents_mask)
processor.save_audio(audio, "phonon.wav")
```

### 배치와 긴 텍스트

각각 고유한 목소리를 가진 여러 텍스트를 배치하고, 긴 텍스트는 청크로 분할합니다:

```python
text = (
    "Phonon is a small text-to-speech model that runs on your device. "
    "Long texts are split into sentences, and each chunk is one conversation of the batch."
)
chunks = processor.split_text(text)
texts = chunks + ["And this one is said by another voice."]
voices = [load_voice("LMDIYE0Oa377Qh6Z")] * len(chunks) + [load_voice("NbpkqMVS3CJeq2j8")]
conversations = [
    [{"role": "user", "content": [{"type": "audio"}, {"type": "text", "text": text}]}] for text in texts
]
inputs = processor.apply_chat_template(
    conversations,
    tokenize=True,
    return_dict=True,
    add_generation_prompt=True,
    processor_kwargs={"audio_prompt_latents": voices},
).to(model.device)

outputs = model.generate(**inputs)
audio = processor.decode(outputs.audio_latents, outputs.audio_latents_mask)
processor.save_audio([torch.cat(audio[: len(chunks)]), audio[-1]], ["long.wav", "other.wav"])
```

### 텍스트 정규화

토크나이저는 Gradium의 런타임과 마찬가지로 언어에 의존하지 않는 요소를 정규화합니다:

| 텍스트 | 토크나이저 |
|---|---|
| `“Hello” — it’s here…` | `"Hello" it's here.` |
| `hello (world); see you 🚀` | `Hello, world, see you.` |

숫자, 금액, 기호, 주소와 같이 언어에 따라 달라지는 내용은 명시하지 않습니다:

| 텍스트 | 토크나이저 | Gradium의 런타임 |
|---|---|---|
| `It costs $1,234.56.` | `It costs $1,234.56.` | `It costs 1 thousand 234 dollars and 56 cents.` |
| `Write to jean@gradium.ai` | `Write to jean@gradium.ai.` | `Write to jean at gradium dot A-I.` |
| `It is 21°C` | `It is 21°C.` | `It is 21 degrees Celsius.` |

이러한 경우, Gradium 런타임의 텍스트 정규화인 [ptts](https://github.com/gradium-ai/xn-ptts)를 사용하거나 직접 작성하세요.

## GradiumPhononTTSConfig[[transformers.GradiumPhononTTSConfig]]

#### transformers.GradiumPhononTTSConfig[[transformers.GradiumPhononTTSConfig]]

```python
transformers.GradiumPhononTTSConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, flow_head_config: dict | transformers.configuration_utils.PreTrainedConfig | None = None, vocab_size: int = 4001, hidden_size: int = 768, num_hidden_layers: int = 6, num_attention_heads: int = 12, num_key_value_heads: int | None = None, head_dim: int | None = None, intermediate_size: int = 3072, hidden_act: str = 'gelu', layer_norm_eps: float = 1e-05, attention_bias: bool = False, attention_dropout: float = 0.0, max_position_embeddings: int = 8192, rope_parameters: transformers.modeling_rope_utils.RopeParameters | dict | None = None, latent_dim: int = 32, pad_token_id: int = 3, bos_token_id: int | None = None, eos_token_id: int | None = None, audio_prompt_token_id: int = 5, audio_latent_token_id: int = 6, audio_bos_token_id: int = 4, frame_rate: float = 12.5, initializer_range: float = 0.02, use_cache: bool = True, eos_loss_weight: float = 0.1, flow_loss_num_samples: int = 4, lsd_distill_probability: float = 0.25, lsd_diagonal_weight: float = 0.75, lsd_time_logit_mean: float = 0.4, lsd_time_logit_std: float = 1.0, latent_stats_ema_steps: int = 1000, latent_stats_ema_decay: float = 0.999, audio_prompt_dim: int = 512, num_speakers: int = 1, num_speakers_vocab_size: int = 32, num_speakers_embedding_dim: int = 16, duration_delta: float = 0.0, duration_delta_embedding_dim: int = 128, duration_delta_scale: float = 1000.0, duration_delta_max_period: float = 10000.0)
```

[소스](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/gradium_phonon_tts/configuration_gradium_phonon_tts.py#L82)

**매개변수:**

flow_head_config (`Union[GradiumPhononTTSFlowHeadConfig, dict]`, *선택 사항*) : 백본의 숨겨진 상태(hidden state)에서 각 잠재 변수(latent)를 샘플링하는 플로우 헤드(flow head)의 설정입니다.

vocab_size (`int`, *선택 사항*, 기본값 `4001`) : 모델의 어휘 크기입니다. `input_ids`로 표현할 수 있는 서로 다른 토큰의 수를 정의합니다.

hidden_size (`int`, *선택 사항*, 기본값 `768`) : 숨겨진 표현의 차원.

num_hidden_layers (`int`, *선택 사항*, 기본값 `6`) : Transformer 디코더의 숨겨진 레이어 수.

num_attention_heads (`int`, *선택 사항*, 기본값 `12`) : Transformer decoder의 각 attention layer에 사용되는 attention head의 수입니다.

num_key_value_heads (`int`, *선택 사항*) : Grouped Query Attention 구현에 사용할 key_value 헤드 수입니다. `num_key_value_heads=num_attention_heads`인 경우 모델은 Multi Head Attention(MHA)을, `num_key_value_heads=1`인 경우 Multi Query Attention(MQA)을, 그 외에는 GQA를 사용합니다. 멀티 헤드 체크포인트를 GQA 체크포인트로 변환할 때, 각 그룹의 key 및 value 헤드는 해당 그룹 내 모든 원래 헤드를 meanpooling하여 구성해야 합니다. 자세한 내용은 [이 논문](https://huggingface.co/papers/2305.13245)을 참고하세요. 지정되지 않으면 기본값으로 `num_attention_heads`가 사용됩니다.

head_dim (`int`, *선택 사항*) : 어텐션 헤드 차원입니다. None인 경우, 기본값은 hidden_size // num_attention_heads입니다.

intermediate_size (`int`, *선택 사항*, 기본값 `3072`) : MLP 표현의 차원.

hidden_act (`str`, *선택 사항*, 기본값 `gelu`) : 디코더에서 사용되는 비선형 활성화 함수(함수 또는 문자열). 예를 들어, `"gelu"`, `"relu"`, `"silu"` 등이 있습니다.

layer_norm_eps (`float`, *선택 사항*, 기본값 1e-05) : 백본의 레이어 정규화(layer normalization)의 Epsilon 값입니다.

attention_bias (`bool`, *선택 사항*, 기본값 `False`) : self-attention에서 query, key, value 및 output projection layer에 bias를 사용할지 여부.

attention_dropout (`float`, *선택 사항*, 기본값 `0.0`) : attention 확률에 적용할 dropout 비율입니다.

max_position_embeddings (`int`, *선택 사항*, 기본값 `8192`) : 이 모델이 사용될 수 있는 최대 시퀀스 길이입니다.

rope_parameters (`Union[~modeling_rope_utils.RopeParameters, dict]`, *선택*) : RoPE 임베딩의 구성 매개변수를 포함하는 사전입니다. 사전에는 `rope_theta` 값이 포함되어야 하며, 더 긴 `max_position_embeddings`로 RoPE를 사용하려는 경우 스케일링에 사용되는 매개변수도 선택적으로 포함할 수 있습니다.

latent_dim (`int`, *선택 사항*, 기본값 32) : 백본이 입력으로 받는 오디오 레이턴트(`audio_latents`)의 차원. flow head와 오디오 토크나이저의 `latent_dim`과 동일합니다.

pad_token_id (`int`, *선택 사항*, 기본값 `3`) : 어휘에서 패딩에 사용되는 토큰 ID입니다.

bos_token_id (`int`, *선택 사항*) : 어휘에서 스트림 시작에 사용되는 토큰 ID입니다.

eos_token_id (`int`, *선택 사항*) : 어휘에서 스트림 종료에 사용되는 토큰 ID.

audio_prompt_token_id (`int`, *선택 사항*, 기본값 5) : `input_ids`의 음성 프롬프트 프레임에 대한 플레이스홀더 토큰 ID(`<|audio_prompt|>`).

audio_latent_token_id (`int`, *선택 사항*, 기본값 6) : `input_ids`의 오디오 잠재 위치의 플레이스홀더 토큰 ID (`<|audio_latent|>`).

audio_bos_token_id (`int`, *선택 사항*, 기본값 4) : 프롬프트를 닫는 첫 번째 오디오 위치의 토큰 ID입니다. 학습된 BOS 잠재를 포함하며, 여기서 첫 번째 프레임이 생성됩니다 (`<|audio_bos|>`).

frame_rate (`float`, *선택 사항*, 기본값 12.5) : 초당 오디오 오디오 레이턴트 수: `generate`는 이 값에서 기본 프레임 예산을 유도합니다.

initializer_range (`float`, *선택 사항*, 기본값 `0.02`) : 모든 가중치 행렬을 초기화하는 truncated_normal_initializer의 표준 편차입니다.

use_cache (`bool`, *선택 사항*, 기본값 `True`) : 모델이 마지막 key/values attention을 반환할지 여부입니다(모든 모델에서 사용되지 않음). `config.is_decoder=True`인 경우 또는 모델이 decoder-only 생성 모델인 경우에만 관련이 있습니다.

eos_loss_weight (`float`, *선택 사항*, 기본값 0.1) : 학습 손실에서 말 끝 손실(end-of-speech loss)의 가중치.

flow_loss_num_samples (`int`, *선택 사항*, 기본값 4) : flow loss에서 대상 프레임당 노이즈 추출 횟수.

lsd_distill_probability (`float`, *선택 사항*, 기본값 0.25) : 학습 단계마다 LSD 손실의 자기 증류(self-distillation) 항을 계산할 확률(기대 손실을 유지하도록 가중치가 재조정됨); 1이면 모든 단계에서 계산합니다.

lsd_diagonal_weight (`float`, *선택 사항*, 기본값 0.75) : LSD 손실의 대각(즉각적 흐름) 항의 가중치입니다. 자기 증류(self-distillation) 항은 나머지 부분을 가중합니다.

lsd_time_logit_mean (`float`, *선택 사항*, 기본값 0.4) : LSD 손실이 추출하는 플로우 시간의 로짓 정규 분포 평균.

lsd_time_logit_std (`float`, *선택 사항*, 기본값 1.0) : LSD 손실이 추출하는 플로우 시간의 logit-normal 분포의 표준편차.

latent_stats_ema_steps (`int`, *선택 사항*, 기본값 1000) : `latent_mean`와 `latent_std`가 대상 latent의 지수 이동 평균을 따르는 첫 번째 학습 단계의 수; 0이면 고정됩니다.

latent_stats_ema_decay (`float`, *선택 사항*, 기본값 0.999) : 해당 이동 평균의 감쇠율(decay)입니다.

audio_prompt_dim (`int`, *선택 사항*, 기본값 512) : 음성 프롬프트 잠재 변수(`audio_prompt_latents`)의 차원입니다. 이는 Gradium의 스피커 코덱(Mimi 인코더이며 오디오 토크나이저의 것이 아님)의 양자화되지 않은 잠재 변수로, 백본이 이를 `hidden_size`로 투영합니다.

num_speakers (`int`, *선택 사항*, 기본값 1) : `num_speakers` 조건의 값: 모든 오디오 잠재 위치(latent position)에 추가되는 해당 조회 테이블(lookup table)의 행입니다.

num_speakers_vocab_size (`int`, *선택 사항*, 기본값 32) : `num_speakers` 조회 테이블의 행 수.

num_speakers_embedding_dim (`int`, *선택 사항*, 기본값 16) : `hidden_size`로 투영되는 `num_speakers` 조회 테이블의 너비.

duration_delta (`float`, *선택 사항*, 기본값 0.0) : `duration_delta` 조건의 값으로, 사인 함수로 임베딩된 후 모든 오디오 레이턴트 위치에 추가됩니다.

duration_delta_embedding_dim (`int`, *선택 사항*, 기본값 128) : `duration_delta`의 사인oidal 임베딩 크기이며, `hidden_size`로 투영됩니다.

duration_delta_scale (`float`, *선택 사항*, 기본값 1000.0) : `duration_delta`의 사인 임베딩 전에 적용되는 계수.

duration_delta_max_period (`float`, *선택 사항*, 기본값 10000.0) : `duration_delta`의 사인 함수 임베딩의 최대 주기입니다.

이것은 GradiumPhononTTSModel의 설정을 저장하기 위한 설정 클래스입니다. 지정된 인자에 따라 Gradium Phonon Tts 모델을 초기화하여 모델 아키텍처를 정의하는 데 사용됩니다. 기본값으로 설정을 초기화하면 [gradium/phonon-31m-en](https://huggingface.co/gradium/phonon-31m-en)의 설정과 유사한 설정이 생성됩니다.

Configuration 객체는 [PreTrainedConfig](/docs/transformers/v5.23.0/ko/main_classes/configuration#transformers.PreTrainedConfig)를 상속하며, 모델 출력을 제어하는 데 사용할 수 있습니다. 자세한 내용은 [PreTrainedConfig](/docs/transformers/v5.23.0/ko/main_classes/configuration#transformers.PreTrainedConfig)의 문서를 참고하세요.

## GradiumPhononTTSFlowHeadConfig[[transformers.GradiumPhononTTSFlowHeadConfig]]

#### transformers.GradiumPhononTTSFlowHeadConfig[[transformers.GradiumPhononTTSFlowHeadConfig]]

```python
transformers.GradiumPhononTTSFlowHeadConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, hidden_size: int = 512, num_hidden_layers: int = 6, latent_dim: int = 32, condition_dim: int = 768, frequency_embedding_size: int = 256, hidden_act: str = 'silu', layer_norm_eps: float = 1e-06, rms_norm_eps: float = 1e-05, max_period: float = 10000.0, flow_type: typing.Literal['lsd', 'drifting'] = 'lsd', loss_weighting_hidden_size: int = 32, loss_weighting_num_layers: int = 3)
```

[소스](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/gradium_phonon_tts/configuration_gradium_phonon_tts.py#L33)

**매개변수:**

hidden_size (`int`, *선택 사항*, 기본값 `512`) : 숨겨진 표현의 차원.

num_hidden_layers (`int`, *선택 사항*, 기본값 `6`) : Transformer 디코더의 숨겨진 레이어 수.

latent_dim (`int`, *선택 사항*, 기본값 32) : 헤드가 예측하는 연속 오디오 잠재 벡터의 차원(오디오 토크나이저의 잠재 차원).

condition_dim (`int`, *선택 사항*, 기본값 768) : 헤드(head)가 조건부로 사용하는 백본(backbone) 은닉 상태의 차원(백본의 `hidden_size`).

frequency_embedding_size (`int`, *선택 사항*, 기본값 256) : flow times의 sinusoidal embedding 크기입니다.

hidden_act (`str`, *선택 사항*, 기본값 `silu`) : 디코더에서 사용되는 비선형 활성화 함수(함수 또는 문자열). 예를 들어, `"gelu"`, `"relu"`, `"silu"` 등이 있습니다.

layer_norm_eps (`float`, *선택 사항*, 기본값 1e-06) : 잔차 블록 및 최종 레이어 내부의 레이어 정규화(layer normalization)의 Epsilon 값입니다.

rms_norm_eps (`float`, *선택 사항*, 기본값 1e-05) : 시간 임베딩을 닫는 정규화의 Epsilon 값입니다.

max_period (`float`, *선택 사항*, 기본값 10000.0) : 체크포인트가 `freqs`로 저장하는 사인 파동 시간 임베딩의 최대 주기입니다.

flow_type (`str`, *선택 사항*, 기본값 `"lsd"`) : 헤드 학습에 사용된 목적 함수로, 조건부 설정 및 샘플링 방식을 결정합니다. `"lsd"` (Lagrangian self-distillation): 플로우 단계의 시작 및 종료 시간에 조건부 설정되며, 가우시안 노이즈에서 Euler 스텝으로 샘플링됩니다. `"drifting"`: 시간 조건부 설정이 없으며, 헤드가 한 번의 호출로 노이즈를 잠재 변수로 매핑합니다.

loss_weighting_hidden_size (`int`, *선택 사항*, 기본값 32) : LSD 손실 항의 흐름 시간(flow times)에서 불확실성 가중치를 학습하는 MLP의 폭(훈련 전용).

loss_weighting_num_layers (`int`, *선택 사항*, 기본값 3) : 해당 MLP의 숨겨진 레이어 수.

이것은 GradiumPhononTTSModel의 설정을 저장하기 위한 설정 클래스입니다. 지정된 인자에 따라 Gradium Phonon Tts 모델을 초기화하여 모델 아키텍처를 정의하는 데 사용됩니다. 기본값으로 설정을 초기화하면 [gradium/phonon-31m-en](https://huggingface.co/gradium/phonon-31m-en)의 설정과 유사한 설정이 생성됩니다.

Configuration 객체는 [PreTrainedConfig](/docs/transformers/v5.23.0/ko/main_classes/configuration#transformers.PreTrainedConfig)를 상속하며, 모델 출력을 제어하는 데 사용할 수 있습니다. 자세한 내용은 [PreTrainedConfig](/docs/transformers/v5.23.0/ko/main_classes/configuration#transformers.PreTrainedConfig)의 문서를 참고하세요.

## GradiumPhononTTSModel[[transformers.GradiumPhononTTSModel]]

#### transformers.GradiumPhononTTSModel[[transformers.GradiumPhononTTSModel]]

```python
transformers.GradiumPhononTTSModel(config: GradiumPhononTTSConfig)
```

[소스](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/gradium_phonon_tts/modeling_gradium_phonon_tts.py#L393)

**매개변수:**

config ([GradiumPhononTTSConfig](/docs/transformers/v5.23.0/ko/model_doc/gradium_phonon_tts#transformers.GradiumPhononTTSConfig)) : 모델의 모든 매개변수를 포함하는 모델 구성 클래스입니다. 구성 파일로 초기화하는 것은 모델과 관련된 가중치를 로드하지 않으며, 구성 정보만 로드합니다. 모델 가중치를 로드하려면 [from_pretrained()](/docs/transformers/v5.23.0/ko/main_classes/model#transformers.PreTrainedModel.from_pretrained) 메서드를 확인하세요.

Gradium Phonon TTS 백본: 음성 프롬프트(스피커-코덱 잠재 변수), 텍스트 토큰, 오디오 잠재 변수로 구성된 단일 스트림에 대한 인과적 transformer로, 정규화된 은닉 상태를 반환합니다.

이 모델은 [PreTrainedModel](/docs/transformers/v5.23.0/ko/main_classes/model#transformers.PreTrainedModel)에서 상속됩니다. 라이브러리가 모든 모델에 대해 구현하는 일반적 메서드(다운로드 또는 저장, 입력 임베딩 크기 조정, 헤드 프루닝 등)에 대해서는 상위 클래스 문서를 확인하세요.

이 모델은 또한 PyTorch [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module)의 하위 클래스입니다. 일반적인 PyTorch Module처럼 사용하며, 일반적인 사용법과 동작에 관한 모든 사항은 PyTorch 문서를 참조하세요.

#### forward[[transformers.GradiumPhononTTSModel.forward]]

```python
forward(input_ids: typing.Optional[torch.LongTensor] = None, audio_prompt_latents: typing.Optional[torch.Tensor] = None, audio_prompt_latents_mask: typing.Optional[torch.Tensor] = None, audio_latents: typing.Optional[torch.Tensor] = None, audio_latents_mask: typing.Optional[torch.Tensor] = None, attention_mask: typing.Optional[torch.Tensor] = None, position_ids: typing.Optional[torch.LongTensor] = None, past_key_values: transformers.cache_utils.Cache | None = None, inputs_embeds: typing.Optional[torch.Tensor] = None, use_cache: bool | None = None, **kwargs: *<class 'transformers.utils.generic.TransformersKwargs'>)
```

[소스](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/gradium_phonon_tts/modeling_gradium_phonon_tts.py#L417)

**매개변수:**

input_ids (`torch.LongTensor`, shape `(batch_size, sequence_length)`, *선택 사항*) : 어휘(input sequence tokens)의 인덱스입니다. 기본적으로 패딩은 무시됩니다. [AutoTokenizer](/docs/transformers/v5.23.0/ko/model_doc/auto#transformers.AutoTokenizer)를 사용하여 인덱스를 얻을 수 있습니다. 자세한 내용은 [PreTrainedTokenizer.encode()](/docs/transformers/v5.23.0/ko/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) 및 [PreTrainedTokenizer.__call__()](/docs/transformers/v5.23.0/ko/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__)를 참조하세요. [입력 ID란 무엇인가요?](../glossary#input-ids)

audio_prompt_latents (`torch.Tensor`, shape `(batch_size, num_prompt_frames, latent_dim)`, *선택 사항*) : 오디오 토크나이저의 음성 프롬프트 라텐트(프로세서에 의해 인코딩되거나 체크포인트의 `voices/`에서 가져옴)입니다. 배치 내 가장 긴 음성까지 오른쪽 패딩이 적용되며, `audio_prompt_token_id` 위치에 분산 배치됩니다.

audio_prompt_latents_mask (`torch.Tensor`, shape `(batch_size, num_prompt_frames)`, *선택 사항*) : `audio_prompt_latents`에서 패딩(`0`)과 달리 음성 프레임(`1`)을 나타내는 마스크.

audio_latents (`torch.Tensor`, shape `(batch_size, num_latents, latent_dim)`, *선택 사항*) : `audio_latent_token_id` 위치에 분산된 정규화된 오디오 latents입니다. 그 앞의 `audio_bos_token_id` 위치는 프롬프트를 닫고 첫 번째 프레임이 생성되는 곳으로, 항상 학습된 BOS latent가 할당됩니다.

audio_latents_mask (`torch.Tensor`, shape `(batch_size, num_latents)`, *선택 사항*) : `audio_latents`에서 각 행의 latent 위치 수가 서로 다른 경우(학습 시), 각 행의 latent(`1`)와 padding(`0`)을 구분하는 마스크

attention_mask (`torch.Tensor`, shape `(batch_size, sequence_length)`, *선택 사항*) : 패딩 토큰 인덱스에 대한 attention을 수행하지 않도록 방지하는 마스크입니다. `[0, 1]`에서 선택된 마스크 값: - **마스크되지 않은** 토큰은 1, - **마스크된** 토큰은 0. [attention 마스크란?](../glossary#attention-mask)

position_ids (`torch.LongTensor`, shape `(batch_size, sequence_length)`, *선택 사항*) : 각 입력 시퀀스의 토큰 위치 인덱스입니다. `[0, config.n_positions - 1]` 범위에서 선택됩니다. [위치 ID란 무엇인가요?](../glossary#position-ids)

past_key_values (`~cache_utils.Cache`, *선택*) : 순차적 디코딩을 가속화할 수 있는 사전 계산된 hidden-states(셀프 어텐션 블록과 크로스 어텐션 블록의 key 및 value)입니다. 일반적으로 `use_cache=True` 또는 `config.use_cache=True`일 때 모델이 디코딩의 이전 단계에서 반환한 `past_key_values`로 구성됩니다. 입력으로 [Cache](/docs/transformers/v5.23.0/ko/internal/generation_utils#transformers.Cache) 인스턴스만 허용되며, [kv cache 가이드](https://huggingface.co/docs/transformers/en/kv_cache)를 참조하세요. `past_key_values`가 전달되지 않으면 기본적으로 [DynamicCache](/docs/transformers/v5.23.0/ko/internal/generation_utils#transformers.DynamicCache)가 초기화됩니다. 모델은 입력으로 제공된 것과 동일한 캐시 형식을 출력합니다. `past_key_values`를 사용하는 경우, 이 모델에 과거 key value 상태가 제공되지 않은 `input_ids`(처리되지 않은 항목)만 `(batch_size, unprocessed_length)` 형식으로 입력해야 하며, `(batch_size, sequence_length)` 형식의 모든 `input_ids`를 입력하지 않습니다.

inputs_embeds (`torch.Tensor`, shape `(batch_size, sequence_length, hidden_size)`, *선택 사항*) : `input_ids`를 전달하는 대신 임베디드 표현을 직접 전달할 수 있습니다. 이는 모델의 내부 임베딩 조회 행렬보다 `input_ids` 인덱스를 관련 벡터로 변환하는 방식에 대해 더 많은 제어가 필요한 경우 유용합니다.

use_cache (`bool`, *선택 사항*) : `True`로 설정하면 `past_key_values` 키 값 상태가 반환되며, 디코딩 속도를 높이는 데 사용할 수 있습니다(`past_key_values` 참조).

**반환값:** [BaseModelOutputWithPast](/docs/transformers/v5.23.0/ko/main_classes/output#transformers.modeling_outputs.BaseModelOutputWithPast) 또는 `tuple(torch.Tensor)`

[BaseModelOutputWithPast](/docs/transformers/v5.23.0/ko/main_classes/output#transformers.modeling_outputs.BaseModelOutputWithPast) 또는 `torch.Tensor`의 튜플(`return_dict=False`가 전달되었거나 `config.return_dict=False`인 경우)로, [GradiumPhononTTSConfig](/docs/transformers/v5.23.0/ko/model_doc/gradium_phonon_tts#transformers.GradiumPhononTTSConfig) 및 입력에 따라 다양한 요소를 포함합니다.

[GradiumPhononTTSModel](/docs/transformers/v5.23.0/ko/model_doc/gradium_phonon_tts#transformers.GradiumPhononTTSModel)의 forward 메서드는 `__call__` 특수 메서드를 오버라이드합니다.

`Module` 인스턴스는 전처리 및 후처리 단계를 실행하는 것을 처리하지만, 이 함수는 해당 단계를 조용히 무시하므로, 순전파(forward pass) 레시피를 이 함수 내에서 정의해야 하더라도 이후에는 이 함수 대신 `Module` 인스턴스를 호출해야 합니다.

- **last_hidden_state** (`torch.Tensor`, shape `(batch_size, sequence_length, hidden_size)`) -- 모델의 마지막 레이어 출력에서 생성된 hidden-state 시퀀스입니다.

  `past_key_values`가 사용되면, `(batch_size, 1, hidden_size)` 형태의 시퀀스의 마지막 hidden-state만 출력됩니다.
- **past_key_values** (`Cache`, *선택 사항*, `use_cache=True`가 전달되었거나 `config.use_cache=True`인 경우 반환됨) -- [Cache](/docs/transformers/v5.23.0/ko/internal/generation_utils#transformers.Cache) 인스턴스입니다. 자세한 내용은 [kv cache 가이드](https://huggingface.co/docs/transformers/en/kv_cache)를 참조하세요.

  순차적 디코딩을 가속화하는 데 사용할 수 있는 사전 계산된 hidden-states(셀프 어텐션 블록의 key와 value, 그리고 `config.is_encoder_decoder=True`인 경우 크로스 어텐션 블록의 key와 value)를 포함합니다(입력 `past_key_values` 참조).
- **hidden_states** (`tuple(torch.Tensor)`, *선택 사항*, `output_hidden_states=True`가 전달되었거나 `config.output_hidden_states=True`인 경우 반환됨) -- `torch.Tensor`의 튜플(모델에 임베딩 레이어가 있는 경우 임베딩 출력 1개 + 각 레이어의 출력 1개)로, 형태는 `(batch_size, sequence_length, hidden_size)`입니다.

  각 레이어의 출력에서 모델의 Hidden-states와 선택적 초기 임베딩 출력을 포함합니다.
- **attentions** (`tuple(torch.Tensor)`, *선택 사항*, `output_attentions=True`가 전달되었거나 `config.output_attentions=True`인 경우 반환됨) -- 각 레이어마다 하나씩 포함된 `torch.Tensor`의 튜플로, 모양은 `(batch_size, num_heads, sequence_length, sequence_length)`입니다.

  self-attention 헤드에서 가중 평균을 계산하는 데 사용되는 attention softmax 이후의 attention 가중치입니다.

## GradiumPhononTTSForConditionalGeneration[[transformers.GradiumPhononTTSForConditionalGeneration]]

#### transformers.GradiumPhononTTSForConditionalGeneration[[transformers.GradiumPhononTTSForConditionalGeneration]]

```python
transformers.GradiumPhononTTSForConditionalGeneration(config: GradiumPhononTTSConfig)
```

[소스](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/gradium_phonon_tts/modeling_gradium_phonon_tts.py#L693)

**매개변수:**

config ([GradiumPhononTTSConfig](/docs/transformers/v5.23.0/ko/model_doc/gradium_phonon_tts#transformers.GradiumPhononTTSConfig)) : 모델의 모든 매개변수를 포함하는 모델 구성 클래스입니다. 구성 파일로 초기화하는 것은 모델과 관련된 가중치를 로드하지 않으며, 구성 정보만 로드합니다. 모델 가중치를 로드하려면 [from_pretrained()](/docs/transformers/v5.23.0/ko/main_classes/model#transformers.PreTrainedModel.from_pretrained) 메서드를 확인하세요.

Gradium Phonon TTS 텍스트-음성 변환 모델: 백본, 각 단계마다 오디오 잠재 변수 하나를 샘플링하는 플로우 헤드, 그리고 발화 종료 헤드. 이 모델은 오디오 토크나이저 잠재 변수를 생성하며, 프로세서가 이를 24 kHz 오디오로 디코딩합니다.

이 모델은 [PreTrainedModel](/docs/transformers/v5.23.0/ko/main_classes/model#transformers.PreTrainedModel)에서 상속됩니다. 라이브러리가 모든 모델에 대해 구현하는 일반적 메서드(다운로드 또는 저장, 입력 임베딩 크기 조정, 헤드 프루닝 등)에 대해서는 상위 클래스 문서를 확인하세요.

이 모델은 또한 PyTorch [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module)의 하위 클래스입니다. 일반적인 PyTorch Module처럼 사용하며, 일반적인 사용법과 동작에 관한 모든 사항은 PyTorch 문서를 참조하세요.

#### forward[[transformers.GradiumPhononTTSForConditionalGeneration.forward]]

```python
forward(input_ids: typing.Optional[torch.LongTensor] = None, audio_prompt_latents: typing.Optional[torch.Tensor] = None, audio_prompt_latents_mask: typing.Optional[torch.Tensor] = None, audio_latents: typing.Optional[torch.Tensor] = None, labels: typing.Optional[torch.Tensor] = None, labels_mask: typing.Optional[torch.Tensor] = None, attention_mask: typing.Optional[torch.Tensor] = None, position_ids: typing.Optional[torch.LongTensor] = None, past_key_values: transformers.cache_utils.Cache | None = None, inputs_embeds: typing.Optional[torch.Tensor] = None, use_cache: bool | None = None, **kwargs: *<class 'transformers.utils.generic.TransformersKwargs'>)
```

[소스](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/gradium_phonon_tts/modeling_gradium_phonon_tts.py#L725)

**매개변수:**

input_ids (`torch.LongTensor`, shape `(batch_size, sequence_length)`, *선택 사항*) : 어휘(input sequence tokens)의 인덱스입니다. 기본적으로 패딩은 무시됩니다. [AutoTokenizer](/docs/transformers/v5.23.0/ko/model_doc/auto#transformers.AutoTokenizer)를 사용하여 인덱스를 얻을 수 있습니다. 자세한 내용은 [PreTrainedTokenizer.encode()](/docs/transformers/v5.23.0/ko/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) 및 [PreTrainedTokenizer.__call__()](/docs/transformers/v5.23.0/ko/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__)를 참조하세요. [입력 ID란 무엇인가요?](../glossary#input-ids)

audio_prompt_latents (`torch.Tensor`, shape `(batch_size, num_prompt_frames, latent_dim)`, *선택 사항*) : 오디오 토크나이저의 음성 프롬프트 라텐트입니다. 오른쪽으로 패딩되어 `audio_prompt_token_id` 위치에 분산 배치됩니다.

audio_prompt_latents_mask (`torch.Tensor`, shape `(batch_size, num_prompt_frames)`, *선택 사항*) : `audio_prompt_latents`에서 패딩(`0`)과 달리 음성 프레임(`1`)을 나타내는 마스크.

audio_latents (`torch.Tensor`, shape `(batch_size, num_latents, latent_dim)`, *선택 사항*) : `audio_latent_token_id` 위치에 분산된 정규화된 오디오 latents입니다.

labels (`torch.Tensor`, shape `(batch_size, num_frames, latent_dim)`, *선택 사항*) : 오디오 토크나이저의 대상 잠재 변수(학습용), 오른쪽 패딩 처리됨. 각 행의 프롬프트는 `audio_bos_token_id` 위치로 끝나고, 프레임당 하나의 `audio_latent_token_id` 위치가 뒤따릅니다. 모델은 정규화된 대상(teacher forcing)을 입력하고, BOS와 마지막 프레임을 제외한 모든 프레임의 출력에 flow loss를 적용하여 프레임을 예측하며, 모든 프레임에 end-of-speech loss를 적용합니다. 여기서 마지막 프레임은 말의 끝을 나타냅니다.

labels_mask (`torch.Tensor`, shape `(batch_size, num_frames)`, *선택 사항*) : `labels`에서 패딩(`0`)과 달리 각 행의 대상 프레임(`1`)을 나타내는 마스크.

attention_mask (`torch.Tensor`, shape `(batch_size, sequence_length)`, *선택 사항*) : 패딩 토큰 인덱스에 대한 attention을 수행하지 않도록 방지하는 마스크입니다. `[0, 1]`에서 선택된 마스크 값: - **마스크되지 않은** 토큰은 1, - **마스크된** 토큰은 0. [attention 마스크란?](../glossary#attention-mask)

position_ids (`torch.LongTensor`, shape `(batch_size, sequence_length)`, *선택 사항*) : 각 입력 시퀀스의 토큰 위치 인덱스입니다. `[0, config.n_positions - 1]` 범위에서 선택됩니다. [위치 ID란 무엇인가요?](../glossary#position-ids)

past_key_values (`~cache_utils.Cache`, *선택*) : 순차적 디코딩을 가속화할 수 있는 사전 계산된 hidden-states(셀프 어텐션 블록과 크로스 어텐션 블록의 key 및 value)입니다. 일반적으로 `use_cache=True` 또는 `config.use_cache=True`일 때 모델이 디코딩의 이전 단계에서 반환한 `past_key_values`로 구성됩니다. 입력으로 [Cache](/docs/transformers/v5.23.0/ko/internal/generation_utils#transformers.Cache) 인스턴스만 허용되며, [kv cache 가이드](https://huggingface.co/docs/transformers/en/kv_cache)를 참조하세요. `past_key_values`가 전달되지 않으면 기본적으로 [DynamicCache](/docs/transformers/v5.23.0/ko/internal/generation_utils#transformers.DynamicCache)가 초기화됩니다. 모델은 입력으로 제공된 것과 동일한 캐시 형식을 출력합니다. `past_key_values`를 사용하는 경우, 이 모델에 과거 key value 상태가 제공되지 않은 `input_ids`(처리되지 않은 항목)만 `(batch_size, unprocessed_length)` 형식으로 입력해야 하며, `(batch_size, sequence_length)` 형식의 모든 `input_ids`를 입력하지 않습니다.

inputs_embeds (`torch.Tensor`, shape `(batch_size, sequence_length, hidden_size)`, *선택 사항*) : `input_ids`를 전달하는 대신 임베디드 표현을 직접 전달할 수 있습니다. 이는 모델의 내부 임베딩 조회 행렬보다 `input_ids` 인덱스를 관련 벡터로 변환하는 방식에 대해 더 많은 제어가 필요한 경우 유용합니다.

use_cache (`bool`, *선택 사항*) : `True`로 설정하면 `past_key_values` 키 값 상태가 반환되며, 디코딩 속도를 높이는 데 사용할 수 있습니다(`past_key_values` 참조).

**반환값:** `GradiumPhononTTSOutputWithPast` 또는 `tuple(torch.Tensor)`

`GradiumPhononTTSOutputWithPast` 또는 `torch.Tensor`의 튜플(`return_dict=False`가 전달되었거나 `config.return_dict=False`인 경우)로, 구성([GradiumPhononTTSConfig](/docs/transformers/v5.23.0/ko/model_doc/gradium_phonon_tts#transformers.GradiumPhononTTSConfig))과 입력에 따라 다양한 요소를 포함합니다.

[GradiumPhononTTSForConditionalGeneration](/docs/transformers/v5.23.0/ko/model_doc/gradium_phonon_tts#transformers.GradiumPhononTTSForConditionalGeneration)의 forward 메서드는 `__call__` 특수 메서드를 오버라이드합니다.

`Module` 인스턴스는 전처리 및 후처리 단계를 실행하는 것을 처리하지만, 이 함수는 해당 단계를 조용히 무시하므로, 순전파(forward pass) 레시피를 이 함수 내에서 정의해야 하더라도 이후에는 이 함수 대신 `Module` 인스턴스를 호출해야 합니다.

- **loss** (`torch.Tensor`, shape `()`, *선택 사항*, `labels`가 전달될 때 반환됨) -- 학습 손실: 대상 latents의 LSD flow loss에 `config.eos_loss_weight`를 곱한 end-of-speech loss를 더한 값.
- **logits** (`torch.Tensor`, shape `(batch_size, sequence_length, 1)`) -- 각 위치별 음성 종료 logits.
- **past_key_values** (`Cache`, *선택 사항*, `use_cache=True`가 전달되었거나 `config.use_cache=True`인 경우 반환됨) -- [Cache](/docs/transformers/v5.23.0/ko/internal/generation_utils#transformers.Cache) 인스턴스입니다. 자세한 내용은 [kv cache 가이드](https://huggingface.co/docs/transformers/en/kv_cache)를 참조하세요.

  순차적 디코딩을 가속화하는 데 사용할 수 있는 사전 계산된 hidden-states(셀프 어텐션 블록의 key와 value)를 포함합니다(입력 `past_key_values` 참조).
- **hidden_states** (`tuple(torch.Tensor)`, *선택 사항*, `output_hidden_states=True`가 전달되었거나 `config.output_hidden_states=True`인 경우 반환됨) -- `torch.Tensor`의 튜플(모델에 임베딩 레이어가 있는 경우 임베딩 출력 1개 + 각 레이어의 출력 1개)로, 형태는 `(batch_size, sequence_length, hidden_size)`입니다.

  각 레이어의 출력에서 모델의 Hidden-states와 선택적 초기 임베딩 출력을 포함합니다.
- **attentions** (`tuple(torch.Tensor)`, *선택 사항*, `output_attentions=True`가 전달되었거나 `config.output_attentions=True`인 경우 반환됨) -- 각 레이어마다 하나씩 포함된 `torch.Tensor`의 튜플로, 모양은 `(batch_size, num_heads, sequence_length, sequence_length)`입니다.

  self-attention 헤드에서 가중 평균을 계산하는 데 사용되는 attention softmax 이후의 attention 가중치입니다.
- **last_hidden_state** (`torch.Tensor`, shape `(batch_size, sequence_length, hidden_size)`) -- flow head를 조건화하는 backbone의 정규화된 hidden states입니다.

예:

```python
>>> from transformers import AutoProcessor, GradiumPhononTTSForConditionalGeneration

>>> model = GradiumPhononTTSForConditionalGeneration.from_pretrained("gradium/phonon-31m-en")

>>> processor = AutoProcessor.from_pretrained("gradium/phonon-31m-en")
>>> inputs = processor(text="Hello, my dog is cute", return_tensors="pt")

>>> # generate speech
>>> speech = model(inputs["input_ids"])
```

#### generate[[transformers.GradiumPhononTTSForConditionalGeneration.generate]]

```python
generate(inputs: typing.Optional[torch.Tensor] = None, **kwargs)
```

[소스](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/pocket_tts/generation_pocket_tts.py#L122)

**매개변수:**

inputs (`torch.LongTensor`, shape `(batch_size, sequence_length)`, *선택 사항*) : [PocketTTSProcessor](/docs/transformers/v5.23.0/ko/model_doc/pocket_tts#transformers.PocketTTSProcessor)로 준비된 `input_ids`입니다. `input_ids=`로 전달할 수도 있습니다.

kwargs (`dict[str, Any]`, *선택 사항*) : `attention_mask`, 음성 프롬프트(`audio_prompt_latents` 및 `audio_prompt_latents_mask`, 또는 텍스트만 포함된 프롬프트와 함께 제공되는 음성, `past_key_values` 형식의 음성 접두사 캐시), 프로세서의 `frames_after_eos`, 생성 매개변수(`do_sample`, `temperature`, `max_new_tokens`, ...), 그리고 생성 구성으로 기본 설정되는 Pocket TTS 전용 `num_flow_steps`, `eos_threshold`, `min_frames_before_eos`

**반환값:**

[PocketTTSGenerateOutput](/docs/transformers/v5.23.0/ko/model_doc/pocket_tts#transformers.models.pocket_tts.generation_pocket_tts.PocketTTSGenerateOutput) when `return_dict_in_generate=True` (the checkpoints' generation config): the padded `audio_latents` and their `audio_latents_mask`, which [PocketTTSProcessor.decode()](/docs/transformers/v5.23.0/ko/model_doc/pocket_tts#transformers.PocketTTSProcessor.decode) decodes as one batch. Otherwise the list of generated latents, one `(num_frames, latent_dim)` tensor per sample, each decoded on its own.

음성을 생성합니다. 이 메서드는 [generate()](/docs/transformers/v5.23.0/ko/main_classes/text_generation#transformers.GenerationMixin.generate)를 오버라이드하여 `max_new_tokens`의 기본값을 원래 런타임의 프레임 예산인, 배치 내 가장 긴 텍스트에 대해 `ceil((num_text_tokens / 3 + 2) * frame_rate)`로 설정합니다. 나머지는 일반적인 생성 훅을 통해 처리됩니다.

