이 모델은 2024-08-30에 HF papers에 게시되었으며, 2025-08-15에 Hugging Face Transformers에 기여되었습니다.

X-Codec

개요

X-Codec 모델은 Zhen Ye, Peiwen Sun, Jiahe Lei, Hongzhan Lin, Xu Tan, Zheqi Dai, Qiuqiang Kong, Jianyi Chen, Jiahao Pan, Qifeng Liu, Yike Guo, Wei Xue가 발표한 Codec Does Matter: Exploring the Semantic Shortcoming of Codec for Audio Language Model에서 제안되었습니다.

X-Codec 모델은 HuBERT와 같은 자기지도 학습 모델에서 추출한 의미론적 정보와 전통적인 음향 정보를 통합하는 신경 오디오 코덱입니다. 이를 통해 다음이 가능합니다:

• 음악 연속 생성: 음악적 의미에 대한 모델링이 개선되어 더 일관된 연속 생성이 가능합니다.
• 텍스트-사운드 합성: X-Codec은 텍스트 프롬프트와 생성된 오디오 간의 의미적 정합성을 포착합니다.
• 의미 인식 오디오 토큰화: X-Codec은 YuE 가사 기반 노래 생성 모델에서 오디오 토크나이저로 사용됩니다.

해당 논문의 초록은 다음과 같이 서술합니다:

음성 생성 분야의 최근 발전은 대규모 언어 모델(LLM)의 기능에 의해 크게 촉진되었습니다. 기존 음성 LLM 연구는 주로 음성 언어 모델의 아키텍처와 규모를 향상시키고 더 큰 데이터셋을 활용하는 데 집중되었으며, 일반적으로 EnCodec과 같은 음향 코덱이 음성 토큰화(audio tokenization)에 사용됩니다. 그러나 이러한 코덱은 원래 음성 압축을 위해 설계되었기 때문에 음성 LLM 컨텍스트에서 최적이지 않은 성능을 초래할 수 있습니다. 본 연구는 현재 음성 LLM 코덱의 한계를 해결하는 것을 목표로 하며, 특히 생성된 음성에서 의미적 무결성을 유지하는 데 있어 직면한 문제를 다룹니다. 예를 들어, 텍스트 전사본에 조건을 부여하여 음향 토큰 생성을 수행하는 VALL-E와 같은 기존 방법은 음향 토큰의 의미적 오해석으로 인해 콘텐츠 부정확성과 높은 단어 오류율(WER)을 겪는 경우가 많으며, 이는 단어 생략과 오류로 이어집니다. 이러한 문제를 극복하기 위해, 우리는 X-Codec이라는 단순하면서도 효과적인 접근법을 제안합니다. X-Codec은 Residual Vector Quantization(RVQ) 단계 전에 사전 학습된 의미 인코더의 의미적 특징을 통합하고, RVQ 이후에 의미 재구성 손실을 도입합니다. 코덱의 의미적 능력을 향상시킴으로써, X-Codec은 음성 합성 작업에서 WER을 현저히 줄이고 이러한 이점을 음악 및 사운드 생성을 포함한 비음성(non-speech) 응용 분야로 확장합니다. 텍스트-음성 변환, 음악 연속 생성, 텍스트-사운드 변환 작업에 대한 우리의 실험은 의미 정보를 통합하면 음성 생성에서 언어 모델의 전반적인 성능이 크게 향상됨을 보여줍니다.

모델 카드:

• (음성을 위한) xcodec-hubert-librispeech
• xcodec-wavlm-mls (음성용)
• (음성을 위한) xcodec-wavlm-more-data
• xcodec-hubert-general (일반 오디오용)
• xcodec-hubert-general-balanced (일반 오디오용)

이 모델은 Manal El Aidouni님이 기여하였습니다. 원본 코드는 여기에서, 다섯 가지 다른 모델의 원본 체크포인트는 여기에서 찾을 수 있습니다.

데모는 이 페이지에서 확인할 수 있습니다.

사용 예시

이 모델을 사용하여 오디오를 인코딩하고 디코딩하는 간단한 예시입니다:

from datasets import Audio, load_dataset

from transformers import AutoFeatureExtractor, XcodecModel


dummy_dataset = load_dataset("hf-internal-testing/librispeech_asr_dummy", "clean", split="validation")

# load model and feature extractor
model_id = "hf-audio/xcodec-hubert-librispeech"
model = XcodecModel.from_pretrained(model_id, device_map="auto")
feature_extractor = AutoFeatureExtractor.from_pretrained(model_id)

# load audio sample
dummy_dataset = dummy_dataset.cast_column("audio", Audio(sampling_rate=feature_extractor.sampling_rate))
audio_sample = dummy_dataset[-1]["audio"]["array"]
inputs = feature_extractor(raw_audio=audio_sample, sampling_rate=feature_extractor.sampling_rate, return_tensors="pt").to(model.device)

# encode and decode
encoder_outputs = model.encode(inputs["input_values"])
decoder_outputs = model.decode(encoder_outputs.audio_codes)
audio_values = decoder_outputs.audio_values

# or the equivalent with a forward pass
audio_values = model(inputs["input_values"]).audio_values

원본 오디오와 재구성된 오디오를 청취하려면 아래 스니펫을 실행한 후, 생성된 original.wav와 reconstruction.wav 파일을 음악 플레이어에서 열어 비교해 보세요.

import soundfile as sf


original = audio_sample
reconstruction = audio_values[0].cpu().detach().numpy()
sampling_rate = feature_extractor.sampling_rate

sf.write("original.wav", original, sampling_rate)
sf.write("reconstruction.wav", reconstruction.T, sampling_rate)

XcodecConfig

>>> from transformers import XcodecModel, XcodecConfig

>>> # Initializing configuration
>>> configuration = XcodecConfig()

>>> # Initializing a model (with random weights) from the configuration
>>> model = XcodecModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

XcodecModel

>>> from datasets import load_dataset
>>> from transformers import AutoFeatureExtractor, XcodecModel

>>> model_id = "hf-audio/xcodec-hubert-librispeech"
>>> model = XcodecModel.from_pretrained(model_id)
>>> feature_extractor = AutoFeatureExtractor.from_pretrained(model_id)

>>> dataset = load_dataset("hf-internal-testing/librispeech_asr_dummy", "clean", split="validation")
>>> dataset = dataset.cast_column("audio", Audio(sampling_rate=feature_extractor.sampling_rate))
>>> audio_sample = dataset[0]['audio']['array']

>>> inputs = feature_extractor(raw_audio=audio_sample, return_tensors="pt")

>>> outputs = model(**inputs)
>>> audio_codes = outputs.audio_codes
>>> audio_values = outputs.audio_values