Transformers documentation
Qwen3-Omni-MOE
Model ini dipublikasikan di HF papers pada 2025-09-22 dan disumbangkan ke Hugging Face Transformers pada 2025-09-21.
Qwen3-Omni-MOE
Ikhtisar
Model Qwen3-Omni-MOE adalah model multimodal terpadu yang diusulkan dalam Qwen3-Omni Technical Report dari tim Qwen, Alibaba Group.
Abstrak dari laporan teknisnya adalah sebagai berikut:
*Kami memperkenalkan Qwen3-Omni, sebuah model multimodal tunggal yang, untuk pertama kalinya, mempertahankan kinerja state-of-the-art di seluruh teks, gambar, audio, dan video tanpa degradasi dibandingkan dengan model single-modal. Qwen3-Omni menyamai kinerja model single-modal berukuran sama dalam seri Qwen dan unggul khususnya pada tugas audio. Di 36 benchmark audio dan audio-visual, Qwen3-Omni mencapai SOTA open-source di 32 benchmark dan SOTA keseluruhan di 22, melampaui model closed-source yang kuat seperti Gemini-2.5-Pro, Seed-ASR, dan GPT-4o-Transcribe. Qwen3-Omni mengadopsi arsitektur Thinker-Talker MoE yang menyatukan persepsi dan generasi di seluruh teks, gambar, audio, dan video, menghasilkan teks yang lancar dan ucapan real-time yang alami. Model ini mendukung interaksi teks dalam 119 bahasa, pemahaman ucapan dalam 19 bahasa, dan generasi ucapan dalam 10 bahasa. Untuk mengurangi latensi first-packet dalam sintesis streaming, Talker memprediksi codec ucapan diskret secara autoregresif menggunakan skema multi-codebook. Dengan memanfaatkan kapasitas representasional dari codebook ini, kami mengganti block-wise diffusion yang intensif secara komputasi dengan ConvNet kausal yang ringan, memungkinkan streaming dari frame codec pertama. Dalam pengaturan cold-start, Qwen3-Omni mencapai latensi first-packet end-to-end teoretis sebesar 234 ms. Untuk lebih memperkuat penalaran multimodal, kami memperkenalkan model Thinking yang secara eksplisit melakukan penalaran atas input dari modality apa pun. Karena komunitas riset saat ini kekurangan model captioning audio yang serbaguna, kami melakukan fine-tuning pada Qwen3-Omni-30B-A3B untuk mendapatkan Qwen3-Omni-30B-A3B-Captioner, yang menghasilkan caption yang detail dan minim halusinasi untuk input audio apa pun. Qwen3-Omni-30B-A3B, Qwen3-Omni-30B-A3B-Thinking, dan Qwen3-Omni-30B-A3B-Captioner dirilis secara publik di bawah lisensi Apache 2.0.
Catatan
- Gunakan Qwen3OmniMoeForConditionalGeneration untuk menghasilkan keluaran audio dan teks. Untuk menghasilkan hanya satu jenis keluaran, gunakan Qwen3OmniMoeThinkerForConditionalGeneration untuk keluaran teks saja dan Qwen3OmniMoeTalkerForConditionalGeneration untuk keluaran audio saja.
- Jika terjadi error out-of-memory saat bekerja dengan input video, kurangi
processor.max_pixels. Secara default, nilai maksimum diatur ke angka yang sangat besar dan visual beresolusi tinggi tidak akan di-resize, kecuali resolusinya melebihiprocessor.max_pixels. - Processor memiliki metode apply_chat_template() miliknya sendiri untuk mengonversi pesan chat menjadi input model.
Contoh penggunaan
Qwen3-Omni dapat ditemukan di Huggingface Hub.
Inferensi Media Tunggal
Model dapat menerima teks, gambar, audio, dan video sebagai input. Berikut adalah contoh kode untuk inferensi.
import soundfile as sf
from transformers import Qwen3OmniMoeForConditionalGeneration, Qwen3OmniMoeProcessor
model = Qwen3OmniMoeForConditionalGeneration.from_pretrained(
"Qwen/Qwen3-Omni-30B-A3B-Instruct",
device_map="auto"
)
processor = Qwen3OmniMoeProcessor.from_pretrained("Qwen/Qwen3-Omni-30B-A3B-Instruct")
conversations = [
{
"role": "system",
"content": [
{"type": "text", "text": "You are Qwen, a virtual human developed by the Qwen Team, Alibaba Group, capable of perceiving auditory and visual inputs, as well as generating text and speech."}
],
},
{
"role": "user",
"content": [
{"type": "video", "video": "/path/to/video.mp4"},
{"type": "text", "text": "What can't you hear and see in this video?"},
],
},
]
inputs = processor.apply_chat_template(
conversations,
load_audio_from_video=True,
add_generation_prompt=True,
tokenize=True,
return_dict=True,
return_tensors="pt",
fps=1,
# kwargs to be passed to `Qwen3OmniMoeProcessor`
padding=True,
use_audio_in_video=True,
).to(model.device)
# Generation params for audio or text can be different and have to be prefixed with `thinker_` or `talker_`
text_ids, audio = model.generate(**inputs, use_audio_in_video=True, thinker_do_sample=False, talker_do_sample=True)
text = processor.batch_decode(text_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False)
sf.write(
"output.wav",
audio.reshape(-1).detach().cpu().numpy(),
samplerate=24000,
)
print(text)Generasi hanya teks
Untuk menghasilkan hanya output teks dan menghemat komputasi dengan tidak memuat model generasi audio, kita dapat menggunakan model Qwen3OmniMoeThinkerForConditionalGeneration.
from transformers import Qwen3OmniMoeProcessor, Qwen3OmniMoeThinkerForConditionalGeneration
model = Qwen3OmniMoeThinkerForConditionalGeneration.from_pretrained(
"Qwen/Qwen3-Omni-30B-A3B-Instruct",
device_map="auto",
)
processor = Qwen3OmniMoeProcessor.from_pretrained("Qwen/Qwen3-Omni-30B-A3B-Instruct")
conversations = [
{
"role": "system",
"content": [
{"type": "text", "text": "You are Qwen, a virtual human developed by the Qwen Team, Alibaba Group, capable of perceiving auditory and visual inputs, as well as generating text and speech."}
],
},
{
"role": "user",
"content": [
{"type": "video", "video": "/path/to/video.mp4"},
{"type": "text", "text": "What can't you hear and see in this video?"},
],
},
]
inputs = processor.apply_chat_template(
conversations,
load_audio_from_video=True,
add_generation_prompt=True,
tokenize=True,
return_dict=True,
return_tensors="pt",
fps=1,
# kwargs to be passed to `Qwen3OmniMoeProcessor`
padding=True,
use_audio_in_video=True,
).to(model.device)
text_ids = model.generate(**inputs, use_audio_in_video=True)
text = processor.batch_decode(text_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False)
print(text)Inferensi Campuran Media Batch
Model dapat mem-batch input yang terdiri dari sampel campuran berbagai jenis, seperti teks, gambar, audio, dan video, saat menggunakan model Qwen3OmniMoeThinkerForConditionalGeneration. Berikut adalah contohnya.
import soundfile as sf
from transformers import Qwen3OmniMoeForConditionalGeneration, Qwen3OmniMoeProcessor
model = Qwen3OmniMoeForConditionalGeneration.from_pretrained(
"Qwen/Qwen3-Omni-30B-A3B-Instruct",
device_map="auto"
)
processor = Qwen3OmniMoeProcessor.from_pretrained("Qwen/Qwen3-Omni-30B-A3B-Instruct")
# Conversation with video only
conversation1 = [
{
"role": "system",
"content": [
{"type": "text", "text": "You are Qwen, a virtual human developed by the Qwen Team, Alibaba Group, capable of perceiving auditory and visual inputs, as well as generating text and speech."}
],
},
{
"role": "user",
"content": [
{"type": "video", "path": "/path/to/video.mp4"},
]
}
]
# Conversation with audio only
conversation2 = [
{
"role": "system",
"content": [
{"type": "text", "text": "You are Qwen, a virtual human developed by the Qwen Team, Alibaba Group, capable of perceiving auditory and visual inputs, as well as generating text and speech."}
],
},
{
"role": "user",
"content": [
{"type": "audio", "path": "/path/to/audio.wav"},
]
}
]
# Conversation with pure text
conversation3 = [
{
"role": "system",
"content": [
{"type": "text", "text": "You are Qwen, a virtual human developed by the Qwen Team, Alibaba Group, capable of perceiving auditory and visual inputs, as well as generating text and speech."}
],
},
{
"role": "user",
"content": [{"type": "text", "text": "who are you?"}],
}
]
# Conversation with mixed media
conversation4 = [
{
"role": "system",
"content": [
{"type": "text", "text": "You are Qwen, a virtual human developed by the Qwen Team, Alibaba Group, capable of perceiving auditory and visual inputs, as well as generating text and speech."}
],
},
{
"role": "user",
"content": [
{"type": "image", "path": "/path/to/image.jpg"},
{"type": "video", "path": "/path/to/video.mp4"},
{"type": "audio", "path": "/path/to/audio.wav"},
{"type": "text", "text": "What are the elements can you see and hear in these media?"},
],
}
]
conversations = [conversation1, conversation2, conversation3, conversation4]
inputs = processor.apply_chat_template(
conversations,
load_audio_from_video=True,
add_generation_prompt=True,
tokenize=True,
return_dict=True,
return_tensors="pt",
fps=1,
# kwargs to be passed to `Qwen3OmniMoeProcessor`
padding=True,
use_audio_in_video=True,
).to(model.thinker.device)
text_ids = model.generate(**inputs, use_audio_in_video=True)
text = processor.batch_decode(text_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False)
print(text)Batch generasi audio
Qwen3OmniMoeForConditionalGeneration mendukung generasi output audio secara batch. Sebagai contoh, berikut adalah generasi batch untuk text-to-speech. Dengan batch yang berisi lebih dari satu sampel, audio yang dihasilkan dikembalikan sebagai daftar dengan satu waveform per sampel, di mana masing-masing sudah dipangkas sesuai panjangnya sendiri, sehingga sampel yang lebih pendek tidak di-pad dengan audio yang tidak relevan. Panggilan untuk satu sampel tetap mengembalikan satu tensor.
import soundfile as sf
from transformers import AutoModelForTextToWaveform, AutoProcessor
import torch
model_id = "Qwen/Qwen3-Omni-30B-A3B-Instruct"
model = AutoModelForTextToWaveform.from_pretrained(model_id, device_map="auto")
processor = AutoProcessor.from_pretrained(model_id)
sampling_rate = 24000 # output sampling rate
max_new_tokens = 128 # maximum number of tokens to generate
system_text = (
"You are Qwen, a virtual human developed by the Qwen Team, Alibaba Group, capable of "
"perceiving auditory and visual inputs, as well as generating text and speech."
)
texts = [
"Hello, I'm Qwen. How can I help you today? Just let me know!",
"The weather is nice today.",
]
inputs = processor.apply_chat_template(
[
[
{"role": "system", "content": [{"type": "text", "text": system_text}]},
{
"role": "user",
"content": [
{
"type": "text",
"text": (
"Please read the following text aloud exactly as written, with no "
f"additional commentary:\n\n{text}"
),
}
],
},
]
for text in texts
],
tokenize=True,
add_generation_prompt=True,
return_dict=True,
return_tensors="pt",
processor_kwargs={"padding": True},
).to(model.device, dtype=model.dtype)
gen_kwargs = {
"talker_do_sample": True,
"speaker": "Ethan", # Ethan, Chelsie
"talker_max_new_tokens": max_new_tokens,
}
_, pred_waveform = model.generate(**inputs, **gen_kwargs)
for sample_id, audio in enumerate(pred_waveform):
sf.write(f"qwen3_omni_output_{sample_id}.wav", audio.detach().to(torch.float32).cpu().numpy(), sampling_rate)
print(f"Saved audio to qwen3_omni_output_{sample_id}.wav")Tips Penggunaan
Kompromi Resolusi Gambar
Model ini mendukung berbagai rentang resolusi input. Secara default, model menggunakan resolusi native untuk input, namun resolusi yang lebih tinggi dapat meningkatkan performa dengan biaya komputasi yang lebih besar. Pengguna dapat mengatur jumlah piksel minimum dan maksimum untuk mencapai konfigurasi optimal sesuai kebutuhan mereka.
min_pixels = 128*28*28
max_pixels = 768*28*28
processor = AutoProcessor.from_pretrained("Qwen/Qwen3-Omni-30B-A3B-Instruct", min_pixels=min_pixels, max_pixels=max_pixels)Prompt untuk keluaran audio
If users need audio output, the system prompt must be set as “You are Qwen, a virtual human developed by the Qwen Team, Alibaba Group, capable of perceiving auditory and visual inputs, as well as generating text and speech.”, otherwise the audio output may not work as expected.
{
"role": "system",
"content": "You are Qwen, a virtual human developed by the Qwen Team, Alibaba Group, capable of perceiving auditory and visual inputs, as well as generating text and speech.",
}Gunakan keluaran audio atau tidak
Model ini mendukung output teks dan audio. Jika pengguna tidak memerlukan output audio, mereka dapat mengatur enable_audio_output pada fungsi from_pretrained. Opsi ini akan menghemat sekitar ~2GB memori GPU, tetapi opsi return_audio untuk fungsi generate hanya dapat diatur ke False.
model = Qwen3OmniMoeForConditionalGeneration.from_pretrained(
"Qwen/Qwen3-Omni-30B-A3B-Instruct",
device_map="auto",
enable_audio_output=False,
)Untuk mendapatkan pengalaman yang fleksibel, kami merekomendasikan agar pengguna mengatur enable_audio_output menjadi True saat menginisialisasi model melalui fungsi from_pretrained, lalu memutuskan apakah akan mengembalikan audio saat fungsi generate dipanggil. Ketika return_audio diatur ke False, model hanya akan mengembalikan keluaran teks agar respons teks lebih cepat.
model = Qwen3OmniMoeForConditionalGeneration.from_pretrained(
"Qwen/Qwen3-Omni-30B-A3B-Instruct",
device_map="auto",
enable_audio_output=True,
)
...
text_ids = model.generate(**inputs, return_audio=False)Ubah jenis suara audio keluaran
Qwen3-Omni-MOE mendukung kemampuan untuk mengubah suara audio keluaran. Pengguna dapat menggunakan parameter speaker dari fungsi generate untuk menentukan jenis suara. Checkpoint "Qwen/Qwen3-Omni-30B-A3B-Instruct" mendukung dua jenis suara: Chelsie dan Ethan, di mana Chelsie adalah suara perempuan dan Ethan adalah suara laki-laki. Secara default, jika speaker tidak ditentukan, jenis suara default adalah Chelsie.
text_ids, audio = model.generate(**inputs, speaker="Chelsie")text_ids, audio = model.generate(**inputs, speaker="Ethan")Flash-Attention 2 untuk mempercepat proses generasi
Pertama, pastikan untuk menginstal versi terbaru dari Flash Attention 2:
pip install -U flash-attn --no-build-isolation
Selain itu, Anda harus memiliki perangkat keras yang kompatibel dengan FlashAttention 2. Baca lebih lanjut tentang hal ini di dokumentasi resmi flash attention repository. FlashAttention-2 hanya dapat digunakan ketika model dimuat dalam torch.float16 atau torch.bfloat16.
Untuk memuat dan menjalankan model menggunakan FlashAttention-2, tambahkan attn_implementation="flash_attention_2" saat memuat model:
from transformers import Qwen3OmniMoeForConditionalGeneration
model = Qwen3OmniMoeForConditionalGeneration.from_pretrained(
"Qwen/Qwen3-Omni-30B-A3B-Instruct",
device_map="auto",
attn_implementation="flash_attention_2",
)Qwen3OmniMoeConfig
kelas transformers.Qwen3OmniMoeConfig
< source >( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonethinker_config: dict | transformers.configuration_utils.PreTrainedConfig | None = Nonetalker_config: dict | transformers.configuration_utils.PreTrainedConfig | None = Nonecode2wav_config: dict | transformers.configuration_utils.PreTrainedConfig | None = Noneenable_audio_output: bool = Trueim_start_token_id: int = 151644im_end_token_id: int = 151645tts_pad_token_id: int = 151671tts_bos_token_id: int = 151672tts_eos_token_id: int = 151673system_token_id: int = 8948user_token_id: int = 872assistant_token_id: int = 77091initializer_range: float | None = None )
Parameter
- thinker_config (
dict, opsional) — Konfigurasi dari sub-model thinker yang mendasarinya. - talker_config (
dict, opsional) — Konfigurasi dari sub-model talker yang mendasarinya. - code2wav_config (
dict, opsional) — Konfigurasi dari sub-model code2wav yang mendasarinya. - enable_audio_output (
bool, opsional, defaultTrue) — Apakah mengaktifkan keluaran audio dan memuat modul talker serta code2wav. - im_start_token_id (
int, opsional, default 151644) — Token id untuk awal gambar - im_end_token_id (
int, opsional, default 151645) — Token id untuk akhir gambar - tts_pad_token_id (
int, opsional, default 151671) — Token id untuk padding dalam TTS - tts_bos_token_id (
int, opsional, default 151672) — Token id untuk awal urutan dalam TTS - tts_eos_token_id (
int, opsional, default 151673) — Token id untuk akhir urutan dalam TTS gambar - system_token_id (
int, opsional, default 8948) — ID token untuk prompt sistem - user_token_id (
int, opsional, default 872) — ID token untuk prompt pengguna - assistant_token_id (
int, opsional, default 77091) — ID token untuk prompt asisten - initializer_range (
float, opsional) — Standar deviasi dari truncated_normal_initializer untuk menginisialisasi semua matriks bobot.
Ini adalah kelas konfigurasi untuk menyimpan konfigurasi dari Qwen3 Omni MoeModel. Kelas ini digunakan untuk menginstansiasi model Qwen3 Omni Moe sesuai dengan argumen yang ditentukan, sehingga mendefinisikan arsitektur model. Menginstansiasi konfigurasi dengan nilai bawaan akan menghasilkan konfigurasi yang serupa dengan konfigurasi dari Qwen/Qwen3-Omni-30B-A3B-Instruct
Objek konfigurasi mewarisi dari PreTrainedConfig dan dapat digunakan untuk mengontrol output model. Baca dokumentasi dari PreTrainedConfig untuk informasi lebih lanjut.
Contoh:
>>> from transformers import (
... Qwen3OmniMoeThinkerConfig,
... Qwen3OmniMoeTalkerConfig,
... Qwen3OmniMoeCode2WavConfig,
... Qwen3OmniMoeForConditionalGeneration,
... Qwen3OmniMoeConfig,
... )
>>> # Initializing a Qwen3OmniMoe style configuration
>>> configuration = Qwen3OmniMoeConfig()
>>> # Initializing a model from the configuration
>>> model = Qwen3OmniMoeForConditionalGeneration(configuration)
>>> # Accessing the model configuration
>>> configuration = model.configget_text_config
< source >( decoder = False )
Mengembalikan config yang dimaksudkan untuk digunakan dengan IO teks. Pada sebagian besar model, ini adalah instance config aslinya. Pada model komposit tertentu, ini berada di bawah serangkaian nama yang valid.
Qwen3OmniMoeThinkerConfig
kelas transformers.Qwen3OmniMoeThinkerConfig
< source >( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Noneaudio_config: dict | transformers.configuration_utils.PreTrainedConfig | None = Nonevision_config: dict | transformers.configuration_utils.PreTrainedConfig | None = Nonetext_config: dict | transformers.configuration_utils.PreTrainedConfig | None = Noneposition_id_per_seconds: int = 25audio_start_token_id: int = 151647user_token_id: int = 872initializer_range: float = 0.02tie_word_embeddings: bool = Falseaudio_token_id: int = 151646image_token_id: int = 151655video_token_id: int = 151656 )
Parameter
- audio_config (
Union[dict, ~configuration_utils.PreTrainedConfig], opsional) — Objek config atau dictionary dari audio backbone. - vision_config (
Union[dict, ~configuration_utils.PreTrainedConfig], opsional) — Objek config atau dictionary dari vision backbone. - text_config (
Union[dict, ~configuration_utils.PreTrainedConfig], opsional) — Objek config atau dictionary dari text backbone. - position_id_per_seconds (
int, opsional, default 25) — Inkremen position id per detik. - audio_start_token_id (
int, opsional, default 151647) — ID token awal audio untuk meng-encode prompt audio. - user_token_id (
int, opsional, default 872) — ID token pengguna untuk mengkodekan token pengguna. - initializer_range (
float, opsional, defaultnya0.02) — Standar deviasi dari truncated_normal_initializer untuk menginisialisasi semua matriks bobot. - tie_word_embeddings (
bool, opsional, defaultFalse) — Apakah akan mengikat bobot embedding sesuai dengan pemetaantied_weights_keysmodel. - audio_token_id (
int, opsional, default151646) — Indeks token audio yang digunakan sebagai placeholder untuk audio input. - image_token_id (
int, opsional, default151655) — Indeks token gambar yang digunakan sebagai placeholder untuk gambar input. - video_token_id (
int, opsional, default151656) — Indeks token video yang digunakan sebagai placeholder untuk video input.
Ini adalah kelas konfigurasi untuk menyimpan konfigurasi dari Qwen3 Omni MoeModel. Kelas ini digunakan untuk menginstansiasi model Qwen3 Omni Moe sesuai dengan argumen yang ditentukan, sehingga mendefinisikan arsitektur model. Menginstansiasi konfigurasi dengan nilai bawaan akan menghasilkan konfigurasi yang serupa dengan konfigurasi dari Qwen/Qwen3-Omni-30B-A3B-Instruct
Objek konfigurasi mewarisi dari PreTrainedConfig dan dapat digunakan untuk mengontrol output model. Baca dokumentasi dari PreTrainedConfig untuk informasi lebih lanjut.
Contoh:
>>> from transformers import Qwen3OmniMoeThinkerModel, Qwen3OmniMoeThinkerConfig
>>> # Initializing a default Qwen3OmniMoeThinkerConfig
>>> configuration = Qwen3OmniMoeThinkerConfig()
>>> # Initializing a model (with random weights) from the default configuration
>>> model = Qwen3OmniMoeThinkerModel(configuration)
>>> # Accessing the model configuration
>>> configuration = model.configQwen3OmniMoeTalkerConfig
kelas transformers.Qwen3OmniMoeTalkerConfig
< source >( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonecode_predictor_config: dict | transformers.configuration_utils.PreTrainedConfig | None = Nonetext_config: dict | transformers.configuration_utils.PreTrainedConfig | None = Nonenum_code_groups: int = 32thinker_hidden_size: int = 2048codec_eos_token_id: int = 4198accept_hidden_layer: int = 18codec_nothink_id: int = 4203codec_think_bos_id: int = 4204codec_think_eos_id: int = 4205codec_pad_id: int = 4196codec_bos_id: int = 4197audio_token_id: int = 151646image_token_id: int = 151655video_token_id: int = 151656vision_start_token_id: int = 151652position_id_per_seconds: int = 25audio_start_token_id: int = 151669speaker_id: dict | None = Noneinitializer_range: float = 0.02tie_word_embeddings: bool = False )
Parameter
- code_predictor_config (
dict, opsional) — Kamus berisi parameter konfigurasi yang digunakan untuk menginisialisasi Qwen3OmniMoeTalkerCodePredictorConfig. Jika tidak disediakan, nilai default akan digunakan. - text_config (
Union[dict, ~configuration_utils.PreTrainedConfig], opsional) — Objek config atau dictionary dari text backbone. - num_code_groups (
int, opsional, default 32) — Jumlah grup codebook yang digunakan dalam urutan token akustik yang diprediksi, yang sesuai dengan representasi VQ multi-codebook. - thinker_hidden_size (
int, opsional, default 2048) — Ukuran dimensi tersembunyi dari modul thinker yang digunakan untuk penalaran perantara atau perencanaan laten sebelum generasi audio. - codec_eos_token_id (
int, opsional, default 4198) — Token ID yang mewakili token end-of-speech dalam urutan yang dihasilkan codec. - accept_hidden_layer (
int, opsional, default 18) — Indeks dari hidden layer yang output-nya digunakan untuk menerima atau menyempurnakan token yang dihasilkan selama proses think-and-speak. - codec_nothink_id (
int, opsional, default 4203) — ID token yang menunjukkan bahwa langkah berpikir tidak diperlukan selama proses generasi. - codec_think_bos_id (
int, opsional, default 4204) — ID token yang menandai awal dari urutan berpikir. - codec_think_eos_id (
int, opsional, default 4205) — ID token yang menandai akhir dari urutan berpikir. - codec_pad_id (
int, opsional, default 4196) — ID token padding yang digunakan dalam urutan input codec. - codec_bos_id (
int, opsional, default 4197) — ID token awal ucapan dalam urutan codec. - audio_token_id (
int, opsional, default151646) — Indeks token audio yang digunakan sebagai placeholder untuk audio input. - image_token_id (
int, opsional, default151655) — Indeks token gambar yang digunakan sebagai placeholder untuk gambar input. - video_token_id (
int, opsional, default151656) — Indeks token video yang digunakan sebagai placeholder untuk video input. - vision_start_token_id (
int, opsional, default151652) — ID token yang menandai awal segmen visual dalam urutan input multimodal. - position_id_per_seconds (
int, optional, defaults to 25) — Number of position IDs allocated per second of audio content, used for temporal alignment in generation. - audio_start_token_id (
int, opsional, default 151669) — Token ID yang menandai awal segmen generasi audio dalam output. - speaker_id (
dict, opsional) — Dict dari nama speaker ke id speaker. - initializer_range (
float, opsional, defaultnya0.02) — Standar deviasi dari truncated_normal_initializer untuk menginisialisasi semua matriks bobot. - tie_word_embeddings (
bool, opsional, defaultFalse) — Apakah akan mengikat bobot embedding sesuai dengan pemetaantied_weights_keysmodel.
Ini adalah kelas konfigurasi untuk menyimpan konfigurasi dari Qwen3 Omni MoeModel. Kelas ini digunakan untuk menginstansiasi model Qwen3 Omni Moe sesuai dengan argumen yang ditentukan, sehingga mendefinisikan arsitektur model. Menginstansiasi konfigurasi dengan nilai bawaan akan menghasilkan konfigurasi yang serupa dengan konfigurasi dari Qwen/Qwen3-Omni-30B-A3B-Instruct
Objek konfigurasi mewarisi dari PreTrainedConfig dan dapat digunakan untuk mengontrol output model. Baca dokumentasi dari PreTrainedConfig untuk informasi lebih lanjut.
Contoh:
>>> from transformers import Qwen3OmniMoeTalkerConfig, Qwen3OmniMoeTalker
>>> # Initialize a Qwen3OmniMoeTalkerConfig with default sub-configurations
>>> config = Qwen3OmniMoeTalkerConfig(
... num_code_groups=32,
... thinker_hidden_size=2048,
... )
>>> # Initialize the full Qwen3-Omni Talker model
>>> model = Qwen3OmniMoeTalker(config)
>>> # Access the model configuration
>>> config = model.config
>>> print(config.text_config) # Access text decoder configuration
>>> print(config.code_predictor_config) # Access code predictor configurationQwen3OmniMoeTextConfig
kelas transformers.Qwen3OmniMoeTextConfig
< source >( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonevocab_size: int = 3584hidden_size: int = 2048intermediate_size: int = 18944num_hidden_layers: int = 28num_attention_heads: int = 28num_key_value_heads: int = 4hidden_act: str = 'silu'max_position_embeddings: int = 32768initializer_range: float = 0.02rms_norm_eps: float = 1e-06use_cache: bool = Truerope_parameters: transformers.modeling_rope_utils.RopeParameters | dict | None = Noneattention_bias: bool = Falsesliding_window: int | None = Noneattention_dropout: float | int = 0.0decoder_sparse_step: int = 1moe_intermediate_size: int = 768num_experts_per_tok: int = 8num_experts: int = 128norm_topk_prob: bool = Trueoutput_router_logits: bool = Falserouter_aux_loss_coef: float = 0.001mlp_only_layers: list[int] | None = Nonepad_token_id: int | None = Nonebos_token_id: int | None = Noneeos_token_id: int | list[int] | None = None )
Parameter
- vocab_size (
int, opsional, default3584) — Ukuran kosakata model. Menentukan jumlah token berbeda yang dapat direpresentasikan olehinput_ids. - hidden_size (
int, opsional, default2048) — Dimensi dari representasi tersembunyi. - intermediate_size (
int, opsional, default18944) — Dimensi representasi MLP. - num_hidden_layers (
int, opsional, default28) — Jumlah lapisan tersembunyi dalam decoder Transformer. - num_attention_heads (
int, opsional, default28) — Jumlah attention head untuk setiap lapisan attention di decoder Transformer. - num_key_value_heads (
int, opsional, default4) — Ini adalah jumlah key_value heads yang harus digunakan untuk mengimplementasikan Grouped Query Attention. Jikanum_key_value_heads=num_attention_heads, model akan menggunakan Multi Head Attention (MHA), jikanum_key_value_heads=1model akan menggunakan Multi Query Attention (MQA), selain itu GQA yang digunakan. Saat mengkonversi checkpoint multi-head menjadi checkpoint GQA, setiap group key dan value head harus dibangun dengan meanpooling semua head asli di dalam group tersebut. Untuk detail lebih lanjut, lihat paper ini. Jika tidak ditentukan, akan default kenum_attention_heads. - hidden_act (
str, opsional, defaultnyasilu) — Fungsi aktivasi non-linear (fungsi atau string) di decoder. Misalnya,"gelu","relu","silu", dan sebagainya. - max_position_embeddings (
int, opsional, default32768) — Panjang maksimum urutan yang mungkin digunakan dengan model ini. - initializer_range (
float, opsional, defaultnya0.02) — Standar deviasi dari truncated_normal_initializer untuk menginisialisasi semua matriks bobot. - rms_norm_eps (
float, opsional, defaultnya1e-06) — Epsilon yang digunakan oleh lapisan normalisasi rms. - use_cache (
bool, opsional, defaultnyaTrue) — Apakah model harus mengembalikan perhatian kunci/nilai terakhir (tidak digunakan oleh semua model). Hanya relevan jikaconfig.is_decoder=Trueatau ketika model adalah model generatif yang hanya decoder. - rope_parameters (
Union[~modeling_rope_utils.RopeParameters, dict], opsional) — Kamus yang berisi parameter konfigurasi untuk embedding RoPE. Kamus tersebut harus berisi nilai untukrope_thetadan secara opsional parameter yang digunakan untuk penskalaan jika Anda ingin menggunakan RoPE denganmax_position_embeddingsyang lebih panjang. - attention_bias (
bool, opsional, defaultFalse) — Apakah akan menggunakan bias pada lapisan proyeksi query, key, value, dan output selama self-attention. - sliding_window (
int, opsional) — Ukuran jendela untuk sliding window attention. JikaNone, sliding window tidak diterapkan. - attention_dropout (
Union[float, int], opsional, default0.0) — Rasio dropout untuk probabilitas perhatian. - decoder_sparse_step (
int, opsional, default 1) — Frekuensi lapisan MoE. - moe_intermediate_size (
int, opsional, default768) — Ukuran intermediate dari MLP expert yang di-rutekan. - num_experts_per_tok (
int, opsional, default8) — Jumlah expert yang akan menerima setiap token. Ini adalah nilai top-k untuk routing pemilihan token. - num_experts (
int, opsional, default128) — Jumlah pakar yang dirutekan pada lapisan MoE. - norm_topk_prob (
bool, opsional, defaultTrue) — Apakah akan menormalisasi bobot dari para ahli yang dirutekan. - output_router_logits (
bool, opsional, defaultFalse) — Apakah logits router harus dikembalikan oleh model. Mengaktifkan ini juga akan memungkinkan model untuk mengoutput loss tambahan, termasuk load balancing loss dan router z-loss. - router_aux_loss_coef (
float, opsional, default0.001) — Koefisien kerugian keseimbangan beban tambahan. Digunakan untuk menghukum perutean pakar yang tidak merata pada model MoE. - mlp_only_layers (
list[int], opsional, default[]) — Menunjukkan layer mana yang menggunakan Qwen3OmniMoeTextMLP alih-alih Qwen3OmniMoeTextSparseMoeBlock Daftar berisi indeks layer, dari 0 hingga num_layers-1 jika terdapat num_layers layer Jikamlp_only_layerskosong,decoder_sparse_stepdigunakan untuk menentukan sparsity. - pad_token_id (
int, opsional) — ID token yang digunakan untuk padding dalam kosakata. - bos_token_id (
int, opsional) — ID token yang digunakan untuk awal aliran (beginning-of-stream) dalam kosakata. - eos_token_id (
Union[int, list[int]], opsional) — ID token yang digunakan untuk akhir aliran dalam kosakata.
Ini adalah kelas konfigurasi untuk menyimpan konfigurasi dari Qwen3 Omni MoeModel. Kelas ini digunakan untuk menginstansiasi model Qwen3 Omni Moe sesuai dengan argumen yang ditentukan, sehingga mendefinisikan arsitektur model. Menginstansiasi konfigurasi dengan nilai bawaan akan menghasilkan konfigurasi yang serupa dengan konfigurasi dari Qwen/Qwen3-Omni-30B-A3B-Instruct
Objek konfigurasi mewarisi dari PreTrainedConfig dan dapat digunakan untuk mengontrol output model. Baca dokumentasi dari PreTrainedConfig untuk informasi lebih lanjut.
>>> from transformers import Qwen3OmniMoeTextModel, Qwen3OmniMoeTextConfig
>>> # Initializing a Qwen3OmniMoeText style configuration
>>> configuration = Qwen3OmniMoeTextConfig()
>>> # Initializing a model from the Qwen3-15B-A2B" style configuration
>>> model = Qwen3OmniMoeTextModel(configuration)
>>> # Accessing the model configuration
>>> configuration = model.configQwen3OmniMoeVisionEncoderConfig
kelas transformers.Qwen3OmniMoeVisionEncoderConfig
< source >( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonedepth: int = 27hidden_size: int = 1152hidden_act: str = 'gelu_pytorch_tanh'intermediate_size: int = 4304num_heads: int = 16in_channels: int = 3patch_size: int | list[int] | tuple[int, int] = 16spatial_merge_size: int = 2temporal_patch_size: int | list[int] | tuple[int, int] = 2out_hidden_size: int = 3584num_position_embeddings: int = 2304deepstack_visual_indexes: list[int] | tuple[int, ...] = (8, 16, 24)initializer_range: float = 0.02rope_parameters: dict | None = None )
Parameter
- depth (
int, opsional, default27) — Jumlah lapisan Transformer dalam encoder visual. - hidden_size (
int, opsional, default1152) — Dimensi dari representasi tersembunyi. - hidden_act (
str, opsional, defaultnyagelu_pytorch_tanh) — Fungsi aktivasi non-linear (fungsi atau string) di decoder. Misalnya,"gelu","relu","silu", dan sebagainya. - intermediate_size (
int, opsional, default4304) — Dimensi representasi MLP. - num_heads (
int, opsional, default16) — Jumlah kepala perhatian untuk setiap lapisan perhatian dalam decoder Transformer. - in_channels (
int, opsional, default3) — Jumlah saluran input. - patch_size (
Union[int, list[int], tuple[int, int]], opsional, defaultnya16) — Ukuran (resolusi) dari setiap patch. - spatial_merge_size (
int, opsional, defaultnya2) — Ukuran jendela penggabungan spasial yang digunakan untuk mengurangi jumlah token visual dengan menggabungkan patch tetangga. - temporal_patch_size (
Union[int, list[int], tuple[int, int]], opsional, default2) — Ukuran patch temporal yang digunakan dalam patch embedding 3D untuk input video. - out_hidden_size (
int, opsional, default 3584) — Ukuran hidden output dari model visi. - num_position_embeddings (
int, opsional, defaultnya 2304) — Panjang maksimum urutan yang mungkin digunakan dengan model ini - deepstack_visual_indexes (
list[int], opsional, default[8, 16, 24]) — Indeks lapisan untuk deepstack embeddings. - initializer_range (
float, opsional, defaultnya0.02) — Standar deviasi dari truncated_normal_initializer untuk menginisialisasi semua matriks bobot. - rope_parameters (
dict, opsional) — Kamus yang berisi parameter konfigurasi untuk embedding RoPE. Kamus tersebut harus berisi nilai untukrope_thetadan secara opsional parameter yang digunakan untuk penskalaan jika Anda ingin menggunakan RoPE denganmax_position_embeddingsyang lebih panjang.
Ini adalah kelas konfigurasi untuk menyimpan konfigurasi dari Qwen3 Omni MoeModel. Kelas ini digunakan untuk menginstansiasi model Qwen3 Omni Moe sesuai dengan argumen yang ditentukan, sehingga mendefinisikan arsitektur model. Menginstansiasi konfigurasi dengan nilai bawaan akan menghasilkan konfigurasi yang serupa dengan konfigurasi dari Qwen/Qwen3-Omni-30B-A3B-Instruct
Objek konfigurasi mewarisi dari PreTrainedConfig dan dapat digunakan untuk mengontrol output model. Baca dokumentasi dari PreTrainedConfig untuk informasi lebih lanjut.
Qwen3OmniMoeAudioEncoderConfig
kelas transformers.Qwen3OmniMoeAudioEncoderConfig
< source >( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonenum_mel_bins: int = 128encoder_layers: int = 32encoder_attention_heads: int = 20encoder_ffn_dim: int = 5120d_model: int = 1280dropout: float | int = 0.0attention_dropout: float | int = 0.0activation_function: str = 'gelu'activation_dropout: float | int = 0.0scale_embedding: bool = Falseinitializer_range: float = 0.02max_source_positions: int = 1500n_window: int = 50output_dim: int = 3584n_window_infer: int = 800conv_chunksize: int = 500downsample_hidden_size: int = 480 )
Parameter
- num_mel_bins (
int, opsional, default128) — Jumlah fitur mel yang digunakan per frame input. Seharusnya sesuai dengan nilai yang digunakan di kelasAutoFeatureExtractor. - encoder_layers (
int, opsional, default32) — Jumlah lapisan tersembunyi pada encoder Transformer. Jika tidak diatur, akan menggunakan nilai yang sama dengannum_layers. - encoder_attention_heads (
int, opsional, default20) — Jumlah attention head untuk setiap lapisan attention di encoder Transformer. - encoder_ffn_dim (
int, opsional, default5120) — Dimensi lapisan “intermediate” (sering disebut feed-forward) di encoder. - d_model (
int, opsional, default1280) — Ukuran lapisan encoder dan lapisan pooler. - dropout (
Union[float, int], opsional, default0.0) — Rasio untuk semua lapisan dropout. - attention_dropout (
Union[float, int], opsional, default0.0) — Rasio dropout untuk probabilitas perhatian. - activation_function (
str, opsional, defaultnyagelu) — Fungsi aktivasi non-linear (fungsi atau string) di decoder. Misalnya,"gelu","relu","silu", dan sebagainya. - activation_dropout (
Union[float, int], opsional, defaultnya0.0) — Rasio dropout untuk aktivasi di dalam lapisan fully connected. - scale_embedding (
bool, opsional, defaultFalse) — Apakah akan menskalakan embedding dengan membaginya oleh sqrt(d_model). - initializer_range (
float, opsional, defaultnya0.02) — Standar deviasi dari truncated_normal_initializer untuk menginisialisasi semua matriks bobot. - max_source_positions (
int, opsional, default 1500) — Panjang maksimum urutan untuk input - n_window (
int, opsional, default 50) — Jumlah jendela - output_dim (
int, opsional, default 3584) — Dimensi dari output - n_window_infer (
int, opsional, default800) — Jumlah jendela selama inferensi - conv_chunksize (
int, opsional, default500) — Ukuran chunk untuk setiap input ke lapisan konvolusional - downsample_hidden_size (
int, opsional, default480) — Ukuran tersembunyi pada lapisan downsampling
Ini adalah kelas konfigurasi untuk menyimpan konfigurasi dari Qwen3 Omni MoeModel. Kelas ini digunakan untuk menginstansiasi model Qwen3 Omni Moe sesuai dengan argumen yang ditentukan, sehingga mendefinisikan arsitektur model. Menginstansiasi konfigurasi dengan nilai bawaan akan menghasilkan konfigurasi yang serupa dengan konfigurasi dari Qwen/Qwen3-Omni-30B-A3B-Instruct
Objek konfigurasi mewarisi dari PreTrainedConfig dan dapat digunakan untuk mengontrol output model. Baca dokumentasi dari PreTrainedConfig untuk informasi lebih lanjut.
Qwen3OmniMoeTalkerTextConfig
kelas transformers.Qwen3OmniMoeTalkerTextConfig
< source >( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonevocab_size: int = 3072hidden_size: int = 1024intermediate_size: int = 2048num_hidden_layers: int = 20num_attention_heads: int = 16num_key_value_heads: int = 2hidden_act: str = 'silu'max_position_embeddings: int = 32768initializer_range: float = 0.02rms_norm_eps: float = 1e-06use_cache: bool = Truetie_word_embeddings: bool = Falserope_parameters: transformers.modeling_rope_utils.RopeParameters | dict | None = Noneattention_bias: bool = Falsesliding_window: int | None = Noneattention_dropout: float | int = 0.0decoder_sparse_step: int = 1moe_intermediate_size: int = 384num_experts_per_tok: int = 8num_experts: int = 128norm_topk_prob: bool = Falseoutput_router_logits: bool = Falserouter_aux_loss_coef: float = 0.001mlp_only_layers: list[int] | None = Nonepad_token_id: int | None = Nonebos_token_id: int | None = Noneeos_token_id: int | list[int] | None = None )
Parameter
- vocab_size (
int, opsional, default3072) — Ukuran kosakata model. Menentukan jumlah token berbeda yang dapat direpresentasikan olehinput_ids. - hidden_size (
int, opsional, default1024) — Dimensi dari representasi tersembunyi. - intermediate_size (
int, opsional, default2048) — Dimensi representasi MLP. - num_hidden_layers (
int, opsional, default20) — Jumlah lapisan tersembunyi dalam decoder Transformer. - num_attention_heads (
int, opsional, default16) — Jumlah attention head untuk setiap lapisan attention di decoder Transformer. - num_key_value_heads (
int, opsional, default2) — Ini adalah jumlah key_value heads yang harus digunakan untuk mengimplementasikan Grouped Query Attention. Jikanum_key_value_heads=num_attention_heads, model akan menggunakan Multi Head Attention (MHA), jikanum_key_value_heads=1model akan menggunakan Multi Query Attention (MQA), selain itu GQA yang digunakan. Saat mengkonversi checkpoint multi-head menjadi checkpoint GQA, setiap group key dan value head harus dibangun dengan meanpooling semua head asli di dalam group tersebut. Untuk detail lebih lanjut, lihat paper ini. Jika tidak ditentukan, akan default kenum_attention_heads. - hidden_act (
str, opsional, defaultnyasilu) — Fungsi aktivasi non-linear (fungsi atau string) di decoder. Misalnya,"gelu","relu","silu", dan sebagainya. - max_position_embeddings (
int, opsional, default32768) — Panjang maksimum urutan yang mungkin digunakan dengan model ini. - initializer_range (
float, opsional, defaultnya0.02) — Standar deviasi dari truncated_normal_initializer untuk menginisialisasi semua matriks bobot. - rms_norm_eps (
float, opsional, defaultnya1e-06) — Epsilon yang digunakan oleh lapisan normalisasi rms. - use_cache (
bool, opsional, defaultnyaTrue) — Apakah model harus mengembalikan perhatian kunci/nilai terakhir (tidak digunakan oleh semua model). Hanya relevan jikaconfig.is_decoder=Trueatau ketika model adalah model generatif yang hanya decoder. - tie_word_embeddings (
bool, opsional, defaultFalse) — Apakah akan mengikat bobot embedding sesuai dengan pemetaantied_weights_keysmodel. - rope_parameters (
Union[~modeling_rope_utils.RopeParameters, dict], opsional) — Kamus yang berisi parameter konfigurasi untuk embedding RoPE. Kamus tersebut harus berisi nilai untukrope_thetadan secara opsional parameter yang digunakan untuk penskalaan jika Anda ingin menggunakan RoPE denganmax_position_embeddingsyang lebih panjang. - attention_bias (
bool, opsional, defaultFalse) — Apakah akan menggunakan bias pada lapisan proyeksi query, key, value, dan output selama self-attention. - sliding_window (
int, opsional) — Ukuran jendela untuk sliding window attention. JikaNone, sliding window tidak diterapkan. - attention_dropout (
Union[float, int], opsional, default0.0) — Rasio dropout untuk probabilitas perhatian. - decoder_sparse_step (
int, opsional, default 1) — Frekuensi lapisan MoE. - moe_intermediate_size (
int, opsional, default384) — Ukuran intermediate dari MLP expert yang di-rutekan. - num_experts_per_tok (
int, opsional, default8) — Jumlah expert yang akan menerima setiap token. Ini adalah nilai top-k untuk routing pemilihan token. - num_experts (
int, opsional, default128) — Jumlah pakar yang dirutekan pada lapisan MoE. - norm_topk_prob (
bool, opsional, defaultFalse) — Apakah bobot dari para ahli yang dirutekan akan dinormalisasi. - output_router_logits (
bool, opsional, defaultFalse) — Apakah logits router harus dikembalikan oleh model. Mengaktifkan ini juga akan memungkinkan model untuk mengoutput loss tambahan, termasuk load balancing loss dan router z-loss. - router_aux_loss_coef (
float, opsional, default0.001) — Koefisien kerugian keseimbangan beban tambahan. Digunakan untuk menghukum perutean pakar yang tidak merata pada model MoE. - mlp_only_layers (
list[int], opsional, default[]) — Tentukan layer mana yang menggunakan Qwen3OmniMoeTalkerTextMLP alih-alih Qwen3OmniMoeTalkerTextSparseMoeBlock Daftar ini berisi indeks layer, dari 0 hingga num_layers-1 jika terdapat num_layers layer Jikamlp_only_layerskosong,decoder_sparse_stepdigunakan untuk menentukan sparsity. - pad_token_id (
int, opsional) — ID token yang digunakan untuk padding dalam kosakata. - bos_token_id (
int, opsional) — ID token yang digunakan untuk awal aliran (beginning-of-stream) dalam kosakata. - eos_token_id (
Union[int, list[int]], opsional) — ID token yang digunakan untuk akhir aliran dalam kosakata.
Ini adalah kelas konfigurasi untuk menyimpan konfigurasi dari Qwen3 Omni MoeModel. Kelas ini digunakan untuk menginstansiasi model Qwen3 Omni Moe sesuai dengan argumen yang ditentukan, sehingga mendefinisikan arsitektur model. Menginstansiasi konfigurasi dengan nilai bawaan akan menghasilkan konfigurasi yang serupa dengan konfigurasi dari Qwen/Qwen3-Omni-30B-A3B-Instruct
Objek konfigurasi mewarisi dari PreTrainedConfig dan dapat digunakan untuk mengontrol output model. Baca dokumentasi dari PreTrainedConfig untuk informasi lebih lanjut.
>>> from transformers import Qwen3OmniMoeTalkerTextModel, Qwen3OmniMoeTalkerTextConfig
>>> # Initializing a Qwen3OmniMoeTalkerText style configuration
>>> configuration = Qwen3OmniMoeTalkerTextConfig()
>>> # Initializing a model from the Qwen3-15B-A2B" style configuration
>>> model = Qwen3OmniMoeTalkerTextModel(configuration)
>>> # Accessing the model configuration
>>> configuration = model.configQwen3OmniMoeTalkerCodePredictorConfig
kelas transformers.Qwen3OmniMoeTalkerCodePredictorConfig
< source >( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonevocab_size: int = 2048hidden_size: int = 1024intermediate_size: int = 3072num_hidden_layers: int = 5num_attention_heads: int = 16num_key_value_heads: int = 8head_dim: int = 128hidden_act: str = 'silu'max_position_embeddings: int = 32768initializer_range: float = 0.02rms_norm_eps: float = 1e-06use_cache: bool = Truetie_word_embeddings: bool = Falserope_parameters: transformers.modeling_rope_utils.RopeParameters | dict | None = Noneattention_bias: bool = Falsesliding_window: int | None = Nonemax_window_layers: int = 28layer_types: list[str] | None = Noneattention_dropout: float | int = 0.0pad_token_id: int | None = Nonebos_token_id: int | None = Noneeos_token_id: int | list[int] | None = Nonenum_code_groups: int = 32 )
Parameter
- vocab_size (
int, opsional, default2048) — Ukuran kosakata model. Menentukan jumlah token berbeda yang dapat direpresentasikan olehinput_ids. - hidden_size (
int, opsional, default1024) — Dimensi dari representasi tersembunyi. - intermediate_size (
int, opsional, default3072) — Dimensi representasi MLP. - num_hidden_layers (
int, opsional, default5) — Jumlah lapisan tersembunyi dalam decoder Transformer. - num_attention_heads (
int, opsional, default16) — Jumlah attention head untuk setiap lapisan attention di decoder Transformer. - num_key_value_heads (
int, opsional, default8) — Ini adalah jumlah key_value heads yang harus digunakan untuk mengimplementasikan Grouped Query Attention. Jikanum_key_value_heads=num_attention_heads, model akan menggunakan Multi Head Attention (MHA), jikanum_key_value_heads=1model akan menggunakan Multi Query Attention (MQA), selain itu GQA yang digunakan. Saat mengkonversi checkpoint multi-head menjadi checkpoint GQA, setiap group key dan value head harus dibangun dengan meanpooling semua head asli di dalam grup tersebut. Untuk detail lebih lanjut, lihat paper ini. Jika tidak ditentukan, akan default kenum_attention_heads. - head_dim (
int, opsional, default128) — Dimensi head perhatian. Jika None, nilainya akan default ke hidden_size // num_attention_heads - hidden_act (
str, opsional, defaultnyasilu) — Fungsi aktivasi non-linear (fungsi atau string) di decoder. Misalnya,"gelu","relu","silu", dan sebagainya. - max_position_embeddings (
int, opsional, default32768) — Panjang maksimum urutan yang mungkin digunakan dengan model ini. - initializer_range (
float, opsional, defaultnya0.02) — Standar deviasi dari truncated_normal_initializer untuk menginisialisasi semua matriks bobot. - rms_norm_eps (
float, opsional, defaultnya1e-06) — Epsilon yang digunakan oleh lapisan normalisasi rms. - use_cache (
bool, opsional, defaultnyaTrue) — Apakah model harus mengembalikan perhatian kunci/nilai terakhir (tidak digunakan oleh semua model). Hanya relevan jikaconfig.is_decoder=Trueatau ketika model adalah model generatif yang hanya decoder. - tie_word_embeddings (
bool, opsional, defaultFalse) — Apakah akan mengikat bobot embedding sesuai dengan pemetaantied_weights_keysmodel. - rope_parameters (
Union[~modeling_rope_utils.RopeParameters, dict], opsional) — Kamus yang berisi parameter konfigurasi untuk embedding RoPE. Kamus tersebut harus berisi nilai untukrope_thetadan secara opsional parameter yang digunakan untuk penskalaan jika Anda ingin menggunakan RoPE denganmax_position_embeddingsyang lebih panjang. - attention_bias (
bool, opsional, defaultFalse) — Apakah akan menggunakan bias pada lapisan proyeksi query, key, value, dan output selama self-attention. - sliding_window (
int, opsional) — Ukuran jendela untuk sliding window attention. JikaNone, sliding window tidak diterapkan. - max_window_layers (
int, opsional, defaultnya28) — Jumlah lapisan yang menggunakan full attention.max_window_layerslapisan pertama akan menggunakan full attention, sedangkan lapisan tambahan setelahnya akan menggunakan SWA (Sliding Window Attention). - layer_types (
list[str], opsional) — Daftar yang secara eksplisit memetakan setiap indeks layer dengan tipe layernya. Jika tidak disediakan, daftar ini akan dibuat secara otomatis berdasarkan nilai config. - attention_dropout (
Union[float, int], opsional, default0.0) — Rasio dropout untuk probabilitas perhatian. - pad_token_id (
int, opsional) — ID token yang digunakan untuk padding dalam kosakata. - bos_token_id (
int, opsional) — ID token yang digunakan untuk awal aliran (beginning-of-stream) dalam kosakata. - eos_token_id (
Union[int, list[int]], opsional) — ID token yang digunakan untuk akhir aliran dalam kosakata. - num_code_groups (
int, opsional, default 32) — Jumlah grup codebook yang digunakan dalam urutan token akustik yang diprediksi, yang sesuai dengan representasi VQ multi-codebook.
Ini adalah kelas konfigurasi untuk menyimpan konfigurasi dari Qwen3 Omni MoeModel. Kelas ini digunakan untuk menginstansiasi model Qwen3 Omni Moe sesuai dengan argumen yang ditentukan, sehingga mendefinisikan arsitektur model. Menginstansiasi konfigurasi dengan nilai bawaan akan menghasilkan konfigurasi yang serupa dengan konfigurasi dari Qwen/Qwen3-Omni-30B-A3B-Instruct
Objek konfigurasi mewarisi dari PreTrainedConfig dan dapat digunakan untuk mengontrol output model. Baca dokumentasi dari PreTrainedConfig untuk informasi lebih lanjut.
Qwen3OmniMoeForConditionalGeneration
Qwen3OmniMoeThinkerTextModel
kelas transformers.Qwen3OmniMoeThinkerTextModel
< source >( config: Qwen3OmniMoeTextConfig )
Parameter
- config (Qwen3OmniMoeTextConfig) — Kelas konfigurasi model yang berisi semua parameter model. Inisialisasi dengan file konfigurasi tidak memuat bobot yang terkait dengan model, hanya konfigurasinya saja. Lihat metode from_pretrained() untuk memuat bobot model.
Bagian teks dari Qwen3OmniMoeThinker, bukan model yang murni hanya teks, karena DeepStack mengintegrasikan fitur visual ke dalam hidden states awal.
Model ini mewarisi dari PreTrainedModel. Periksa dokumentasi kelas induk untuk metode generik yang diimplementasikan oleh pustaka untuk semua model (seperti mengunduh atau menyimpan, mengubah ukuran embedding input, memangkas kepala, dll.)
Model ini juga merupakan subclass dari torch.nn.Module PyTorch. Gunakan sebagai PyTorch Module biasa dan merujuk ke dokumentasi PyTorch untuk semua hal yang berkaitan dengan penggunaan dan perilaku umum.
forward
< source >( input_ids: typing.Optional[torch.LongTensor] = Noneattention_mask: typing.Optional[torch.Tensor] = Noneposition_ids: typing.Optional[torch.LongTensor] = Nonepast_key_values: transformers.cache_utils.Cache | None = Noneinputs_embeds: typing.Optional[torch.Tensor] = Noneuse_cache: bool | None = Nonevisual_pos_masks: typing.Optional[torch.Tensor] = Nonedeepstack_visual_embeds: list[torch.Tensor] | None = None**kwargs: *<class 'transformers.modeling_flash_attention_utils.FlashAttentionKwargs'> ) → MoeModelOutputWithPast or tuple(torch.Tensor)
Parameter
- input_ids (
torch.LongTensordengan bentuk(batch_size, sequence_length), opsional) — Indeks token dari urutan input dalam kosakata. Padding akan diabaikan secara default.Indeks dapat diperoleh menggunakan AutoTokenizer. Lihat PreTrainedTokenizer.encode() dan PreTrainedTokenizer.call() untuk detailnya.
- attention_mask (
torch.Tensordengan bentuk(batch_size, sequence_length), opsional) — Mask untuk menghindari eksekusi attention pada indeks token padding. Nilai mask dipilih dari[0, 1]:- 1 untuk token yang tidak dimasker,
- 0 untuk token yang dimasker.
- position_ids (
torch.LongTensordengan bentuk(batch_size, sequence_length), opsional) — Indeks posisi token dari setiap urutan input dalam position embeddings. Dipilih dalam rentang[0, config.n_positions - 1]. - past_key_values (
~cache_utils.Cache, opsional) — Hidden-states yang sudah dihitung sebelumnya (key dan values di blok self-attention dan di blok cross-attention) yang dapat digunakan untuk mempercepat decoding berurutan. Ini biasanya terdiri daripast_key_valuesyang dikembalikan oleh model pada tahap decoding sebelumnya, ketikause_cache=Trueatauconfig.use_cache=True.Hanya instance Cache yang diizinkan sebagai input, lihat panduan kv cache kami. Jika tidak ada
past_key_valuesyang diteruskan, DynamicCache akan diinisialisasi secara default.Model akan menghasilkan format cache yang sama dengan yang diberikan sebagai input.
Jika
past_key_valuesdigunakan, pengguna diharapkan hanya memasukkaninput_idsyang belum diproses (yang tidak memiliki state past key value yang diberikan ke model ini) dengan bentuk(batch_size, unprocessed_length)alih-alih semuainput_idsdengan bentuk(batch_size, sequence_length). - inputs_embeds (
torch.Tensordengan bentuk(batch_size, sequence_length, hidden_size), opsional) — Secara opsional, alih-alih meneruskaninput_ids, Anda dapat memilih untuk langsung meneruskan representasi tertanam. Hal ini berguna jika Anda ingin memiliki kendali lebih atas cara mengonversi indeksinput_idsmenjadi vektor terkait, dibandingkan dengan matriks pencarian penanaman internal model. - use_cache (
bool, opsional) — Jika diset keTrue, state kunci-nilaipast_key_valuesakan dikembalikan dan dapat digunakan untuk mempercepat decoding (lihatpast_key_values). - visual_pos_masks (
torch.Tensordengan bentuk(batch_size, seqlen), opsional) — Mask untuk posisi visual. - deepstack_visual_embeds (
list[torch.Tensor], opsional) — Embedding visual deepstack. Bentuknya adalah (num_layers, visual_seqlen, embed_dim). Fitur ini diekstrak dari lapisan encoder visual yang berbeda, dan diberikan ke hidden states decoder. Fitur ini berasal dari paper DeepStack(https://arxiv.org/abs/2406.04334).
Mengembalikan
MoeModelOutputWithPast atau tuple(torch.Tensor)
MoeModelOutputWithPast atau tuple dari
torch.Tensor (jika return_dict=False diteruskan atau ketika config.return_dict=False) yang terdiri dari berbagai
elemen tergantung pada konfigurasi (Qwen3OmniMoeConfig) dan input.
Metode forward dari Qwen3OmniMoeThinkerTextModel menimpa metode khusus __call__.
Meskipun resep untuk forward pass perlu didefinisikan di dalam fungsi ini, sebaiknya panggil instance
Modulesetelahnya alih-alih fungsi ini, karena yang pertama menangani langkah-langkah pra-pemrosesan dan pasca-pemrosesan, sedangkan yang kedua mengabaikannya secara diam-diam.
last_hidden_state (
torch.Tensordengan bentuk(batch_size, sequence_length, hidden_size)) — Urutan hidden-states pada keluaran lapisan terakhir model.past_key_values (
Cache, opsional, dikembalikan saatuse_cache=Truedilewatkan atau saatconfig.use_cache=True) — Ini adalah instance Cache. Untuk detail lebih lanjut, lihat panduan kv cache kami.Berisi hidden-states yang telah dihitung sebelumnya (key dan values di blok self-attention, dan secara opsional jika
config.is_encoder_decoder=Truedi blok cross-attention) yang dapat digunakan (lihat inputpast_key_values) untuk mempercepat decoding berurutan.hidden_states (
tuple(torch.Tensor), opsional, dikembalikan saatoutput_hidden_states=Truedilewatkan atau saatconfig.output_hidden_states=True) — Tuple daritorch.Tensor(satu untuk output dari embeddings, jika model memiliki lapisan embedding, + satu untuk output dari setiap lapisan) dengan bentuk(batch_size, sequence_length, hidden_size).Hidden-states model pada output setiap layer ditambah output embedding awal yang opsional.
attentions (
tuple(torch.Tensor), opsional, dikembalikan saatoutput_attentions=Truedilewatkan atau saatconfig.output_attentions=True) — Tuple daritorch.Tensor(satu untuk setiap layer) dengan bentuk(batch_size, num_heads, sequence_length, sequence_length).Bobot perhatian setelah softmax perhatian, digunakan untuk menghitung rata-rata berbobot di kepala perhatian diri (self-attention).
router_logits (
tuple(torch.Tensor), opsional, dikembalikan ketikaoutput_router_probs=Truedanconfig.add_router_probs=Truediteruskan atau ketikaconfig.output_router_probs=True) — Tuple daritorch.Tensor(satu untuk setiap layer) dengan bentuk(batch_size, sequence_length, num_experts).Logit router mentah (setelah softmax) yang dihitung oleh router MoE; istilah-istilah ini digunakan untuk menghitung auxiliary loss pada model Mixture of Experts.
Qwen3OmniMoeThinkerModel
kelas transformers.Qwen3OmniMoeThinkerModel
< source >( config: Qwen3OmniMoeThinkerConfig )
Parameter
- config (Qwen3OmniMoeThinkerConfig) — Kelas konfigurasi model dengan semua parameter model. Inisialisasi dengan file konfigurasi tidak memuat bobot yang terkait dengan model, hanya konfigurasinya. Lihat metode from_pretrained() untuk memuat bobot model.
Model Qwen2.5OmniThinker yang terdiri dari backbone audio dan model bahasa.
Model ini mewarisi dari PreTrainedModel. Periksa dokumentasi kelas induk untuk metode generik yang diimplementasikan oleh pustaka untuk semua model (seperti mengunduh atau menyimpan, mengubah ukuran embedding input, memangkas kepala, dll.)
Model ini juga merupakan subclass dari torch.nn.Module PyTorch. Gunakan sebagai PyTorch Module biasa dan merujuk ke dokumentasi PyTorch untuk semua hal yang berkaitan dengan penggunaan dan perilaku umum.
forward
< source >( input_ids = Noneinput_features = Nonepixel_values = Nonepixel_values_videos = Noneimage_grid_thw = Nonevideo_grid_thw = Noneattention_mask = Nonefeature_attention_mask = Noneaudio_feature_lengths = Noneposition_ids = Nonepast_key_values = Noneinputs_embeds = Noneuse_cache = Noneoutput_router_logits: bool | None = Noneuse_audio_in_video = Nonevideo_second_per_grid = Nonemm_encoder_outputs: dict[str, transformers.modeling_outputs.BaseModelOutputWithPooling] | None = None**kwargs ) → MoeModelOutputWithPast or tuple(torch.Tensor)
Parameter
- input_ids (`
of shape(batch_size, sequence_length)`) — Indeks token dari urutan input dalam kosakata. Padding akan diabaikan secara default.Indeks dapat diperoleh menggunakan AutoTokenizer. Lihat PreTrainedTokenizer.encode() dan PreTrainedTokenizer.call() untuk detailnya.
- input_features (`
of shape(batch_size, sequence_length, feature_dim)`) — Tensor yang sesuai dengan fitur audio input. Fitur audio dapat diperoleh menggunakan WhisperFeatureExtractor. Lihat WhisperFeatureExtractor.call() untuk detailnya (Qwen3OmniMoeProcessor menggunakan WhisperFeatureExtractor untuk memproses audio). - pixel_values (`
of shape(batch_size, num_channels, image_size, image_size)`) — Tensor yang sesuai dengan gambar input. Nilai piksel dapat diperoleh menggunakan Qwen2VLImageProcessor. Lihat Qwen2VLImageProcessor.call() untuk detailnya (Qwen3OmniMoeProcessor menggunakan Qwen2VLImageProcessor untuk memproses gambar). - pixel_values_videos (`
of shape(batch_size, num_frames, num_channels, frame_size, frame_size)`) — Tensor yang sesuai dengan video input. Nilai piksel untuk video dapat diperoleh menggunakan Qwen2VLVideoProcessor. Lihat Qwen2VLVideoProcessor.call() untuk detailnya (Qwen3OmniMoeProcessor menggunakan Qwen2VLVideoProcessor untuk memproses video). - image_grid_thw (`
of shape(num_images, 3)`) — Dimensi temporal, tinggi, dan lebar dari bentuk fitur setiap gambar dalam LLM. - video_grid_thw (`
of shape(num_videos, 3)`) — Dimensi temporal, tinggi, dan lebar dari bentuk fitur setiap video dalam LLM. - attention_mask (`
of shape(batch_size, sequence_length) -- Mask to avoid performing attention on padding token indices. Mask values selected in[0, 1]`:- 1 untuk token yang tidak dimasker,
- 0 untuk token yang dimasker.
- feature_attention_mask (
torch.Tensorberbentuk(batch_size, feature_sequence_length), opsional) — Mask untuk menghindari eksekusi attention pada indeks fitur padding. Nilai mask dipilih dari[0, 1]:- 1 untuk token yang tidak dimasker,
- 0 untuk token yang dimasker.
- audio_feature_lengths (
torch.LongTensordengan bentuk(num_audios), opsional) — Panjang bentuk fitur dari setiap audio dalam LLM. - position_ids (`
of shape(batch_size, sequence_length) -- Indices of positions of each input sequence tokens in the position embeddings. Selected in the range[0, config.n_positions - 1]`. - past_key_values (`
) -- Pre-computed hidden-states (key and values in the self-attention blocks and in the cross-attention blocks) that can be used to speed up sequential decoding. This typically consists in thepast_key_valuesreturned by the model at a previous stage of decoding, whenuse_cache=Trueorconfig.use_cache=True`.Hanya instance Cache yang diizinkan sebagai input, lihat panduan kv cache kami. Jika tidak ada
past_key_valuesyang diteruskan, DynamicCache akan diinisialisasi secara default.Model akan menghasilkan format cache yang sama dengan yang diberikan sebagai input.
Jika
past_key_valuesdigunakan, pengguna diharapkan hanya memasukkaninput_idsyang belum diproses (yang tidak memiliki state past key value yang diberikan ke model ini) dengan bentuk(batch_size, unprocessed_length)alih-alih semuainput_idsdengan bentuk(batch_size, sequence_length). - inputs_embeds (`
of shape(batch_size, sequence_length, hidden_size)) -- Optionally, instead of passinginput_idsyou can choose to directly pass an embedded representation. This is useful if you want more control over how to convertinput_ids` indices into associated vectors than the model’s internal embedding lookup matrix. - use_cache (`
) -- If set toTrue,past_key_valueskey value states are returned and can be used to speed up decoding (seepast_key_values`). - output_router_logits (
bool, opsional) — Apakah logits dari semua router akan dikembalikan atau tidak. Logits ini berguna untuk menghitung kerugian router, dan tidak seharusnya dikembalikan selama inferensi. - use_audio_in_video (
bool, opsional) — Apakah akan menggunakan trek audio dalam video, harus sama dengan parameter diprocess_audio_info. - video_second_per_grid (
torch.LongTensordengan bentuk(num_videos), opsional) — Jumlah detik per grid untuk setiap video, digunakan untuk pemetaan fitur temporal. - mm_encoder_outputs (
dict[str, ~modeling_outputs.BaseModelOutputWithPooling], opsional) — Dict di mana kuncinya adalah modalitas yang didukung dan nilainya adalah output terenkod untuk modalitas tersebut. Setiap output terenkod adalah tuple yang terdiri dari (pooler_output, opsional:last_hidden_states, opsional:hidden_states, opsional:attentions)pooler_outputdengan bentuk(batch_size, sequence_length, hidden_size), opsional) adalah rangkaian fitur multimodal dari encoder yang digabungkan ke dalam embedding teks.
Mengembalikan
MoeModelOutputWithPast atau tuple(torch.Tensor)
MoeModelOutputWithPast atau tuple dari
torch.Tensor (jika return_dict=False diteruskan atau ketika config.return_dict=False) yang terdiri dari berbagai
elemen tergantung pada konfigurasi (Qwen3OmniMoeConfig) dan input.
Metode forward dari Qwen3OmniMoeThinkerModel menimpa metode khusus __call__.
Meskipun resep untuk forward pass perlu didefinisikan di dalam fungsi ini, sebaiknya panggil instance
Modulesetelahnya alih-alih fungsi ini, karena yang pertama menangani langkah-langkah pra-pemrosesan dan pasca-pemrosesan, sedangkan yang kedua mengabaikannya secara diam-diam.
last_hidden_state (
torch.Tensordengan bentuk(batch_size, sequence_length, hidden_size)) — Urutan hidden-states pada keluaran lapisan terakhir model.past_key_values (
Cache, opsional, dikembalikan saatuse_cache=Truedilewatkan atau saatconfig.use_cache=True) — Ini adalah instance Cache. Untuk detail lebih lanjut, lihat panduan kv cache kami.Berisi hidden-states yang telah dihitung sebelumnya (key dan values di blok self-attention, dan secara opsional jika
config.is_encoder_decoder=Truedi blok cross-attention) yang dapat digunakan (lihat inputpast_key_values) untuk mempercepat decoding berurutan.hidden_states (
tuple(torch.Tensor), opsional, dikembalikan saatoutput_hidden_states=Truedilewatkan atau saatconfig.output_hidden_states=True) — Tuple daritorch.Tensor(satu untuk output dari embeddings, jika model memiliki lapisan embedding, + satu untuk output dari setiap lapisan) dengan bentuk(batch_size, sequence_length, hidden_size).Hidden-states model pada output setiap layer ditambah output embedding awal yang opsional.
attentions (
tuple(torch.Tensor), opsional, dikembalikan saatoutput_attentions=Truedilewatkan atau saatconfig.output_attentions=True) — Tuple daritorch.Tensor(satu untuk setiap layer) dengan bentuk(batch_size, num_heads, sequence_length, sequence_length).Bobot perhatian setelah softmax perhatian, digunakan untuk menghitung rata-rata berbobot di kepala perhatian diri (self-attention).
router_logits (
tuple(torch.Tensor), opsional, dikembalikan ketikaoutput_router_probs=Truedanconfig.add_router_probs=Truediteruskan atau ketikaconfig.output_router_probs=True) — Tuple daritorch.Tensor(satu untuk setiap layer) dengan bentuk(batch_size, sequence_length, num_experts).Logit router mentah (setelah softmax) yang dihitung oleh router MoE; istilah-istilah ini digunakan untuk menghitung auxiliary loss pada model Mixture of Experts.
Qwen3OmniMoeThinkerForConditionalGeneration
kelas transformers.Qwen3OmniMoeThinkerForConditionalGeneration
< source >( config: Qwen3OmniMoeThinkerConfig )
forward
< source >( input_ids = Noneinput_features = Nonepixel_values = Nonepixel_values_videos = Noneimage_grid_thw = Nonevideo_grid_thw = Noneattention_mask = Nonefeature_attention_mask = Noneaudio_feature_lengths = Noneposition_ids = Nonepast_key_values = Noneinputs_embeds = Nonelabels = Noneuse_cache = Noneoutput_router_logits: bool | None = Noneuse_audio_in_video = Nonevideo_second_per_grid = Nonemm_encoder_outputs: dict[str, transformers.modeling_outputs.BaseModelOutputWithPooling] | None = None**kwargs ) → MoeCausalLMOutputWithPast or tuple(torch.Tensor)
Parameter
- input_ids (`
of shape(batch_size, sequence_length)`) — Indeks token dari urutan input dalam kosakata. Padding akan diabaikan secara default.Indeks dapat diperoleh menggunakan AutoTokenizer. Lihat PreTrainedTokenizer.encode() dan PreTrainedTokenizer.call() untuk detailnya.
- input_features (`
of shape(batch_size, sequence_length, feature_dim)`) — Tensor yang sesuai dengan fitur audio input. Fitur audio dapat diperoleh menggunakan WhisperFeatureExtractor. Lihat WhisperFeatureExtractor.call() untuk detailnya (Qwen3OmniMoeProcessor menggunakan WhisperFeatureExtractor untuk memproses audio). - pixel_values (`
of shape(batch_size, num_channels, image_size, image_size)`) — Tensor yang sesuai dengan gambar input. Nilai piksel dapat diperoleh menggunakan Qwen2VLImageProcessor. Lihat Qwen2VLImageProcessor.call() untuk detailnya (Qwen3OmniMoeProcessor menggunakan Qwen2VLImageProcessor untuk memproses gambar). - pixel_values_videos (`
of shape(batch_size, num_frames, num_channels, frame_size, frame_size)`) — Tensor yang sesuai dengan video input. Nilai piksel untuk video dapat diperoleh menggunakan Qwen2VLVideoProcessor. Lihat Qwen2VLVideoProcessor.call() untuk detailnya (Qwen3OmniMoeProcessor menggunakan Qwen2VLVideoProcessor untuk memproses video). - image_grid_thw (`
of shape(num_images, 3)`) — Dimensi temporal, tinggi, dan lebar dari bentuk fitur setiap gambar dalam LLM. - video_grid_thw (`
of shape(num_videos, 3)`) — Dimensi temporal, tinggi, dan lebar dari bentuk fitur setiap video dalam LLM. - attention_mask (`
of shape(batch_size, sequence_length) -- Mask to avoid performing attention on padding token indices. Mask values selected in[0, 1]`:- 1 untuk token yang tidak dimasker,
- 0 untuk token yang dimasker.
- feature_attention_mask (
torch.Tensorberbentuk(batch_size, feature_sequence_length), opsional) — Mask untuk menghindari eksekusi attention pada indeks fitur padding. Nilai mask dipilih dari[0, 1]:- 1 untuk token yang tidak dimasker,
- 0 untuk token yang dimasker.
- audio_feature_lengths (
torch.LongTensordengan bentuk(num_audios), opsional) — Panjang bentuk fitur dari setiap audio dalam LLM. - position_ids (`
of shape(batch_size, sequence_length) -- Indices of positions of each input sequence tokens in the position embeddings. Selected in the range[0, config.n_positions - 1]`. - past_key_values (`
) -- Pre-computed hidden-states (key and values in the self-attention blocks and in the cross-attention blocks) that can be used to speed up sequential decoding. This typically consists in thepast_key_valuesreturned by the model at a previous stage of decoding, whenuse_cache=Trueorconfig.use_cache=True`.Hanya instance Cache yang diizinkan sebagai input, lihat panduan kv cache kami. Jika tidak ada
past_key_valuesyang diteruskan, DynamicCache akan diinisialisasi secara default.Model akan menghasilkan format cache yang sama dengan yang diberikan sebagai input.
Jika
past_key_valuesdigunakan, pengguna diharapkan hanya memasukkaninput_idsyang belum diproses (yang tidak memiliki state past key value yang diberikan ke model ini) dengan bentuk(batch_size, unprocessed_length)alih-alih semuainput_idsdengan bentuk(batch_size, sequence_length). - inputs_embeds (`
of shape(batch_size, sequence_length, hidden_size)) -- Optionally, instead of passinginput_idsyou can choose to directly pass an embedded representation. This is useful if you want more control over how to convertinput_ids` indices into associated vectors than the model’s internal embedding lookup matrix. - labels (`
of shape(batch_size, sequence_length)) -- Labels for computing the masked language modeling loss. Indices should either be in[0, …, config.vocab_size]or -100 (seeinput_idsdocstring). Tokens with indices set to-100are ignored (masked), the loss is only computed for the tokens with labels in[0, …, config.vocab_size]`. - use_cache (`
) -- If set toTrue,past_key_valueskey value states are returned and can be used to speed up decoding (seepast_key_values`). - output_router_logits (
bool, opsional) — Apakah logits dari semua router akan dikembalikan atau tidak. Logits ini berguna untuk menghitung kerugian router, dan tidak seharusnya dikembalikan selama inferensi. - use_audio_in_video (
bool, opsional) — Apakah akan menggunakan trek audio dalam video, harus sama dengan parameter diprocess_audio_info. - video_second_per_grid (
torch.LongTensordengan bentuk(num_videos), opsional) — Jumlah detik per grid untuk setiap video, digunakan untuk pemetaan fitur temporal. - mm_encoder_outputs (
dict[str, ~modeling_outputs.BaseModelOutputWithPooling], opsional) — Dict di mana kuncinya adalah modalitas yang didukung dan nilainya adalah output terenkod untuk modalitas tersebut. Setiap output terenkod adalah tuple yang terdiri dari (pooler_output, opsional:last_hidden_states, opsional:hidden_states, opsional:attentions)pooler_outputdengan bentuk(batch_size, sequence_length, hidden_size), opsional) adalah rangkaian fitur multimodal dari encoder yang digabungkan ke dalam embedding teks.
Mengembalikan
MoeCausalLMOutputWithPast atau tuple(torch.Tensor)
MoeCausalLMOutputWithPast atau tuple dari
torch.Tensor (jika return_dict=False dilewatkan atau ketika config.return_dict=False) yang terdiri dari berbagai
elemen tergantung pada konfigurasi (Qwen3OmniMoeConfig) dan input.
Metode forward dari Qwen3OmniMoeThinkerForConditionalGeneration menimpa metode khusus __call__.
Meskipun resep untuk forward pass perlu didefinisikan di dalam fungsi ini, sebaiknya panggil instance
Modulesetelahnya alih-alih fungsi ini, karena yang pertama menangani langkah-langkah pra-pemrosesan dan pasca-pemrosesan, sedangkan yang kedua mengabaikannya secara diam-diam.
loss (
torch.Tensordengan bentuk(1,), opsional, dikembalikan saatlabelsdisediakan) — Loss pemodelan bahasa (untuk prediksi token berikutnya).logits (
torch.Tensordengan bentuk(batch_size, sequence_length, config.vocab_size)) — Skor prediksi dari kepala pemodelan bahasa (skor untuk setiap token kosakata sebelum SoftMax).aux_loss (
torch.Tensor, opsional, dikembalikan ketikaoutput_router_logits=Truedilewatkan atau ketikaconfig.output_router_logits=True, dan model melatih router-nya dengan loss penyeimbangan beban) — Loss bantu penyeimbangan beban untuk modul sparse. Model yang menyeimbangkan pakar mereka dengan bias router sebagai gantinya (DeepSeek-V3 dan arsitektur yang diturunkan darinya) mengembalikanNonedi sini sambil tetap mengembalikanrouter_logits.router_logits (
tuple(torch.Tensor), opsional, dikembalikan ketikaoutput_router_logits=Truediteruskan atau ketikaconfig.output_router_logits=True) — Tuple daritorch.Tensor(satu untuk setiap lapisan sparse) dengan bentuk(batch_size * sequence_length, num_experts).Logit router mentah yang dihitung oleh router MoE. Logit ini dapat digunakan untuk menghitung kerugian penyeimbangan beban (load-balancing loss) atau untuk memeriksa bagaimana token didistribusikan ke para ahli (experts).
past_key_values (
Cache, opsional, dikembalikan saatuse_cache=Truedilewatkan atau saatconfig.use_cache=True) — Ini adalah instance Cache. Untuk detail lebih lanjut, lihat panduan kv cache kami.Berisi hidden-states yang telah dihitung sebelumnya (key dan values di blok self-attention) yang dapat digunakan (lihat input
past_key_values) untuk mempercepat decoding berurutan.hidden_states (
tuple(torch.Tensor), opsional, dikembalikan saatoutput_hidden_states=Truedilewatkan atau saatconfig.output_hidden_states=True) — Tuple daritorch.Tensor(satu untuk output dari embeddings, jika model memiliki lapisan embedding, + satu untuk output dari setiap lapisan) dengan bentuk(batch_size, sequence_length, hidden_size).Hidden-states model pada output setiap layer ditambah output embedding awal yang opsional.
attentions (
tuple(torch.Tensor), opsional, dikembalikan saatoutput_attentions=Truedilewatkan atau saatconfig.output_attentions=True) — Tuple daritorch.Tensor(satu untuk setiap layer) dengan bentuk(batch_size, num_heads, sequence_length, sequence_length).Bobot perhatian setelah softmax perhatian, digunakan untuk menghitung rata-rata berbobot di kepala perhatian diri (self-attention).
Contoh:
>>> from transformers import Qwen3OmniMoeProcessor, Qwen3OmniMoeThinkerForConditionalGeneration
>>> thinker = Qwen3OmniMoeThinkerForConditionalGeneration.from_pretrained("Qwen/Qwen2.5-Omni-7B")
>>> processor = Qwen3OmniMoeProcessor.from_pretrained("Qwen/Qwen2.5-Omni-7B")
>>> conversations = [
>>> {'role': 'system', 'content': 'You are a helpful voice chat bot, and please respond to me in a casual conversation manner using random voice.'},
>>> {"role": "user", "content": [
>>> {"type": "image", "image": "https://www.ilankelman.org/stopsigns/australia.jpg"},
>>> {"type": "audio", "audio": "https://huggingface.co/datasets/hf-internal-testing/transformers-synthetic-assets/resolve/main/audio/glass_breaking.mp3"},
>>> ]},
>>> ]
>>> inputs = processor.apply_chat_template(
conversations,
tokenize=True,
add_generation_prompt=True,
return_dict=True,
return_tensors="pt"
)
>>> # Generate
>>> generation = thinker.generate(**inputs, max_new_tokens=2048)
>>> generate_ids = generation[:, inputs.input_ids.size(1):]
>>> response = processor.batch_decode(generate_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False)[0]get_audio_features
< source >( input_features: Tensorfeature_attention_mask: typing.Optional[torch.LongTensor] = Noneaudio_feature_lengths: typing.Optional[torch.LongTensor] = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → BaseModelOutputWithPooling or tuple(torch.Tensor)
Parameter
- input_features (
torch.Tensor) — Tensor yang sesuai dengan audio input. - feature_attention_mask (
torch.LongTensor, opsional) — Mask untuk menghindari pelaksanaan attention pada indeks fitur padding. Nilai mask dipilih dalam[0, 1]: - audio_feature_lengths (
torch.LongTensordengan bentuk(num_audios), opsional) — Panjang bentuk fitur dari setiap audio dalam LLM.
Mengembalikan
BaseModelOutputWithPooling atau tuple(torch.Tensor)
A BaseModelOutputWithPooling atau tuple dari
torch.Tensor (jika return_dict=False dilewatkan atau ketika config.return_dict=False) yang terdiri dari berbagai
elemen tergantung pada konfigurasi (Qwen3OmniMoeConfig) dan input.
last_hidden_state (
torch.Tensordengan bentuk(batch_size, sequence_length, hidden_size)) — Urutan hidden-states pada keluaran lapisan terakhir model.pooler_output (
torch.Tensordengan bentuk(batch_size, hidden_size)) — Hidden-state lapisan terakhir dari token pertama dalam urutan (token klasifikasi) setelah diproses lebih lanjut melalui lapisan yang digunakan untuk tugas pra-pelatihan tambahan. Misalnya, untuk keluarga model BERT, ini mengembalikan token klasifikasi setelah diproses melalui lapisan linear dan fungsi aktivasi tanh. Bobot lapisan linear dilatih dari tujuan prediksi kalimat berikutnya (klasifikasi) selama pra-pelatihan.hidden_states (
tuple(torch.Tensor), opsional, dikembalikan saatoutput_hidden_states=Truedilewatkan atau saatconfig.output_hidden_states=True) — Tuple daritorch.Tensor(satu untuk output dari embeddings, jika model memiliki lapisan embedding, + satu untuk output dari setiap lapisan) dengan bentuk(batch_size, sequence_length, hidden_size).Hidden-states model pada output setiap layer ditambah output embedding awal yang opsional.
attentions (
tuple(torch.Tensor), opsional, dikembalikan saatoutput_attentions=Truedilewatkan atau saatconfig.output_attentions=True) — Tuple daritorch.Tensor(satu untuk setiap layer) dengan bentuk(batch_size, num_heads, sequence_length, sequence_length).Bobot perhatian setelah softmax perhatian, digunakan untuk menghitung rata-rata berbobot di kepala perhatian diri (self-attention).
Contoh:
>>> from PIL import Image
>>> from transformers import AutoProcessor, Qwen3OmniMoeThinkerForConditionalGeneration
>>> model = Qwen3OmniMoeThinkerForConditionalGeneration.from_pretrained("Qwen/Qwen3-Omni-30B-A3B-Instruct")
>>> processor = AutoProcessor.from_pretrained("Qwen/Qwen3-Omni-30B-A3B-Instruct")
>>> messages = [
... {
... "role": "user", "content": [
... {"type": "image", "url": "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/pipeline-cat-chonk.jpeg"},
... {"type": "text", "text": "Where is the cat standing?"},
... ]
... },
... ]
>>> inputs = processor.apply_chat_template(
... messages,
... tokenize=True,
... return_dict=True,
... return_tensors="pt",
... add_generation_prompt=True
... )
>>> # Generate
>>> generate_ids = model.generate(**inputs)
>>> processor.batch_decode(generate_ids, skip_special_tokens=True)[0]get_image_features
< source >( pixel_values: Tensorimage_grid_thw: typing.Optional[torch.LongTensor] = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → BaseModelOutputWithDeepstackFeatures or tuple(torch.Tensor)
Parameter
- pixel_values (
torch.Tensordengan bentuk(batch_size, num_channels, image_size, image_size)) — Tensor yang sesuai dengan gambar input. - image_grid_thw (
torch.LongTensordengan bentuk(num_images, 3), opsional) — Dimensi temporal, tinggi, dan lebar dari bentuk fitur setiap gambar dalam LLM.
Mengembalikan
BaseModelOutputWithDeepstackFeatures atau tuple(torch.Tensor)
BaseModelOutputWithDeepstackFeatures atau tuple dari
torch.Tensor (jika return_dict=False diteruskan atau ketika config.return_dict=False) yang terdiri dari berbagai
elemen tergantung pada konfigurasi (Qwen3OmniMoeConfig) dan input.
last_hidden_state (
torch.Tensordengan bentuk(batch_size, sequence_length, hidden_size)) — Urutan hidden-states pada keluaran lapisan terakhir model.pooler_output (
torch.Tensordengan bentuk(batch_size, hidden_size)) — Hidden-state lapisan terakhir dari token pertama dalam urutan (token klasifikasi) setelah diproses lebih lanjut melalui lapisan yang digunakan untuk tugas pra-pelatihan tambahan. Misalnya, untuk keluarga model BERT, ini mengembalikan token klasifikasi setelah diproses melalui lapisan linear dan fungsi aktivasi tanh. Bobot lapisan linear dilatih dari tujuan prediksi kalimat berikutnya (klasifikasi) selama pra-pelatihan.hidden_states (
tuple(torch.Tensor), opsional, dikembalikan saatoutput_hidden_states=Truedilewatkan atau saatconfig.output_hidden_states=True) — Tuple daritorch.Tensor(satu untuk output dari embeddings, jika model memiliki lapisan embedding, + satu untuk output dari setiap lapisan) dengan bentuk(batch_size, sequence_length, hidden_size).Hidden-states model pada output setiap layer ditambah output embedding awal yang opsional.
attentions (
tuple(torch.Tensor), opsional, dikembalikan saatoutput_attentions=Truedilewatkan atau saatconfig.output_attentions=True) — Tuple daritorch.Tensor(satu untuk setiap layer) dengan bentuk(batch_size, num_heads, sequence_length, sequence_length).Bobot perhatian setelah softmax perhatian, digunakan untuk menghitung rata-rata berbobot di kepala perhatian diri (self-attention).
deepstack_features (
List[torch.Tensor], opsional) — Daftar hidden-states (feature maps) dari lapisan deepstack.
Contoh:
>>> from PIL import Image
>>> from transformers import AutoProcessor, Qwen3OmniMoeThinkerForConditionalGeneration
>>> model = Qwen3OmniMoeThinkerForConditionalGeneration.from_pretrained("Qwen/Qwen3-Omni-30B-A3B-Instruct")
>>> processor = AutoProcessor.from_pretrained("Qwen/Qwen3-Omni-30B-A3B-Instruct")
>>> messages = [
... {
... "role": "user", "content": [
... {"type": "image", "url": "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/pipeline-cat-chonk.jpeg"},
... {"type": "text", "text": "Where is the cat standing?"},
... ]
... },
... ]
>>> inputs = processor.apply_chat_template(
... messages,
... tokenize=True,
... return_dict=True,
... return_tensors="pt",
... add_generation_prompt=True
... )
>>> # Generate
>>> generate_ids = model.generate(**inputs)
>>> processor.batch_decode(generate_ids, skip_special_tokens=True)[0]get_video_features
< source >( pixel_values_videos: Tensorvideo_grid_thw: typing.Optional[torch.LongTensor] = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → BaseModelOutputWithDeepstackFeatures or tuple(torch.Tensor)
Parameter
- pixel_values_videos (
torch.Tensordengan bentuk(batch_size, num_channels, image_size, image_size)) — Tensor yang sesuai dengan video input. - video_grid_thw (
torch.LongTensordengan bentuk(num_videos, 3), opsional) — Dimensi temporal, tinggi, dan lebar dari bentuk fitur setiap video dalam LLM.
Mengembalikan
BaseModelOutputWithDeepstackFeatures atau tuple(torch.Tensor)
BaseModelOutputWithDeepstackFeatures atau tuple dari
torch.Tensor (jika return_dict=False diteruskan atau ketika config.return_dict=False) yang terdiri dari berbagai
elemen tergantung pada konfigurasi (Qwen3OmniMoeConfig) dan input.
last_hidden_state (
torch.Tensordengan bentuk(batch_size, sequence_length, hidden_size)) — Urutan hidden-states pada keluaran lapisan terakhir model.pooler_output (
torch.Tensordengan bentuk(batch_size, hidden_size)) — Hidden-state lapisan terakhir dari token pertama dalam urutan (token klasifikasi) setelah diproses lebih lanjut melalui lapisan yang digunakan untuk tugas pra-pelatihan tambahan. Misalnya, untuk keluarga model BERT, ini mengembalikan token klasifikasi setelah diproses melalui lapisan linear dan fungsi aktivasi tanh. Bobot lapisan linear dilatih dari tujuan prediksi kalimat berikutnya (klasifikasi) selama pra-pelatihan.hidden_states (
tuple(torch.Tensor), opsional, dikembalikan saatoutput_hidden_states=Truedilewatkan atau saatconfig.output_hidden_states=True) — Tuple daritorch.Tensor(satu untuk output dari embeddings, jika model memiliki lapisan embedding, + satu untuk output dari setiap lapisan) dengan bentuk(batch_size, sequence_length, hidden_size).Hidden-states model pada output setiap layer ditambah output embedding awal yang opsional.
attentions (
tuple(torch.Tensor), opsional, dikembalikan saatoutput_attentions=Truedilewatkan atau saatconfig.output_attentions=True) — Tuple daritorch.Tensor(satu untuk setiap layer) dengan bentuk(batch_size, num_heads, sequence_length, sequence_length).Bobot perhatian setelah softmax perhatian, digunakan untuk menghitung rata-rata berbobot di kepala perhatian diri (self-attention).
deepstack_features (
List[torch.Tensor], opsional) — Daftar hidden-states (feature maps) dari lapisan deepstack.
Contoh:
>>> from PIL import Image
>>> from transformers import AutoProcessor, Qwen3OmniMoeThinkerForConditionalGeneration
>>> model = Qwen3OmniMoeThinkerForConditionalGeneration.from_pretrained("Qwen/Qwen3-Omni-30B-A3B-Instruct")
>>> processor = AutoProcessor.from_pretrained("Qwen/Qwen3-Omni-30B-A3B-Instruct")
>>> messages = [
... {
... "role": "user", "content": [
... {"type": "image", "url": "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/pipeline-cat-chonk.jpeg"},
... {"type": "text", "text": "Where is the cat standing?"},
... ]
... },
... ]
>>> inputs = processor.apply_chat_template(
... messages,
... tokenize=True,
... return_dict=True,
... return_tensors="pt",
... add_generation_prompt=True
... )
>>> # Generate
>>> generate_ids = model.generate(**inputs)
>>> processor.batch_decode(generate_ids, skip_special_tokens=True)[0]Qwen3OmniMoeTalkerForConditionalGeneration
kelas transformers.Qwen3OmniMoeTalkerForConditionalGeneration
< source >( config: Qwen3OmniMoeTalkerConfig )
Parameter
- config (Qwen3OmniMoeTalkerConfig) — Kelas konfigurasi model dengan semua parameter model. Inisialisasi dengan file konfigurasi tidak memuat bobot yang terkait dengan model, hanya konfigurasinya. Lihat metode from_pretrained() untuk memuat bobot model.
Model Qwen3 Omni Moe untuk generasi token yang dikondisikan pada modalitas lain (misalnya, generasi dari gambar-teks ke teks).
Model ini mewarisi dari PreTrainedModel. Periksa dokumentasi kelas induk untuk metode generik yang diimplementasikan oleh pustaka untuk semua model (seperti mengunduh atau menyimpan, mengubah ukuran embedding input, memangkas kepala, dll.)
Model ini juga merupakan subclass dari torch.nn.Module PyTorch. Gunakan sebagai PyTorch Module biasa dan merujuk ke dokumentasi PyTorch untuk semua hal yang berkaitan dengan penggunaan dan perilaku umum.
forward
< source >( input_ids = Noneattention_mask = Noneuse_audio_in_video = Noneaudio_feature_lengths = Nonevideo_second_per_grid = Noneimage_grid_thw = Nonevideo_grid_thw = Noneposition_ids = Nonepast_key_values = Noneinputs_embeds = Nonelabels = Noneuse_cache = Noneoutput_router_logits = Noneresidual_codes = Nonetrailing_text_hidden = Nonetts_pad_embed = Nonegeneration_step = Nonetalker_input_ids = None**kwargs ) → MoeCausalLMOutputWithPast or tuple(torch.Tensor)
Parameter
- input_ids (`
of shape(batch_size, sequence_length)`) — Indeks token dari urutan input dalam kosakata. Padding akan diabaikan secara default.Indeks dapat diperoleh menggunakan AutoTokenizer. Lihat PreTrainedTokenizer.encode() dan PreTrainedTokenizer.call() untuk detailnya.
- attention_mask (`
of shape(batch_size, sequence_length) -- Mask to avoid performing attention on padding token indices. Mask values selected in[0, 1]`:- 1 untuk token yang tidak dimasker,
- 0 untuk token yang dimasker.
- use_audio_in_video (
bool, opsional) — Jika diatur keTrue, gunakan audio dalam video. - audio_feature_lengths (
torch.LongTensordengan bentuk(num_audios), opsional) — Panjang bentuk fitur dari setiap audio dalam LLM. - video_second_per_grid (
torch.LongTensordengan bentuk(num_videos), opsional) — Jumlah detik per grid untuk setiap video, digunakan untuk pemetaan fitur temporal. - image_grid_thw (`
of shape(num_images, 3)`) — Dimensi temporal, tinggi, dan lebar dari bentuk fitur setiap gambar dalam LLM. - video_grid_thw (`
of shape(num_videos, 3)`) — Dimensi temporal, tinggi, dan lebar dari bentuk fitur setiap video dalam LLM. - position_ids (`
of shape(batch_size, sequence_length) -- Indices of positions of each input sequence tokens in the position embeddings. Selected in the range[0, config.n_positions - 1]`. - past_key_values (`
) -- Pre-computed hidden-states (key and values in the self-attention blocks and in the cross-attention blocks) that can be used to speed up sequential decoding. This typically consists in thepast_key_valuesreturned by the model at a previous stage of decoding, whenuse_cache=Trueorconfig.use_cache=True`.Hanya instance Cache yang diizinkan sebagai input, lihat panduan kv cache kami. Jika tidak ada
past_key_valuesyang diteruskan, DynamicCache akan diinisialisasi secara default.Model akan menghasilkan format cache yang sama dengan yang diberikan sebagai input.
Jika
past_key_valuesdigunakan, pengguna diharapkan hanya memasukkaninput_idsyang belum diproses (yang tidak memiliki state past key value yang diberikan ke model ini) dengan bentuk(batch_size, unprocessed_length)alih-alih semuainput_idsdengan bentuk(batch_size, sequence_length). - inputs_embeds (`
of shape(batch_size, sequence_length, hidden_size)) -- Optionally, instead of passinginput_idsyou can choose to directly pass an embedded representation. This is useful if you want more control over how to convertinput_ids` indices into associated vectors than the model’s internal embedding lookup matrix. - labels (`
of shape(batch_size, sequence_length)) -- Labels for computing the masked language modeling loss. Indices should either be in[0, …, config.vocab_size]or -100 (seeinput_idsdocstring). Tokens with indices set to-100are ignored (masked), the loss is only computed for the tokens with labels in[0, …, config.vocab_size]`. - use_cache (`
) -- If set toTrue,past_key_valueskey value states are returned and can be used to speed up decoding (seepast_key_values`). - output_router_logits (“) — Apakah logits dari semua router akan dikembalikan atau tidak. Logits ini berguna untuk menghitung kerugian router, dan tidak seharusnya dikembalikan selama inferensi.
- residual_codes (
torch.Tensor) — Kode residual yang diprediksi dari langkah sebelumnya. - trailing_text_hidden (
torch.Tensor) — State tersembunyi teks dari thinker setelah token pertama. - tts_pad_embed (
torch.Tensor) — Tensor embedding daritts_pad_token_id. - generation_step (
int) — Langkah generasi sejak prefill, digunakan untuk sinkronisasi dengantrailing_text_hidden. - talker_input_ids (
torch.Tensor) — Input ids dari thinker, digunakan untuk menghitung 3d RoPE.
Mengembalikan
MoeCausalLMOutputWithPast atau tuple(torch.Tensor)
MoeCausalLMOutputWithPast atau tuple dari
torch.Tensor (jika return_dict=False dilewatkan atau ketika config.return_dict=False) yang terdiri dari berbagai
elemen tergantung pada konfigurasi (Qwen3OmniMoeConfig) dan input.
Metode forward dari Qwen3OmniMoeTalkerForConditionalGeneration menimpa metode khusus __call__.
Meskipun resep untuk forward pass perlu didefinisikan di dalam fungsi ini, sebaiknya panggil instance
Modulesetelahnya alih-alih fungsi ini, karena yang pertama menangani langkah-langkah pra-pemrosesan dan pasca-pemrosesan, sedangkan yang kedua mengabaikannya secara diam-diam.
loss (
torch.Tensordengan bentuk(1,), opsional, dikembalikan saatlabelsdisediakan) — Loss pemodelan bahasa (untuk prediksi token berikutnya).logits (
torch.Tensordengan bentuk(batch_size, sequence_length, config.vocab_size)) — Skor prediksi dari kepala pemodelan bahasa (skor untuk setiap token kosakata sebelum SoftMax).aux_loss (
torch.Tensor, opsional, dikembalikan ketikaoutput_router_logits=Truedilewatkan atau ketikaconfig.output_router_logits=True, dan model melatih router-nya dengan loss penyeimbangan beban) — Loss bantu penyeimbangan beban untuk modul sparse. Model yang menyeimbangkan pakar mereka dengan bias router sebagai gantinya (DeepSeek-V3 dan arsitektur yang diturunkan darinya) mengembalikanNonedi sini sambil tetap mengembalikanrouter_logits.router_logits (
tuple(torch.Tensor), opsional, dikembalikan ketikaoutput_router_logits=Truediteruskan atau ketikaconfig.output_router_logits=True) — Tuple daritorch.Tensor(satu untuk setiap lapisan sparse) dengan bentuk(batch_size * sequence_length, num_experts).Logit router mentah yang dihitung oleh router MoE. Logit ini dapat digunakan untuk menghitung kerugian penyeimbangan beban (load-balancing loss) atau untuk memeriksa bagaimana token didistribusikan ke para ahli (experts).
past_key_values (
Cache, opsional, dikembalikan saatuse_cache=Truedilewatkan atau saatconfig.use_cache=True) — Ini adalah instance Cache. Untuk detail lebih lanjut, lihat panduan kv cache kami.Berisi hidden-states yang telah dihitung sebelumnya (key dan values di blok self-attention) yang dapat digunakan (lihat input
past_key_values) untuk mempercepat decoding berurutan.hidden_states (
tuple(torch.Tensor), opsional, dikembalikan saatoutput_hidden_states=Truedilewatkan atau saatconfig.output_hidden_states=True) — Tuple daritorch.Tensor(satu untuk output dari embeddings, jika model memiliki lapisan embedding, + satu untuk output dari setiap lapisan) dengan bentuk(batch_size, sequence_length, hidden_size).Hidden-states model pada output setiap layer ditambah output embedding awal yang opsional.
attentions (
tuple(torch.Tensor), opsional, dikembalikan saatoutput_attentions=Truedilewatkan atau saatconfig.output_attentions=True) — Tuple daritorch.Tensor(satu untuk setiap layer) dengan bentuk(batch_size, num_heads, sequence_length, sequence_length).Bobot perhatian setelah softmax perhatian, digunakan untuk menghitung rata-rata berbobot di kepala perhatian diri (self-attention).
Qwen3OmniMoePreTrainedModel
kelas transformers.Qwen3OmniMoePreTrainedModel
< source >( config: PreTrainedConfig*inputs**kwargs )
Parameter
- config (PreTrainedConfig) — Kelas konfigurasi model dengan semua parameter model. Inisialisasi dengan file konfigurasi tidak memuat bobot yang terkait dengan model, hanya konfigurasinya. Lihat metode from_pretrained() untuk memuat bobot model.
Model ini mewarisi dari PreTrainedModel. Periksa dokumentasi kelas induk untuk metode generik yang diimplementasikan oleh pustaka untuk semua model (seperti mengunduh atau menyimpan, mengubah ukuran embedding input, memangkas kepala, dll.)
Model ini juga merupakan subclass dari torch.nn.Module PyTorch. Gunakan sebagai PyTorch Module biasa dan merujuk ke dokumentasi PyTorch untuk semua hal yang berkaitan dengan penggunaan dan perilaku umum.
Qwen3OmniMoePreTrainedModelForConditionalGeneration
kelas transformers.Qwen3OmniMoePreTrainedModelForConditionalGeneration
< source >( config: PreTrainedConfig*inputs**kwargs )
get_chunked_index
< source >( token_indices: Tensortokens_per_chunk: intremove_index: int ) → list[tuple[int, int]]
Parameter
- token_indices (
torch.Tensordengan bentuk(seq_len, )) — Daftar nilai indeks token yang meningkat secara monoton. - t_ntoken_per_chunk (
int) — Jumlah token per chunk (digunakan sebagai ambang batas ukuran chunk). - remove_index (
int) id indeks yang akan dikurangkan daritoken_indicessebelum chunking —
Mengembalikan
list[tuple[int, int]]
Daftar tuple, di mana masing-masing merepresentasikan indeks awal (inklusif) dan akhir (eksklusif) dari sebuah chunk di token_indices.
Membagi daftar indeks token menjadi beberapa bagian berdasarkan rentang nilai token.
Diberikan sebuah daftar indeks token, mengembalikan daftar tuple indeks (start, end) yang merepresentasikan potongan dari daftar tersebut di mana nilai token berada dalam rentang berturut-turut dari t_ntoken_per_chunk.
Sebagai contoh, jika t_ntoken_per_chunk adalah 1000, fungsi tersebut akan membuat chunk sedemikian rupa sehingga:
- chunk pertama berisi nilai token < 1000,
- chunk kedua berisi nilai >= 1000 dan < 2000, dan seterusnya.
get_rope_index
< source >( input_ids: typing.Optional[torch.LongTensor] = Noneimage_grid_thw: typing.Optional[torch.LongTensor] = Nonevideo_grid_thw: typing.Optional[torch.LongTensor] = Noneattention_mask: typing.Optional[torch.Tensor] = Noneuse_audio_in_video: bool = Falseaudio_seqlens: typing.Optional[torch.LongTensor] = Nonesecond_per_grids: typing.Optional[torch.Tensor] = None )
Parameter
- input_ids (
torch.LongTensordengan bentuk(batch_size, sequence_length)) — Indeks token dari urutan input dalam kosakata. Padding akan diabaikan secara default jika Anda menyediakannya. - image_grid_thw (
torch.LongTensordengan bentuk(num_images, 3), opsional) — Dimensi temporal, tinggi, dan lebar dari bentuk fitur setiap gambar dalam LLM. - video_grid_thw (
torch.LongTensordengan bentuk(num_videos, 3), opsional) — Dimensi temporal, tinggi, dan lebar dari bentuk fitur setiap video dalam LLM. - attention_mask (
torch.Tensordengan bentuk(batch_size, sequence_length), opsional) — Mask untuk menghindari eksekusi attention pada indeks token padding. Nilai mask dipilih dari[0, 1]:- 1 untuk token yang tidak dimasker,
- 0 untuk token yang dimasker.
- use_audio_in_video (
bool, opsional) — Jika diatur keTrue, gunakan audio dalam video. - audio_seqlens (
torch.LongTensordengan bentuk(num_audios), opsional) — Panjang bentuk fitur dari setiap audio dalam LLM. - second_per_grids (
torch.LongTensordengan bentuk(num_videos), opsional) — Interval waktu (dalam detik) untuk setiap grid sepanjang dimensi temporal pada ID posisi 3D.
Hitung indeks rope 3D berdasarkan dimensi temporal, tinggi, dan lebar gambar serta video di LLM.
Penjelasan: Setiap urutan embedding berisi embedding visual dan embedding teks, atau hanya berisi embedding teks.
Untuk sekuens embedding teks murni, rotary position embedding tidak memiliki perbedaan dengan LLM modern. Contoh: input_ids: [T T T T T], di sini T adalah untuk teks. temporal position_ids: [0, 1, 2, 3, 4] height position_ids: [0, 1, 2, 3, 4] width position_ids: [0, 1, 2, 3, 4]
Untuk urutan embedding visual dan teks, kami menghitung 3D rotary position embedding untuk bagian visual dan 1D rotary position embedding untuk bagian teks. Contoh: Temporal (Waktu): 3 patch, mewakili segmen video yang berbeda dalam dimensi waktu. Height: 2 patch, membagi setiap frame secara vertikal. Width: 2 patch, membagi setiap frame secara horizontal. Kami juga memiliki beberapa parameter penting: fps (Frames Per Second): Laju frame video, diatur ke 1. Ini berarti satu frame diproses setiap detik. tokens_per_second: Ini adalah parameter yang krusial. Parameter ini menentukan berapa banyak “time-steps” atau “temporal tokens” yang secara konseptual dikemas ke dalam interval satu detik video. Dalam kasus ini, kami memiliki 25 token per detik. Jadi, setiap detik video akan direpresentasikan dengan 25 titik waktu terpisah. Pada dasarnya, parameter ini mendefinisikan granularitas temporal. temporal_patch_size: Jumlah frame yang membentuk satu temporal patch. Di sini, nilainya 2 frame. interval: Ukuran langkah untuk temporal position IDs, dihitung sebagai tokens_per_second temporal_patch_size / fps. Dalam kasus ini, 25 2 / 1 = 50. Ini berarti setiap temporal patch akan memiliki selisih 50 pada temporal position IDs. input_ids: [V V V V V V V V V V V V T T T T T], di mana V adalah untuk visual. vision temporal position_ids: [0, 0, 0, 0, 50, 50, 50, 50, 100, 100, 100, 100] vision height position_ids: [0, 0, 1, 1, 0, 0, 1, 1, 0, 0, 1, 1] vision width position_ids: [0, 1, 0, 1, 0, 1, 0, 1, 0, 1, 0, 1] text temporal position_ids: [101, 102, 103, 104, 105] text height position_ids: [101, 102, 103, 104, 105] text width position_ids: [101, 102, 103, 104, 105] Di sini, kami menghitung text start position_ids sebagai nilai maksimum dari vision position_ids ditambah 1.
Qwen3OmniMoeTalkerModel
kelas transformers.Qwen3OmniMoeTalkerModel
< source >( config: Qwen3OmniMoeTalkerTextConfig )
Parameter
- config (Qwen3OmniMoeTalkerTextConfig) — Kelas konfigurasi model dengan semua parameter model. Inisialisasi dengan file konfigurasi tidak memuat bobot yang terkait dengan model, hanya konfigurasinya saja. Lihat metode from_pretrained() untuk memuat bobot model.
Bagian teks dari Qwen3OmniMoe, bukan model teks murni, karena DeepStack mengintegrasikan fitur visual ke dalam hidden states awal.
Model ini mewarisi dari PreTrainedModel. Periksa dokumentasi kelas induk untuk metode generik yang diimplementasikan oleh pustaka untuk semua model (seperti mengunduh atau menyimpan, mengubah ukuran embedding input, memangkas kepala, dll.)
Model ini juga merupakan subclass dari torch.nn.Module PyTorch. Gunakan sebagai PyTorch Module biasa dan merujuk ke dokumentasi PyTorch untuk semua hal yang berkaitan dengan penggunaan dan perilaku umum.
forward
< source >( input_ids: typing.Optional[torch.LongTensor] = Noneattention_mask: typing.Optional[torch.Tensor] = Noneposition_ids: typing.Optional[torch.LongTensor] = Nonepast_key_values: transformers.cache_utils.Cache | None = Noneinputs_embeds: typing.Optional[torch.Tensor] = Noneuse_cache: bool | None = Nonevisual_pos_masks: typing.Optional[torch.Tensor] = Nonedeepstack_visual_embeds: list[torch.Tensor] | None = None**kwargs: *<class 'transformers.modeling_flash_attention_utils.FlashAttentionKwargs'> ) → MoeModelOutputWithPast or tuple(torch.Tensor)
Parameter
- input_ids (
torch.LongTensordengan bentuk(batch_size, sequence_length), opsional) — Indeks token dari urutan input dalam kosakata. Padding akan diabaikan secara default.Indeks dapat diperoleh menggunakan AutoTokenizer. Lihat PreTrainedTokenizer.encode() dan PreTrainedTokenizer.call() untuk detailnya.
- attention_mask (
torch.Tensordengan bentuk(batch_size, sequence_length), opsional) — Mask untuk menghindari eksekusi attention pada indeks token padding. Nilai mask dipilih dari[0, 1]:- 1 untuk token yang tidak dimasker,
- 0 untuk token yang dimasker.
- position_ids (
torch.LongTensordengan bentuk(batch_size, sequence_length), opsional) — Indeks posisi token dari setiap urutan input dalam position embeddings. Dipilih dalam rentang[0, config.n_positions - 1]. - past_key_values (
~cache_utils.Cache, opsional) — Hidden-states yang sudah dihitung sebelumnya (key dan values di blok self-attention dan di blok cross-attention) yang dapat digunakan untuk mempercepat decoding berurutan. Ini biasanya terdiri daripast_key_valuesyang dikembalikan oleh model pada tahap decoding sebelumnya, ketikause_cache=Trueatauconfig.use_cache=True.Hanya instance Cache yang diizinkan sebagai input, lihat panduan kv cache kami. Jika tidak ada
past_key_valuesyang diteruskan, DynamicCache akan diinisialisasi secara default.Model akan menghasilkan format cache yang sama dengan yang diberikan sebagai input.
Jika
past_key_valuesdigunakan, pengguna diharapkan hanya memasukkaninput_idsyang belum diproses (yang tidak memiliki state past key value yang diberikan ke model ini) dengan bentuk(batch_size, unprocessed_length)alih-alih semuainput_idsdengan bentuk(batch_size, sequence_length). - inputs_embeds (
torch.Tensordengan bentuk(batch_size, sequence_length, hidden_size), opsional) — Secara opsional, alih-alih meneruskaninput_ids, Anda dapat memilih untuk langsung meneruskan representasi tertanam. Hal ini berguna jika Anda ingin memiliki kendali lebih atas cara mengonversi indeksinput_idsmenjadi vektor terkait, dibandingkan dengan matriks pencarian penanaman internal model. - use_cache (
bool, opsional) — Jika diset keTrue, state kunci-nilaipast_key_valuesakan dikembalikan dan dapat digunakan untuk mempercepat decoding (lihatpast_key_values). - visual_pos_masks (
torch.Tensordengan bentuk(batch_size, seqlen), opsional) — Mask untuk posisi visual. - deepstack_visual_embeds (
list[torch.Tensor], opsional) — Embedding visual deepstack. Bentuknya adalah (num_layers, visual_seqlen, embed_dim). Fitur ini diekstrak dari lapisan encoder visual yang berbeda, dan diberikan ke hidden states decoder. Fitur ini berasal dari paper DeepStack(https://arxiv.org/abs/2406.04334).
Mengembalikan
MoeModelOutputWithPast atau tuple(torch.Tensor)
MoeModelOutputWithPast atau tuple dari
torch.Tensor (jika return_dict=False diteruskan atau ketika config.return_dict=False) yang terdiri dari berbagai
elemen tergantung pada konfigurasi (Qwen3OmniMoeConfig) dan input.
Metode forward dari Qwen3OmniMoeTalkerModel menimpa metode khusus __call__.
Meskipun resep untuk forward pass perlu didefinisikan di dalam fungsi ini, sebaiknya panggil instance
Modulesetelahnya alih-alih fungsi ini, karena yang pertama menangani langkah-langkah pra-pemrosesan dan pasca-pemrosesan, sedangkan yang kedua mengabaikannya secara diam-diam.
last_hidden_state (
torch.Tensordengan bentuk(batch_size, sequence_length, hidden_size)) — Urutan hidden-states pada keluaran lapisan terakhir model.past_key_values (
Cache, opsional, dikembalikan saatuse_cache=Truedilewatkan atau saatconfig.use_cache=True) — Ini adalah instance Cache. Untuk detail lebih lanjut, lihat panduan kv cache kami.Berisi hidden-states yang telah dihitung sebelumnya (key dan values di blok self-attention, dan secara opsional jika
config.is_encoder_decoder=Truedi blok cross-attention) yang dapat digunakan (lihat inputpast_key_values) untuk mempercepat decoding berurutan.hidden_states (
tuple(torch.Tensor), opsional, dikembalikan saatoutput_hidden_states=Truedilewatkan atau saatconfig.output_hidden_states=True) — Tuple daritorch.Tensor(satu untuk output dari embeddings, jika model memiliki lapisan embedding, + satu untuk output dari setiap lapisan) dengan bentuk(batch_size, sequence_length, hidden_size).Hidden-states model pada output setiap layer ditambah output embedding awal yang opsional.
attentions (
tuple(torch.Tensor), opsional, dikembalikan saatoutput_attentions=Truedilewatkan atau saatconfig.output_attentions=True) — Tuple daritorch.Tensor(satu untuk setiap layer) dengan bentuk(batch_size, num_heads, sequence_length, sequence_length).Bobot perhatian setelah softmax perhatian, digunakan untuk menghitung rata-rata berbobot di kepala perhatian diri (self-attention).
router_logits (
tuple(torch.Tensor), opsional, dikembalikan ketikaoutput_router_probs=Truedanconfig.add_router_probs=Truediteruskan atau ketikaconfig.output_router_probs=True) — Tuple daritorch.Tensor(satu untuk setiap layer) dengan bentuk(batch_size, sequence_length, num_experts).Logit router mentah (setelah softmax) yang dihitung oleh router MoE; istilah-istilah ini digunakan untuk menghitung auxiliary loss pada model Mixture of Experts.
Qwen3OmniMoeThinkerTextPreTrainedModel
kelas transformers.Qwen3OmniMoeThinkerTextPreTrainedModel
< source >( config: PreTrainedConfig*inputs**kwargs )
Parameter
- config (PreTrainedConfig) — Kelas konfigurasi model dengan semua parameter model. Inisialisasi dengan file konfigurasi tidak memuat bobot yang terkait dengan model, hanya konfigurasinya. Lihat metode from_pretrained() untuk memuat bobot model.
Model ini mewarisi dari PreTrainedModel. Periksa dokumentasi kelas induk untuk metode generik yang diimplementasikan oleh pustaka untuk semua model (seperti mengunduh atau menyimpan, mengubah ukuran embedding input, memangkas kepala, dll.)
Model ini juga merupakan subclass dari torch.nn.Module PyTorch. Gunakan sebagai PyTorch Module biasa dan merujuk ke dokumentasi PyTorch untuk semua hal yang berkaitan dengan penggunaan dan perilaku umum.
Qwen3OmniMoeProcessor
kelas transformers.Qwen3OmniMoeProcessor
< source >( image_processor = Nonevideo_processor = Nonefeature_extractor = Nonetokenizer = Nonechat_template = None )
Parameter
- image_processor (
Qwen2VLImageProcessor) — Prosesor gambar adalah input yang wajib. - video_processor (
Qwen2VLVideoProcessor) — Pemroses video adalah input yang wajib. - feature_extractor (
WhisperFeatureExtractor) — Feature extractor adalah input yang wajib. - tokenizer (
Qwen2Tokenizer) — Tokenizer adalah input yang wajib. - chat_template (
str) — Template Jinja untuk mengubah daftar pesan dalam chat menjadi string yang dapat ditokenisasi.
Membangun Qwen3OmniMoeProcessor yang membungkus image processor, video processor, feature extractor, dan tokenizer menjadi satu processor.
Qwen3OmniMoeProcessor menyediakan semua fungsionalitas dari Qwen2VLImageProcessor, Qwen2VLVideoProcessor, WhisperFeatureExtractor, dan Qwen2Tokenizer. Lihat ~Qwen2VLImageProcessor, ~Qwen2VLVideoProcessor, ~WhisperFeatureExtractor, dan ~Qwen2Tokenizer untuk informasi lebih lanjut.
__call__
< source >( text: str = Noneimages: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor'], NoneType] = Nonevideos: typing.Union[list['PIL.Image.Image'], numpy.ndarray, ForwardRef('torch.Tensor'), list[numpy.ndarray], list['torch.Tensor'], list[list['PIL.Image.Image']], list[list[numpy.ndarray]], list[list['torch.Tensor']], transformers.video_utils.URL, list[transformers.video_utils.URL], list[list[transformers.video_utils.URL]], transformers.video_utils.Path, list[transformers.video_utils.Path], list[list[transformers.video_utils.Path]], NoneType] = Noneaudio: typing.Union[numpy.ndarray, ForwardRef('torch.Tensor'), collections.abc.Sequence[numpy.ndarray], collections.abc.Sequence['torch.Tensor'], NoneType] = None**kwargs: *<class 'transformers.models.qwen3_omni_moe.processing_qwen3_omni_moe.Qwen3OmniMoeProcessorKwargs'> ) → ~feature_extraction_utils.BatchFeature
Parameter
- text (
str, opsional) — Urutan atau batch dari urutan yang akan dienkod. Setiap urutan dapat berupa string atau daftar string (string yang sudah dipretokenisasi). Jika Anda memasukkan input yang sudah dipretokenisasi, setelis_split_into_words=Trueuntuk menghindari ambiguitas dengan input yang di-batch. - images (
Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, list[PIL.Image.Image], list[numpy.ndarray], list[torch.Tensor]], opsional) — Gambar yang akan dipreprocess. Mengharapkan satu gambar atau batch gambar dengan nilai piksel berkisar dari 0 hingga 255. Jika mengirimkan gambar dengan nilai piksel antara 0 dan 1, aturdo_rescale=False. - videos (
Union[list[PIL.Image.Image], numpy.ndarray, torch.Tensor, list[numpy.ndarray], list[torch.Tensor], list[list[PIL.Image.Image]], list[list[numpy.ndarray]], list[list[torch.Tensor]], ~video_utils.URL, list[~video_utils.URL], list[list[~video_utils.URL]], ~video_utils.Path, list[~video_utils.Path], list[list[~video_utils.Path]]], opsional) — Video yang akan dipreprocess. Mengharapkan satu video atau batch video dengan nilai piksel berkisar dari 0 hingga 255. Jika mengirimkan video dengan nilai piksel antara 0 dan 1, aturdo_rescale=False. - audio (
Union[numpy.ndarray, torch.Tensor, collections.abc.Sequence[numpy.ndarray], collections.abc.Sequence[torch.Tensor]], opsional) — Audio atau batch audio yang akan disiapkan. Setiap audio dapat berupa array NumPy atau tensor PyTorch. Jika berupa array NumPy/tensor PyTorch, setiap audio harus memiliki bentuk (C, T), di mana C adalah jumlah channel, dan T adalah panjang sampel dari audio tersebut. - min_pixels (
int, kwargs, opsional) — Jumlah minimum piksel (tinggi × lebar) untuk bingkai video setelah di-resize. Bingkai yang lebih kecil dari ambang batas ini akan di-upscale untuk memenuhi persyaratan minimum. - max_pixels (
int, kwargs, opsional) — Jumlah piksel maksimum (tinggi × lebar) untuk bingkai video setelah di-resize. Bingkai yang lebih besar dari ambang batas ini akan dikecilkan agar sesuai dengan batas tersebut. - patch_size (
int, kwargs, opsional) — Ukuran patch spasial yang digunakan oleh vision encoder. Bingkai video dibagi menjadi patch berukuran ini pada dimensi tinggi dan lebar. - temporal_patch_size (
int, kwargs, opsional) — Ukuran patch temporal yang digunakan oleh vision encoder. Ini menentukan berapa banyak frame berurutan yang dikelompokkan menjadi satu patch temporal. - merge_size (
int, kwargs, opsional) — Ukuran merge yang digunakan untuk menggabungkan patch spasial. Beberapa patch digabungkan untuk mengurangi panjang sekuens sambil mempertahankan informasi spasial. - min_frames (
int, kwargs, opsional) — Jumlah minimum frame yang akan diekstrak dari video. Video dengan jumlah frame yang lebih sedikit akan di-*padding* atau diulang untuk memenuhi persyaratan ini. - max_frames (
int, kwargs, opsional) — Jumlah maksimum frame yang akan diekstrak dari video. Video yang lebih panjang akan dipangkas atau disampel agar sesuai dengan batas ini. - use_audio_in_video (
bool, kwargs, opsional, defaultFalse) — Argumen yang sudah tidak digunakan - gunakanload_audio_from_videosebagai gantinya. - load_audio_from_video (
bool, kwargs, opsional, defaultFalse) — Apakah akan mengintegrasikan informasi audio saat memproses video. Jika diaktifkan, token audio akan disisipkan secara bergantian dengan token video berdasarkan keselarasan temporal, sehingga membentuk representasi multimodal yang terpadu. - seconds_per_chunk (
float, kwargs, opsional, default2.0) — Durasi (dalam detik) setiap chunk video saat membagi video panjang. Parameter ini mengontrol bagaimana video dibagi menjadi segmen temporal untuk diproses. - position_id_per_seconds (
int, kwargs orfloat, optional, defaults to25) — The number of position IDs allocated per second of video. This parameter controls the temporal resolution of position embeddings and is used to align video tokens with audio tokens whenuse_audio_in_video=True. - return_tensors (
stratau TensorType, opsional) — Jika diset, akan mengembalikan tensor dari framework tertentu. Nilai yang dapat diterima adalah:'pt': Mengembalikan objek PyTorchtorch.Tensor.'np': Mengembalikan objek NumPynp.ndarray.
- **kwargs (ProcessingKwargs, opsional) — Opsi pemrosesan tambahan untuk setiap modalitas (teks, gambar, video, audio). Parameter spesifik model tercantum di atas; lihat kelas TypedDict untuk daftar lengkap argumen yang didukung.
Mengembalikan
~feature_extraction_utils.BatchFeature
- data (
dict, opsional) — Kamus berisi daftar/array/tensor yang dikembalikan oleh metode call/pad (‘input_values’, ‘attention_mask’, dst.). - tensor_type (
Union[None, str, TensorType], opsional) — Anda dapat memberikan tensor_type di sini untuk mengonversi daftar bilangan bulat menjadi Tensor PyTorch/Numpy saat inisialisasi. - skip_tensor_conversion (
list[str]atauset[str], opsional) — Daftar atau himpunan kunci yang TIDAK boleh dikonversi menjadi tensor, bahkan ketikatensor_typeditentukan.
Qwen3OmniMoeCode2Wav
Qwen3OmniMoeCode2WavDecoderBlock
kelas transformers.Qwen3OmniMoeCode2WavDecoderBlock
< source >( config: Qwen3OmniMoeCode2WavConfiglayer_idx )
Qwen3OmniMoeCode2WavTransformerModel
kelas transformers.Qwen3OmniMoeCode2WavTransformerModel
< source >( config: Qwen3OmniMoeCode2WavConfig )
Parameter
- config (
Qwen3OmniMoeCode2WavConfig) — Kelas konfigurasi model dengan semua parameter model. Inisialisasi dengan file konfigurasi tidak memuat bobot yang terkait dengan model, hanya konfigurasinya. Lihat metode from_pretrained() untuk memuat bobot model.
Model Qwen3 Omni Moe polos yang menghasilkan hidden-states mentah tanpa head spesifik di atasnya.
Model ini mewarisi dari PreTrainedModel. Periksa dokumentasi kelas induk untuk metode generik yang diimplementasikan oleh pustaka untuk semua model (seperti mengunduh atau menyimpan, mengubah ukuran embedding input, memangkas kepala, dll.)
Model ini juga merupakan subclass dari torch.nn.Module PyTorch. Gunakan sebagai PyTorch Module biasa dan merujuk ke dokumentasi PyTorch untuk semua hal yang berkaitan dengan penggunaan dan perilaku umum.
forward
< source >( input_ids = Noneattention_mask = Noneposition_ids = Nonepast_key_values = Noneinputs_embeds = Noneuse_cache = None**kwargs ) → BaseModelOutputWithPast or tuple(torch.Tensor)
Parameter
- input_ids (`
of shape(batch_size, sequence_length)`) — Indeks token dari urutan input dalam kosakata. Padding akan diabaikan secara default.Indeks dapat diperoleh menggunakan AutoTokenizer. Lihat PreTrainedTokenizer.encode() dan PreTrainedTokenizer.call() untuk detailnya.
- attention_mask (`
of shape(batch_size, sequence_length) -- Mask to avoid performing attention on padding token indices. Mask values selected in[0, 1]`:- 1 untuk token yang tidak dimasker,
- 0 untuk token yang dimasker.
- position_ids (`
of shape(batch_size, sequence_length) -- Indices of positions of each input sequence tokens in the position embeddings. Selected in the range[0, config.n_positions - 1]`. - past_key_values (`
) -- Pre-computed hidden-states (key and values in the self-attention blocks and in the cross-attention blocks) that can be used to speed up sequential decoding. This typically consists in thepast_key_valuesreturned by the model at a previous stage of decoding, whenuse_cache=Trueorconfig.use_cache=True`.Hanya instance Cache yang diizinkan sebagai input, lihat panduan kv cache kami. Jika tidak ada
past_key_valuesyang diteruskan, DynamicCache akan diinisialisasi secara default.Model akan menghasilkan format cache yang sama dengan yang diberikan sebagai input.
Jika
past_key_valuesdigunakan, pengguna diharapkan hanya memasukkaninput_idsyang belum diproses (yang tidak memiliki state past key value yang diberikan ke model ini) dengan bentuk(batch_size, unprocessed_length)alih-alih semuainput_idsdengan bentuk(batch_size, sequence_length). - inputs_embeds (`
of shape(batch_size, sequence_length, hidden_size)) -- Optionally, instead of passinginput_idsyou can choose to directly pass an embedded representation. This is useful if you want more control over how to convertinput_ids` indices into associated vectors than the model’s internal embedding lookup matrix. - use_cache (`
) -- If set toTrue,past_key_valueskey value states are returned and can be used to speed up decoding (seepast_key_values`).
Mengembalikan
BaseModelOutputWithPast atau tuple(torch.Tensor)
A BaseModelOutputWithPast atau tuple dari
torch.Tensor (jika return_dict=False dilewatkan atau ketika config.return_dict=False) yang terdiri dari berbagai
elemen tergantung pada konfigurasi (Qwen3OmniMoeConfig) dan input.
Metode forward dari Qwen3OmniMoeCode2WavTransformerModel menimpa metode khusus __call__.
Meskipun resep untuk forward pass perlu didefinisikan di dalam fungsi ini, sebaiknya panggil instance
Modulesetelahnya alih-alih fungsi ini, karena yang pertama menangani langkah-langkah pra-pemrosesan dan pasca-pemrosesan, sedangkan yang kedua mengabaikannya secara diam-diam.
last_hidden_state (
torch.Tensordengan bentuk(batch_size, sequence_length, hidden_size)) — Urutan hidden-states pada keluaran lapisan terakhir model.Jika
past_key_valuesdigunakan, hanya hidden-state terakhir dari sekuens dengan bentuk(batch_size, 1, hidden_size)yang dioutput.past_key_values (
Cache, opsional, dikembalikan saatuse_cache=Truedilewatkan atau saatconfig.use_cache=True) — Ini adalah instance Cache. Untuk detail lebih lanjut, lihat panduan kv cache kami.Berisi hidden-states yang telah dihitung sebelumnya (key dan values di blok self-attention, dan secara opsional jika
config.is_encoder_decoder=Truedi blok cross-attention) yang dapat digunakan (lihat inputpast_key_values) untuk mempercepat decoding berurutan.hidden_states (
tuple(torch.Tensor), opsional, dikembalikan saatoutput_hidden_states=Truedilewatkan atau saatconfig.output_hidden_states=True) — Tuple daritorch.Tensor(satu untuk output dari embeddings, jika model memiliki lapisan embedding, + satu untuk output dari setiap lapisan) dengan bentuk(batch_size, sequence_length, hidden_size).Hidden-states model pada output setiap layer ditambah output embedding awal yang opsional.
attentions (
tuple(torch.Tensor), opsional, dikembalikan saatoutput_attentions=Truedilewatkan atau saatconfig.output_attentions=True) — Tuple daritorch.Tensor(satu untuk setiap layer) dengan bentuk(batch_size, num_heads, sequence_length, sequence_length).Bobot perhatian setelah softmax perhatian, digunakan untuk menghitung rata-rata berbobot di kepala perhatian diri (self-attention).
Qwen3OmniMoeTalkerCodePredictorModel
kelas transformers.Qwen3OmniMoeTalkerCodePredictorModel
< source >( config: Qwen3OmniMoeTalkerCodePredictorConfig )
Parameter
- config (Qwen3OmniMoeTalkerCodePredictorConfig) — Kelas konfigurasi model dengan semua parameter model. Inisialisasi dengan file konfigurasi tidak memuat bobot yang terkait dengan model, hanya konfigurasinya. Lihat metode from_pretrained() untuk memuat bobot model.
Model Qwen3 Omni Moe polos yang menghasilkan hidden-states mentah tanpa head spesifik di atasnya.
Model ini mewarisi dari PreTrainedModel. Periksa dokumentasi kelas induk untuk metode generik yang diimplementasikan oleh pustaka untuk semua model (seperti mengunduh atau menyimpan, mengubah ukuran embedding input, memangkas kepala, dll.)
Model ini juga merupakan subclass dari torch.nn.Module PyTorch. Gunakan sebagai PyTorch Module biasa dan merujuk ke dokumentasi PyTorch untuk semua hal yang berkaitan dengan penggunaan dan perilaku umum.
forward
< source >( input_ids: typing.Optional[torch.LongTensor] = Noneattention_mask: typing.Optional[torch.Tensor] = Noneposition_ids: typing.Optional[torch.LongTensor] = Nonepast_key_values: transformers.cache_utils.Cache | None = Noneinputs_embeds: typing.Optional[torch.Tensor] = Noneuse_cache: bool | None = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → BaseModelOutputWithPast or tuple(torch.Tensor)
Parameter
- input_ids (
torch.LongTensordengan bentuk(batch_size, sequence_length), opsional) — Indeks token dari urutan input dalam kosakata. Padding akan diabaikan secara default.Indeks dapat diperoleh menggunakan AutoTokenizer. Lihat PreTrainedTokenizer.encode() dan PreTrainedTokenizer.call() untuk detailnya.
- attention_mask (
torch.Tensordengan bentuk(batch_size, sequence_length), opsional) — Mask untuk menghindari eksekusi attention pada indeks token padding. Nilai mask dipilih dari[0, 1]:- 1 untuk token yang tidak dimasker,
- 0 untuk token yang dimasker.
- position_ids (
torch.LongTensordengan bentuk(batch_size, sequence_length), opsional) — Indeks posisi token dari setiap urutan input dalam position embeddings. Dipilih dalam rentang[0, config.n_positions - 1]. - past_key_values (
~cache_utils.Cache, opsional) — Hidden-states yang sudah dihitung sebelumnya (key dan values di blok self-attention dan di blok cross-attention) yang dapat digunakan untuk mempercepat decoding berurutan. Ini biasanya terdiri daripast_key_valuesyang dikembalikan oleh model pada tahap decoding sebelumnya, ketikause_cache=Trueatauconfig.use_cache=True.Hanya instance Cache yang diizinkan sebagai input, lihat panduan kv cache kami. Jika tidak ada
past_key_valuesyang diteruskan, DynamicCache akan diinisialisasi secara default.Model akan menghasilkan format cache yang sama dengan yang diberikan sebagai input.
Jika
past_key_valuesdigunakan, pengguna diharapkan hanya memasukkaninput_idsyang belum diproses (yang tidak memiliki state past key value yang diberikan ke model ini) dengan bentuk(batch_size, unprocessed_length)alih-alih semuainput_idsdengan bentuk(batch_size, sequence_length). - inputs_embeds (
torch.Tensordengan bentuk(batch_size, sequence_length, hidden_size), opsional) — Secara opsional, alih-alih meneruskaninput_ids, Anda dapat memilih untuk langsung meneruskan representasi tertanam. Hal ini berguna jika Anda ingin memiliki kendali lebih atas cara mengonversi indeksinput_idsmenjadi vektor terkait, dibandingkan dengan matriks pencarian penanaman internal model. - use_cache (
bool, opsional) — Jika diset keTrue, state kunci-nilaipast_key_valuesakan dikembalikan dan dapat digunakan untuk mempercepat decoding (lihatpast_key_values).
Mengembalikan
BaseModelOutputWithPast atau tuple(torch.Tensor)
A BaseModelOutputWithPast atau tuple dari
torch.Tensor (jika return_dict=False dilewatkan atau ketika config.return_dict=False) yang terdiri dari berbagai
elemen tergantung pada konfigurasi (Qwen3OmniMoeConfig) dan input.
Metode forward dari Qwen3OmniMoeTalkerCodePredictorModel menimpa metode khusus __call__.
Meskipun resep untuk forward pass perlu didefinisikan di dalam fungsi ini, sebaiknya panggil instance
Modulesetelahnya alih-alih fungsi ini, karena yang pertama menangani langkah-langkah pra-pemrosesan dan pasca-pemrosesan, sedangkan yang kedua mengabaikannya secara diam-diam.
last_hidden_state (
torch.Tensordengan bentuk(batch_size, sequence_length, hidden_size)) — Urutan hidden-states pada keluaran lapisan terakhir model.Jika
past_key_valuesdigunakan, hanya hidden-state terakhir dari sekuens dengan bentuk(batch_size, 1, hidden_size)yang dioutput.past_key_values (
Cache, opsional, dikembalikan saatuse_cache=Truedilewatkan atau saatconfig.use_cache=True) — Ini adalah instance Cache. Untuk detail lebih lanjut, lihat panduan kv cache kami.Berisi hidden-states yang telah dihitung sebelumnya (key dan values di blok self-attention, dan secara opsional jika
config.is_encoder_decoder=Truedi blok cross-attention) yang dapat digunakan (lihat inputpast_key_values) untuk mempercepat decoding berurutan.hidden_states (
tuple(torch.Tensor), opsional, dikembalikan saatoutput_hidden_states=Truedilewatkan atau saatconfig.output_hidden_states=True) — Tuple daritorch.Tensor(satu untuk output dari embeddings, jika model memiliki lapisan embedding, + satu untuk output dari setiap lapisan) dengan bentuk(batch_size, sequence_length, hidden_size).Hidden-states model pada output setiap layer ditambah output embedding awal yang opsional.
attentions (
tuple(torch.Tensor), opsional, dikembalikan saatoutput_attentions=Truedilewatkan atau saatconfig.output_attentions=True) — Tuple daritorch.Tensor(satu untuk setiap layer) dengan bentuk(batch_size, num_heads, sequence_length, sequence_length).Bobot perhatian setelah softmax perhatian, digunakan untuk menghitung rata-rata berbobot di kepala perhatian diri (self-attention).
Qwen3OmniMoeTalkerCodePredictorModelForConditionalGeneration
kelas transformers.Qwen3OmniMoeTalkerCodePredictorModelForConditionalGeneration
< source >( config: Qwen3OmniMoeTalkerCodePredictorConfig )
Parameter
- config (Qwen3OmniMoeTalkerCodePredictorConfig) — Kelas konfigurasi model dengan semua parameter model. Inisialisasi dengan file konfigurasi tidak memuat bobot yang terkait dengan model, hanya konfigurasinya. Lihat metode from_pretrained() untuk memuat bobot model.
Model Qwen3 Omni Moe untuk generasi token yang dikondisikan pada modalitas lain (misalnya, generasi dari gambar-teks ke teks).
Model ini mewarisi dari PreTrainedModel. Periksa dokumentasi kelas induk untuk metode generik yang diimplementasikan oleh pustaka untuk semua model (seperti mengunduh atau menyimpan, mengubah ukuran embedding input, memangkas kepala, dll.)
Model ini juga merupakan subclass dari torch.nn.Module PyTorch. Gunakan sebagai PyTorch Module biasa dan merujuk ke dokumentasi PyTorch untuk semua hal yang berkaitan dengan penggunaan dan perilaku umum.
forward
< source >( input_ids = Noneattention_mask = Noneposition_ids = Nonepast_key_values = Noneinputs_embeds = Nonelabels = Noneuse_cache = Nonegeneration_steps = None**kwargs ) → CausalLMOutputWithPast or tuple(torch.Tensor)
Parameter
- input_ids (`
of shape(batch_size, sequence_length)`) — Indeks token dari urutan input dalam kosakata. Padding akan diabaikan secara default.Indeks dapat diperoleh menggunakan AutoTokenizer. Lihat PreTrainedTokenizer.encode() dan PreTrainedTokenizer.call() untuk detailnya.
- attention_mask (`
of shape(batch_size, sequence_length) -- Mask to avoid performing attention on padding token indices. Mask values selected in[0, 1]`:- 1 untuk token yang tidak dimasker,
- 0 untuk token yang dimasker.
- position_ids (`
of shape(batch_size, sequence_length) -- Indices of positions of each input sequence tokens in the position embeddings. Selected in the range[0, config.n_positions - 1]`. - past_key_values (`
) -- Pre-computed hidden-states (key and values in the self-attention blocks and in the cross-attention blocks) that can be used to speed up sequential decoding. This typically consists in thepast_key_valuesreturned by the model at a previous stage of decoding, whenuse_cache=Trueorconfig.use_cache=True`.Hanya instance Cache yang diizinkan sebagai input, lihat panduan kv cache kami. Jika tidak ada
past_key_valuesyang diteruskan, DynamicCache akan diinisialisasi secara default.Model akan menghasilkan format cache yang sama dengan yang diberikan sebagai input.
Jika
past_key_valuesdigunakan, pengguna diharapkan hanya memasukkaninput_idsyang belum diproses (yang tidak memiliki state past key value yang diberikan ke model ini) dengan bentuk(batch_size, unprocessed_length)alih-alih semuainput_idsdengan bentuk(batch_size, sequence_length). - inputs_embeds (`
of shape(batch_size, sequence_length, hidden_size)) -- Optionally, instead of passinginput_idsyou can choose to directly pass an embedded representation. This is useful if you want more control over how to convertinput_ids` indices into associated vectors than the model’s internal embedding lookup matrix. - labels (`
of shape(batch_size, sequence_length)) -- Labels for computing the masked language modeling loss. Indices should either be in[0, …, config.vocab_size]or -100 (seeinput_idsdocstring). Tokens with indices set to-100are ignored (masked), the loss is only computed for the tokens with labels in[0, …, config.vocab_size]`. - use_cache (`
) -- If set toTrue,past_key_valueskey value states are returned and can be used to speed up decoding (seepast_key_values`). - generation_steps (
int) — langkah generasi dari code predictor, 0..num_code_groups-1
Mengembalikan
CausalLMOutputWithPast atau tuple(torch.Tensor)
A CausalLMOutputWithPast atau tuple dari
torch.Tensor (jika return_dict=False dilewatkan atau ketika config.return_dict=False) yang terdiri dari berbagai
elemen tergantung pada konfigurasi (Qwen3OmniMoeConfig) dan input.
Metode forward dari Qwen3OmniMoeTalkerCodePredictorModelForConditionalGeneration menimpa metode khusus __call__.
Meskipun resep untuk forward pass perlu didefinisikan di dalam fungsi ini, sebaiknya panggil instance
Modulesetelahnya alih-alih fungsi ini, karena yang pertama menangani langkah-langkah pra-pemrosesan dan pasca-pemrosesan, sedangkan yang kedua mengabaikannya secara diam-diam.
loss (
torch.Tensordengan bentuk(1,), opsional, dikembalikan saatlabelsdisediakan) — Loss pemodelan bahasa (untuk prediksi token berikutnya).logits (
torch.Tensordengan bentuk(batch_size, sequence_length, config.vocab_size)) — Skor prediksi dari kepala pemodelan bahasa (skor untuk setiap token kosakata sebelum SoftMax).past_key_values (
Cache, opsional, dikembalikan saatuse_cache=Truedilewatkan atau saatconfig.use_cache=True) — Ini adalah instance Cache. Untuk detail lebih lanjut, lihat panduan kv cache kami.Berisi hidden-states yang telah dihitung sebelumnya (key dan values di blok self-attention) yang dapat digunakan (lihat input
past_key_values) untuk mempercepat decoding berurutan.hidden_states (
tuple(torch.Tensor), opsional, dikembalikan saatoutput_hidden_states=Truedilewatkan atau saatconfig.output_hidden_states=True) — Tuple daritorch.Tensor(satu untuk output dari embeddings, jika model memiliki lapisan embedding, + satu untuk output dari setiap lapisan) dengan bentuk(batch_size, sequence_length, hidden_size).Hidden-states model pada output setiap layer ditambah output embedding awal yang opsional.
attentions (
tuple(torch.Tensor), opsional, dikembalikan saatoutput_attentions=Truedilewatkan atau saatconfig.output_attentions=True) — Tuple daritorch.Tensor(satu untuk setiap layer) dengan bentuk(batch_size, num_heads, sequence_length, sequence_length).Bobot perhatian setelah softmax perhatian, digunakan untuk menghitung rata-rata berbobot di kepala perhatian diri (self-attention).