Transformers documentation
Fun-ASR-Nano
Mô hình này được công bố trên HF papers vào ngày 15-09-2025 và được đóng góp cho Hugging Face Transformers vào ngày 08-09-2026.
Fun-ASR-Nano
Tổng quan
Fun-ASR-Nano là mô hình nhận dạng giọng nói end-to-end với 800M tham số do nhóm FunAudioLLM thuộc Alibaba DAMO Academy phát triển. Mô hình đạt hiệu suất tiên tiến trên các benchmark ASR tiếng Trung, tiếng Anh và tiếng Nhật, đồng thời có kích thước nhỏ hơn đáng kể so với các mô hình tương đương.
Mô hình được đề xuất trong Fun-ASR: An Industrial-Grade Speech Recognition System.
Kiến trúc
Fun-ASR-Nano bao gồm ba thành phần:
Trình mã hóa âm thanh (SenseVoiceEncoderSmall): Trình mã hóa SANM (Self-Attention with FSMN Memory) 70 lớp kết hợp self-attention đa đầu với Feedforward Sequential Memory Networks để trích xuất đặc trưng giọng nói hiệu quả.
Audio Adaptor: Transformer 2 lớp, chiếu đầu ra của encoder (512 chiều) sang chiều của LLM (1024 chiều).
Mô hình ngôn ngữ (Qwen3-0.6B): Mô hình ngôn ngữ nhân quả 28 lớp, tạo ra văn bản phiên âm theo cách tự hồi quy.
Tính năng chính
- Tiếng Trung, tiếng Anh và tiếng Nhật, bao gồm 7 phương ngữ tiếng Trung và 26 giọng vùng miền
- Tùy chỉnh từ khóa cho từ vựng chuyên ngành
- Đánh dấu câu bản địa (không cần mô hình đánh dấu câu riêng)
Cách sử dụng
Suy luận đơn
from transformers import AutoModelForSpeechSeq2Seq, AutoProcessor
model_id = "FunAudioLLM/Fun-ASR-Nano-2512-hf"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForSpeechSeq2Seq.from_pretrained(model_id, device_map="auto")
audio_url = "https://huggingface.co/FunAudioLLM/Fun-ASR-Nano-2512/resolve/main/example/en.mp3"
inputs = processor.apply_transcription_request(audio=audio_url).to(model.device)
generated_ids = model.generate(**inputs, max_new_tokens=200)
generated_ids = generated_ids[:, inputs.input_ids.shape[1]:]
print(processor.decode(generated_ids, skip_special_tokens=True)[0])Suy luận theo lô
from transformers import AutoModelForSpeechSeq2Seq, AutoProcessor
model_id = "FunAudioLLM/Fun-ASR-Nano-2512-hf"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForSpeechSeq2Seq.from_pretrained(model_id, device_map="auto")
audio_urls = [
"https://huggingface.co/FunAudioLLM/Fun-ASR-Nano-2512/resolve/main/example/zh.mp3",
"https://huggingface.co/FunAudioLLM/Fun-ASR-Nano-2512/resolve/main/example/en.mp3",
]
languages = ["zh", "en"]
inputs = processor.apply_transcription_request(audio=audio_urls, language=languages).to(model.device)
generated_ids = model.generate(**inputs, max_new_tokens=200)
generated_ids = generated_ids[:, inputs.input_ids.shape[1]:]
print(processor.decode(generated_ids, skip_special_tokens=True))Lời nhắc tùy chỉnh và từ khóa nóng
Truyền thông tin ngữ cảnh bằng prompt và các từ khóa nóng bằng keywords; mẫu chat của checkpoint sẽ xây dựng chỉ thị chuyển văn bản thành giọng nói hoàn chỉnh. language chấp nhận tiếng Trung, tiếng Anh và tiếng Nhật dưới dạng tên đầy đủ hoặc mã ISO.
from transformers import AutoModelForSpeechSeq2Seq, AutoProcessor
model_id = "FunAudioLLM/Fun-ASR-Nano-2512-hf"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForSpeechSeq2Seq.from_pretrained(model_id, device_map="auto")
audio_url = "https://huggingface.co/FunAudioLLM/Fun-ASR-Nano-2512/resolve/main/example/en.mp3"
inputs = processor.apply_transcription_request(
audio=audio_url,
prompt="A tribal story involving a chieftain and a boy.",
keywords=["tribal chieftain", "fifty pieces of gold"],
).to(model.device)
generated_ids = model.generate(**inputs, max_new_tokens=200)
generated_ids = generated_ids[:, inputs.input_ids.shape[1]:]
print(processor.decode(generated_ids, skip_special_tokens=True)[0])Huấn luyện
Truyền các bản ghi âm mục tiêu vào apply_transcription_request với transcription, và labels được trả về sẽ được dùng để tính toán loss.
from datasets import Audio, load_dataset
from transformers import AutoModelForSpeechSeq2Seq, AutoProcessor
model_id = "FunAudioLLM/Fun-ASR-Nano-2512-hf"
NUM_SAMPLES = 2
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForSpeechSeq2Seq.from_pretrained(model_id, device_map="auto")
model.train()
ds = load_dataset("hf-internal-testing/librispeech_asr_dummy", "clean", split="validation")
ds = ds.cast_column("audio", Audio(sampling_rate=processor.feature_extractor.sampling_rate))
speech_samples = [el["array"] for el in ds["audio"][:NUM_SAMPLES]]
text_samples = ds["text"][:NUM_SAMPLES]
inputs = processor.apply_transcription_request(speech_samples, language="en", transcription=text_samples)
inputs.to(model.device, dtype=model.dtype)
loss = model(**inputs).loss
print("Loss:", loss.item())
loss.backward()Suy luận với torch.compile
import torch
from transformers import AutoModelForSpeechSeq2Seq, AutoProcessor, CompileConfig
model_id = "FunAudioLLM/Fun-ASR-Nano-2512-hf"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForSpeechSeq2Seq.from_pretrained(model_id, device_map="auto")
audio_url = "https://huggingface.co/FunAudioLLM/Fun-ASR-Nano-2512/resolve/main/example/en.mp3"
inputs = processor.apply_transcription_request(audio=audio_url).to(model.device)
with torch.inference_mode():
generated_ids = model.generate(
**inputs,
max_new_tokens=200,
compile_config=CompileConfig(),
)
generated_ids = generated_ids[:, inputs.input_ids.shape[1]:]
print(processor.decode(generated_ids, skip_special_tokens=True)[0])FunAsrNanoConfig
lớp transformers.FunAsrNanoConfig
< source >( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Noneadaptor_config: dict | transformers.configuration_utils.PreTrainedConfig | None = Noneaudio_config: dict | transformers.configuration_utils.PreTrainedConfig | None = Nonetext_config: dict | transformers.configuration_utils.PreTrainedConfig | None = Noneaudio_token_id: int = 151646initializer_range: float = 0.02tie_word_embeddings: bool = True )
Tham số
- adaptor_config (
dicthoặcFunAsrNanoAdaptorConfig, không bắt buộc) — Cấu hình cho bộ thích ứng âm thanh hai chiều. - audio_config (
Union[dict, ~configuration_utils.PreTrainedConfig], tùy chọn) — Đối tượng cấu hình hoặc từ điển của audio backbone. - text_config (
Union[dict, ~configuration_utils.PreTrainedConfig], tùy chọn) — Đối tượng cấu hình hoặc từ điển của bộ khung văn bản. - audio_token_id (
int, tùy chọn, mặc định là151646) — Chỉ số token âm thanh được dùng làm ký tự thay thế cho âm thanh đầu vào. - initializer_range (
float, tùy chọn, mặc định là0.02) — Độ lệch chuẩn của truncated_normal_initializer để khởi tạo tất cả các ma trận trọng số. - tie_word_embeddings (
bool, tùy chọn, mặc định làTrue) — Có nên gắn kết các trọng số nhúng theo ánh xạtied_weights_keyscủa mô hình hay không.
Đây là lớp cấu hình để lưu trữ cấu hình của một FunAsrNanoModel. Nó được sử dụng để khởi tạo một mô hình Fun Asr Nano theo các đối số được chỉ định, xác định kiến trúc mô hình. Khởi tạo một cấu hình với các giá trị mặc định sẽ tạo ra một cấu hình tương tự như của FunAudioLLM/Fun-ASR-Nano-2512-hf
Các đối tượng cấu hình kế thừa từ PreTrainedConfig và có thể được sử dụng để kiểm soát đầu ra của mô hình. Đọc tài liệu từ PreTrainedConfig để biết thêm thông tin.
FunAsrNanoEncoderConfig
lớp transformers.FunAsrNanoEncoderConfig
< source >( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonenum_mel_bins: int = 80hidden_size: int = 512num_attention_heads: int = 4intermediate_size: int = 2048num_hidden_layers: int = 70hidden_dropout: float = 0.1attention_dropout: float = 0.1layer_norm_eps: float = 1e-05hidden_act: str = 'relu'max_position_embeddings: int = 2049num_stacked_frames: int = 7num_timestamp_prediction_layers: int = 20fsmn_kernel_size: int = 11 )
Tham số
- num_mel_bins (
int, tùy chọn, mặc định là80) — Số lượng đặc trưng mel được sử dụng cho mỗi khung đầu vào. Cần khớp với giá trị được dùng trong lớpAutoFeatureExtractor. - hidden_size (
int, tùy chọn, mặc định là512) — Kích thước của các biểu diễn ẩn. - num_attention_heads (
int, tùy chọn, mặc định là4) — Số lượng đầu attention cho mỗi lớp attention trong bộ giải mã Transformer. - intermediate_size (
int, tùy chọn, mặc định là2048) — Kích thước của các biểu diễn MLP. - num_hidden_layers (
int, tùy chọn, mặc định là 70) — Tổng số lớp encoder, bao gồm cả các lớp chuyển tự và các lớp dự đoán mốc thời gian tiếp theo. - hidden_dropout (
float, tùy chọn, mặc định là0.1) — Xác suất dropout cho tất cả các lớp fully connected trong embeddings, encoder và pooler. - attention_dropout (
float, tùy chọn, mặc định là0.1) — Tỷ lệ dropout cho các xác suất chú ý. - layer_norm_eps (
float, tùy chọn, mặc định là1e-05) — Giá trị epsilon được sử dụng bởi các lớp chuẩn hóa lớp (layer normalization). - hidden_act (
str, tùy chọn, mặc định làrelu) — Hàm kích hoạt phi tuyến (hàm hoặc chuỗi) trong bộ giải mã. Ví dụ,"gelu","relu","silu", v.v. - max_position_embeddings (
int, tùy chọn, mặc định là2049) — Chiều dài chuỗi tối đa mà mô hình này có thể được sử dụng. - num_stacked_frames (
int, tùy chọn, mặc định là 7) — Số lượng khung mel liên tiếp được xếp chồng bởi trích xuất đặc trưng tốc độ khung thấp. - num_timestamp_prediction_layers (
int, tùy chọn, mặc định là 20) — Số lượng lớp encoder (các lớp cuối cùng) dành riêng cho việc dự đoán mốc thời gian. Kết quả chuyển tự được lấy sau lớpnum_hidden_layers - num_timestamp_prediction_layers - 1. - fsmn_kernel_size (
int, tùy chọn, mặc định là 11) — Kích thước kernel cho phép卷积 của mạng bộ nhớ tuần tự feedforward (FSMN).
Đây là lớp cấu hình để lưu trữ cấu hình của một FunAsrNanoModel. Nó được sử dụng để khởi tạo một mô hình Fun Asr Nano theo các đối số được chỉ định, xác định kiến trúc mô hình. Khởi tạo một cấu hình với các giá trị mặc định sẽ tạo ra một cấu hình tương tự như của FunAudioLLM/Fun-ASR-Nano-2512-hf
Các đối tượng cấu hình kế thừa từ PreTrainedConfig và có thể được sử dụng để kiểm soát đầu ra của mô hình. Đọc tài liệu từ PreTrainedConfig để biết thêm thông tin.
FunAsrNanoAdaptorConfig
lớp transformers.FunAsrNanoAdaptorConfig
< source >( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonehidden_size: int = 1024num_attention_heads: int = 8intermediate_size: int = 256num_hidden_layers: int = 2hidden_dropout: float = 0.0attention_dropout: float = 0.0layer_norm_eps: float = 1e-05hidden_act: str = 'relu'projector_hidden_act: str = 'relu'projector_hidden_size: int = 2048 )
Tham số
- hidden_size (
int, tùy chọn, mặc định là1024) — Kích thước của các biểu diễn ẩn. - num_attention_heads (
int, tùy chọn, mặc định là8) — Số lượng đầu attention cho mỗi lớp attention trong bộ giải mã Transformer. - intermediate_size (
int, tùy chọn, mặc định là256) — Kích thước của các biểu diễn MLP. - num_hidden_layers (
int, tùy chọn, mặc định là2) — Số lượng lớp ẩn trong bộ giải mã Transformer. - hidden_dropout (
float, tùy chọn, mặc định là0.0) — Xác suất dropout cho tất cả các lớp fully connected trong embeddings, encoder và pooler. - attention_dropout (
float, tùy chọn, mặc định là0.0) — Tỷ lệ dropout cho các xác suất chú ý. - layer_norm_eps (
float, tùy chọn, mặc định là1e-05) — Giá trị epsilon được sử dụng bởi các lớp chuẩn hóa lớp (layer normalization). - hidden_act (
str, tùy chọn, mặc định làrelu) — Hàm kích hoạt phi tuyến (hàm hoặc chuỗi) trong bộ giải mã. Ví dụ,"gelu","relu","silu", v.v. - projector_hidden_act (
str, tùy chọn, mặc định làrelu) — Hàm kích hoạt được sử dụng bởi bộ chiếu đa phương thức. - projector_hidden_size (
int, tùy chọn, mặc định là2048) — Kích thước chiều của các lớp chiếu văn bản và thị giác.
Đây là lớp cấu hình để lưu trữ cấu hình của một FunAsrNanoModel. Nó được sử dụng để khởi tạo một mô hình Fun Asr Nano theo các đối số được chỉ định, xác định kiến trúc mô hình. Khởi tạo một cấu hình với các giá trị mặc định sẽ tạo ra một cấu hình tương tự như của FunAudioLLM/Fun-ASR-Nano-2512-hf
Các đối tượng cấu hình kế thừa từ PreTrainedConfig và có thể được sử dụng để kiểm soát đầu ra của mô hình. Đọc tài liệu từ PreTrainedConfig để biết thêm thông tin.
FunAsrNanoFeatureExtractor
lớp transformers.FunAsrNanoFeatureExtractor
< source >( feature_size: int = 80sampling_rate: int = 16000frame_length: int = 25frame_shift: int = 10num_frames_lfr: int = 7stride_lfr: int = 6window: str = 'hamming'padding_value: float = 0.0return_attention_mask: bool = True**kwargs )
Tham số
- feature_size (
int, tùy chọn, mặc định là 80) — Số lượng bin tần số mel. - sampling_rate (
int, tùy chọn, mặc định là 16000) — Tần số lấy mẫu của âm thanh. - frame_length (
int, tùy chọn, mặc định là 25) — Chiều dài khung tính bằng mili giây cho STFT. - frame_shift (
int, tùy chọn, mặc định là 10) — Bước nhảy khung (hop length) tính bằng mili giây cho STFT. - num_frames_lfr (
int, tùy chọn, mặc định là 7) — Số lượng khung hình liên tiếp cần xếp chồng (hệ số xếp chồng LFR). - stride_lfr (
int, tùy chọn, mặc định là 6) — Bước lấy mẫu con cho LFR (lấy mỗistride_lfrkhung hình xếp chồng). - window (
str, tùy chọn, mặc định là"hamming") — Hàm cửa sổ cho STFT. - padding_value (
float, tùy chọn, mặc định là 0.0) — Giá trị được sử dụng để đệm các chuỗi ngắn hơn. - return_attention_mask (
bool, tùy chọn, mặc định làTrue) — Có nên trả về attention mask hay không.
Tạo bộ trích xuất đặc trưng Fun-ASR-Nano.
Feature extractor này kế thừa từ SequenceFeatureExtractor, bao gồm hầu hết các phương thức chính. Người dùng nên tham khảo lớp cha này để biết thêm thông tin về các phương thức đó.
Nó trích xuất các đặc trưng mel-filterbank tương thích với Kaldi (thông qua torchaudio.compliance.kaldi.fbank, khớp với front-end FunASR gốc) và sau đó áp dụng xử lý Low Frame Rate (LFR) bằng cách xếp chồng num_frames_lfr khung liên tiếp và lấy mẫu con với bước nhảy stride_lfr.
Ví dụ:
>>> import numpy as np
>>> from transformers import FunAsrNanoFeatureExtractor
>>> feature_extractor = FunAsrNanoFeatureExtractor()
>>> audio = np.random.randn(16000) # 1 second of audio at 16kHz
>>> features = feature_extractor(audio, sampling_rate=16000, return_tensors="pt")
>>> features.input_features.shape # (1, num_frames_after_lfr, 560)__call__
< source >( raw_speech: typing.Union[numpy.ndarray, ForwardRef('torch.Tensor'), collections.abc.Sequence[numpy.ndarray], collections.abc.Sequence['torch.Tensor']]sampling_rate: int | None = Nonereturn_tensors: str | transformers.utils.generic.TensorType | None = 'pt'padding: bool | str = Truemax_length: int | None = Nonetruncation: bool = Falsepad_to_multiple_of: int | None = Nonereturn_attention_mask: bool | None = None**kwargs )
Tham số
- raw_speech (
np.ndarray,list[float],list[np.ndarray],list[list[float]]) — Chuỗi hoặc lô các dạng sóng đơn kênh cần tạo đặc trưng. - sampling_rate (
int, tùy chọn) — Tần số lấy mẫu của âm thanh đầu vào. Phải khớp vớiself.sampling_rate(16000 Hz). - return_tensors (
strhoặc TensorType, tuỳ chọn) — Nếu được đặt, sẽ trả về các tensor của framework được chỉ định ("pt","np", …). - padding (
boolhoặcstr, tùy chọn, mặc định làTrue) — Chiến lược đệm được chuyển tiếp đến pad(). - max_length (
int, tùy chọn) — Độ dài tối đa của chuỗi LFR để đệm/cắt ngắn. - truncation (
bool, tùy chọn, mặc định làFalse) — Có nên cắt ngắn các chuỗi dài hơnmax_lengthhay không. - pad_to_multiple_of (
int, tùy chọn) — Nếu được đặt, sẽ đệm độ dài chuỗi LFR thành bội số của giá trị này. - return_attention_mask (
bool, tùy chọn) — Có trả vềinput_features_maskhay không. Mặc định làself.return_attention_mask.
Trích xuất các đặc trưng Kaldi mel-filterbank + LFR từ một hoặc nhiều dạng sóng âm thanh thô.
FunAsrNanoProcessor
lớp transformers.FunAsrNanoProcessor
< source >( feature_extractortokenizerchat_template = Noneaudio_token = '<|object_ref_start|>' )
Tham số
- feature_extractor (
FunAsrNanoFeatureExtractor) — Bộ trích xuất đặc trưng là một đầu vào bắt buộc. - tokenizer (
Qwen2Tokenizer) — Tokenizer là đầu vào bắt buộc. - chat_template (
str) — Một mẫu Jinja để chuyển đổi các danh sách tin nhắn trong một cuộc trò chuyện thành chuỗi có thể token hóa. - audio_token (
str, tùy chọn, mặc định là"<|object_ref_start|>") — Token được dùng làm ký tự thay thế cho âm thanh trong văn bản.
Tạo một FunAsrNanoProcessor, đóng gói một bộ trích xuất đặc trưng và một bộ phân từ thành một bộ xử lý duy nhất.
FunAsrNanoProcessor cung cấp đầy đủ các chức năng của FunAsrNanoFeatureExtractor và Qwen2Tokenizer. Xem ~FunAsrNanoFeatureExtractor và ~Qwen2Tokenizer để biết thêm thông tin.
__call__
< source >( text: str | list[str]audio: typing.Union[numpy.ndarray, ForwardRef('torch.Tensor'), collections.abc.Sequence[numpy.ndarray], collections.abc.Sequence['torch.Tensor'], NoneType] = Noneoutput_labels: bool | None = False**kwargs: *<class 'transformers.models.fun_asr_nano.processing_fun_asr_nano.FunAsrNanoProcessorKwargs'> ) → BatchFeature
Tham số
- text (
Union[str, list[str]]) — Chuỗi hoặc lô các chuỗi cần được mã hóa. Mỗi chuỗi có thể là một chuỗi ký tự hoặc một danh sách các chuỗi ký tự (chuỗi đã được tách token trước). Nếu bạn truyền vào dữ liệu đầu vào đã được tách token trước, hãy đặtis_split_into_words=Trueđể tránh nhầm lẫn với các đầu vào dạng lô. - audio (
Union[numpy.ndarray, torch.Tensor, collections.abc.Sequence[numpy.ndarray], collections.abc.Sequence[torch.Tensor]], optional) — Âm thanh hoặc lô âm thanh cần được chuẩn bị. Mỗi âm thanh có thể là một mảng NumPy hoặc tensor PyTorch. Trong trường hợp là mảng NumPy/tensor PyTorch, mỗi âm thanh nên có hình dạng (C, T), trong đó C là số kênh và T là độ dài mẫu của âm thanh. - output_labels (
bool, tùy chọn, mặc định=False) — Có trả về nhãn cho việc huấn luyện hay không. - return_tensors (
strhoặc TensorType, tùy chọn) — Nếu được đặt, sẽ trả về tensor của một framework cụ thể. Các giá trị chấp nhận được là:'pt': Trả về các đối tượngtorch.Tensorcủa PyTorch.'np': Trả về các đối tượngnp.ndarraycủa NumPy.
- **kwargs (ProcessingKwargs, optional) — Các tùy chọn xử lý bổ sung cho từng modality (text, images, videos, audio). Các tham số cụ thể của model được liệt kê ở trên; xem lớp TypedDict để biết danh sách đầy đủ các đối số được hỗ trợ.
Trả về
Một từ điển chứa văn bản đã được token hóa (input_ids, attention_mask) và
đặc trưng âm thanh (input_features, input_features_mask).
apply_transcription_request
< source >( audio: typing.Union[numpy.ndarray, ForwardRef('torch.Tensor'), collections.abc.Sequence[numpy.ndarray], collections.abc.Sequence['torch.Tensor'], list[typing.Union[numpy.ndarray, ForwardRef('torch.Tensor'), collections.abc.Sequence[numpy.ndarray], collections.abc.Sequence['torch.Tensor']]]]language: str | list[str] | None = Noneprompt: str | list[str] | None = Nonekeywords: str | list[str] | list[list[str]] | None = Nonetranscription: str | list[str] | None = Nonetokenize: bool = True**kwargs: *<class 'transformers.models.fun_asr_nano.processing_fun_asr_nano.FunAsrNanoProcessorKwargs'> ) → BatchFeature or list[str]
Tham số
- audio (
AudioInputhoặclist[AudioInput]) — Âm thanh cần chuyển thành văn bản. Có thể là URL, đường dẫn cục bộ, mảng NumPy, tensor PyTorch, hoặc danh sách các đối tượng này. - language (
strhoặclist[str], tùy chọn) — Ngôn ngữ đích. Chấp nhận tiếng Trung, tiếng Anh hoặc tiếng Nhật dưới dạng tên tiếng Anh đầy đủ, mã ISO ("zh","en","ja"), hoặc tên ngôn ngữ tiếng Trung của checkpoint ("中文","英文","日文"). Một giá trị đơn lẻ sẽ được phát sóng (broadcast) trên toàn bộ batch. - prompt (
strhoặclist[str], tùy chọn) — Thông tin ngữ cảnh có thể cải thiện việc chuyển văn bản. Một danh sách phải khớp với kích thước lô âm thanh. - keywords (
str,list[str], hoặclist[list[str]], không bắt buộc) — Các từ khóa để thiên vị nhận dạng. Một chuỗi hoặc danh sách phẳng được dùng chung cho toàn bộ batch; một danh sách lồng nhau cung cấp các từ khóa riêng cho từng mẫu âm thanh. - transcription (
strhoặclist[str], tùy chọn) — Bản ghi chép đích để huấn luyện, mỗi bản ghi tương ứng với một tệp âm thanh. Khi được cung cấp, mỗi bản ghi sẽ được viết dưới dạng lượt trả lời của trợ lý vàlabelssẽ được trả về (xemoutput_labelstrong call()). - tokenize (
bool, tuỳ chọn, mặc định làTrue) — Có nên tokenize các prompt và xử lý âm thanh hay không. NếuFalse, âm thanh sẽ không được tải và các prompt được trả về dưới dạng chuỗi với các vị trí thay thế âm thanh chưa được mở rộng. Việc truyền chúng cùng với âm thanh vào bộ xử lý,processor(text=prompts, audio=audio), sẽ cho ra kết quả đầu ra giống hệt nhưtokenize=True. - **kwargs —
Các đối số từ khóa bổ sung được chuyển tiếp đến apply_chat_template().
Các kwargs của Processor (ví dụ
text_kwargs,audio_kwargs, …) nên được truyền dưới dạngprocessor_kwargs={...}.
Trả về
BatchFeature hoặc list[str]
Một prompt cho mỗi audio khi tokenize=False, ngược lại processor sẽ xuất ra các đầu vào sẵn sàng để truyền vào FunAsrNanoForConditionalGeneration.generate(), hoặc vào FunAsrNanoForConditionalGeneration.forward() để tính toán loss khi transcription được cung cấp.
Chuẩn bị đầu vào cho ASR bằng cách sử dụng mẫu chat chuyển văn bản có cấu trúc của checkpoint, cho suy luận hoặc, khi transcription được cung cấp, cho huấn luyện.
FunAsrNanoEncoder
lớp transformers.FunAsrNanoEncoder
< source >( config: FunAsrNanoEncoderConfig )
Tham số
- config (FunAsrNanoEncoderConfig) — Lớp cấu hình mô hình chứa tất cả các tham số của mô hình. Khởi tạo bằng tệp cấu hình sẽ không tải trọng số liên quan đến mô hình, chỉ tải cấu hình. Xem phương thức from_pretrained() để tải trọng số của mô hình.
Bộ mã hóa âm thanh Fun-ASR-Nano (kiến trúc SenseVoice SAN-M), không có lớp đầu (head) phía trên.
Mô hình này kế thừa từ PreTrainedModel. Xem tài liệu của lớp cha để biết các phương thức chung mà thư viện triển khai cho tất cả các mô hình của nó (chẳng hạn như tải xuống hoặc lưu trữ, thay đổi kích thước các nhúng đầu vào, cắt tỉa các đầu, v.v.)
Mô hình này cũng là một lớp con của torch.nn.Module trong PyTorch. Hãy sử dụng nó như một Module PyTorch thông thường và tham khảo tài liệu PyTorch cho mọi vấn đề liên quan đến cách sử dụng và hành vi chung.
forward
< source >( input_features: Tensorinput_features_mask: Tensor**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → BaseModelOutput or tuple(torch.Tensor)
Tham số
- input_features (
torch.Tensorcó hình dạng(batch_size, sequence_length, feature_dim)) — Các tensor tương ứng với các đặc trưng âm thanh đầu vào. Các đặc trưng âm thanh có thể được lấy bằng cách sử dụng FunAsrNanoFeatureExtractor. Xem FunAsrNanoFeatureExtractor.call() để biết chi tiết (FunAsrNanoProcessor sử dụng FunAsrNanoFeatureExtractor để xử lý âm thanh). - input_features_mask (
torch.LongTensorcó hình dạng(batch_size, padded_feature_length)) — 1 cho các khung mel hợp lệ và 0 cho phần đệm.
Trả về
BaseModelOutput hoặc tuple(torch.Tensor)
Một BaseModelOutput hoặc một tuple của
torch.Tensor (nếu return_dict=False được truyền hoặc khi config.return_dict=False) bao gồm các
thành phần khác nhau tùy thuộc vào cấu hình (FunAsrNanoConfig) và đầu vào.
Phương thức forward của FunAsrNanoEncoder ghi đè lên phương thức đặc biệt __call__.
Mặc dù công thức cho bước truyền tiến cần được định nghĩa bên trong hàm này, người dùng nên gọi instance của
Modulesau đó thay vì gọi hàm này, vì instanceModulesẽ đảm nhận việc thực hiện các bước tiền xử lý và hậu xử lý, trong khi hàm này sẽ lặng lẽ bỏ qua chúng.
last_hidden_state (
torch.Tensorcó hình dạng(batch_size, sequence_length, hidden_size)) — Chuỗi các hidden-state tại đầu ra của lớp cuối cùng của mô hình.hidden_states (
tuple(torch.Tensor), tuỳ chọn, được trả về khioutput_hidden_states=Trueđược truyền vào hoặc khiconfig.output_hidden_states=True) — Bộ tuple củatorch.Tensor(một cho đầu ra của embeddings, nếu mô hình có lớp embedding, + một cho đầu ra của mỗi lớp) có hình dạng(batch_size, sequence_length, hidden_size).Trạng thái ẩn của mô hình tại đầu ra của mỗi lớp cùng với các đầu ra embedding ban đầu tùy chọn.
attentions (
tuple(torch.Tensor), tuỳ chọn, được trả về khioutput_attentions=Trueđược truyền vào hoặc khiconfig.output_attentions=True) — Tuple củatorch.Tensor(một cho mỗi lớp) có hình dạng(batch_size, num_heads, sequence_length, sequence_length).Trọng số chú ý sau softmax của attention, được sử dụng để tính trung bình có trọng số trong các đầu self-attention.
FunAsrNanoModel
lớp transformers.FunAsrNanoModel
< source >( config: FunAsrNanoConfig )
Tham số
- config (FunAsrNanoConfig) — Lớp cấu hình mô hình chứa tất cả các tham số của mô hình. Khởi tạo bằng tệp cấu hình sẽ không tải trọng số liên quan đến mô hình, chỉ tải cấu hình. Xem phương thức from_pretrained() để tải trọng số của mô hình.
Mô hình Fun-ASR-Nano (bộ mã hóa âm thanh SenseVoice SAN-M, một bộ thích ứng Transformer và một mô hình ngôn ngữ Qwen3), không có đầu mô hình hóa ngôn ngữ.
Mô hình này kế thừa từ PreTrainedModel. Xem tài liệu của lớp cha để biết các phương thức chung mà thư viện triển khai cho tất cả các mô hình của nó (chẳng hạn như tải xuống hoặc lưu trữ, thay đổi kích thước các nhúng đầu vào, cắt tỉa các đầu, v.v.)
Mô hình này cũng là một lớp con của torch.nn.Module trong PyTorch. Hãy sử dụng nó như một Module PyTorch thông thường và tham khảo tài liệu PyTorch cho mọi vấn đề liên quan đến cách sử dụng và hành vi chung.
forward
< source >( input_ids: typing.Optional[torch.LongTensor] = Noneinput_features: typing.Optional[torch.Tensor] = Noneinput_features_mask: typing.Optional[torch.Tensor] = Noneattention_mask: typing.Optional[torch.Tensor] = Noneposition_ids: typing.Optional[torch.LongTensor] = Nonepast_key_values: transformers.cache_utils.Cache | None = Noneinputs_embeds: typing.Optional[torch.Tensor] = Noneuse_cache: bool | None = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → FunAsrNanoModelOutputWithPast or tuple(torch.Tensor)
Tham số
- input_ids (
torch.LongTensorcó dạng(batch_size, sequence_length), tùy chọn) — Chỉ số của các token trong chuỗi đầu vào theo từ điển. Mặc định, padding sẽ bị bỏ qua.Các chỉ số có thể được lấy bằng cách sử dụng AutoTokenizer. Xem PreTrainedTokenizer.encode() và PreTrainedTokenizer.call() để biết thêm chi tiết.
- input_features (
torch.Tensorcó hình dạng(batch_size, sequence_length, feature_dim), tùy chọn) — Các tensor tương ứng với các đặc trưng âm thanh đầu vào. Các đặc trưng âm thanh có thể được lấy bằng cách sử dụng FunAsrNanoFeatureExtractor. Xem FunAsrNanoFeatureExtractor.call() để biết chi tiết (FunAsrNanoProcessor sử dụng FunAsrNanoFeatureExtractor để xử lý âm thanh). - input_features_mask (
torch.Tensorcó hình dạng(batch_size, feature_sequence_length)) — Mặt nạ để tránh thực hiện chú ý trên các chỉ mục đặc trưng đệm. - attention_mask (
torch.Tensorcó hình dạng(batch_size, sequence_length), tùy chọn) — Mặt nạ để tránh thực hiện chú ý trên các chỉ số token đệm. Các giá trị mặt nạ được chọn trong[0, 1]:- 1 cho các token không bị che,
- 0 cho các token bị che.
- position_ids (
torch.LongTensorcó hình dạng(batch_size, sequence_length), tùy chọn) — Chỉ số vị trí của các token trong mỗi chuỗi đầu vào trong các position embeddings. Được chọn trong khoảng[0, config.n_positions - 1]. - past_key_values (
~cache_utils.Cache, tuỳ chọn) — Các hidden-state đã tính trước (key và value trong các khối self-attention và cross-attention) có thể được sử dụng để tăng tốc giải mã tuần tự. Điều này thường bao gồmpast_key_valuesđược trả về bởi mô hình ở một giai đoạn giải mã trước đó, khiuse_cache=Truehoặcconfig.use_cache=True.Chỉ cho phép Cache instance làm đầu vào, xem hướng dẫn kv cache của chúng tôi. Nếu không truyền
past_key_values, DynamicCache sẽ được khởi tạo theo mặc định.Mô hình sẽ xuất ra cùng định dạng cache được đưa vào làm đầu vào.
Nếu
past_key_valuesđược sử dụng, người dùng được kỳ vọng chỉ nhậpinput_idschưa được xử lý (những phần chưa có trạng thái key value quá khứ được cung cấp cho mô hình này) có hình dạng(batch_size, unprocessed_length)thay vì toàn bộinput_idscó hình dạng(batch_size, sequence_length). - inputs_embeds (
torch.Tensorcó hình dạng(batch_size, sequence_length, hidden_size), tùy chọn) — Tùy chọn, thay vì truyềninput_ids, bạn có thể chọn truyền trực tiếp một biểu diễn nhúng. Điều này hữu ích nếu bạn muốn kiểm soát nhiều hơn cách chuyển đổi các chỉ sốinput_idsthành các vector liên quan so với ma trận tra cứu nhúng nội bộ của mô hình. - use_cache (
bool, tùy chọn) — Nếu đặt thànhTrue, các trạng thái key value củapast_key_valuessẽ được trả về và có thể được sử dụng để tăng tốc quá trình giải mã (xempast_key_values).
Trả về
FunAsrNanoModelOutputWithPast hoặc tuple(torch.Tensor)
Một FunAsrNanoModelOutputWithPast hoặc một tuple của
torch.Tensor (nếu return_dict=False được truyền hoặc khi config.return_dict=False) bao gồm các
thành phần khác nhau tùy thuộc vào cấu hình (FunAsrNanoConfig) và đầu vào.
Phương thức forward của FunAsrNanoModel ghi đè lên phương thức đặc biệt __call__.
Mặc dù công thức cho bước truyền tiến cần được định nghĩa bên trong hàm này, người dùng nên gọi instance của
Modulesau đó thay vì gọi hàm này, vì instanceModulesẽ đảm nhận việc thực hiện các bước tiền xử lý và hậu xử lý, trong khi hàm này sẽ lặng lẽ bỏ qua chúng.
- audio_hidden_states (
torch.Tensor, tùy chọn) — Trạng thái ẩn âm thanh đã được chiếu.
FunAsrNanoForConditionalGeneration
lớp transformers.FunAsrNanoForConditionalGeneration
< source >( config: FunAsrNanoConfig )
Tham số
- config (FunAsrNanoConfig) — Lớp cấu hình mô hình chứa tất cả các tham số của mô hình. Khởi tạo bằng tệp cấu hình sẽ không tải trọng số liên quan đến mô hình, chỉ tải cấu hình. Xem phương thức from_pretrained() để tải trọng số của mô hình.
Mô hình Fun-ASR-Nano cho nhận dạng giọng nói: một bộ mã hóa âm thanh SenseVoice SAN-M, một bộ thích ứng Transformer và một mô hình ngôn ngữ Qwen3 với đầu mô hình hóa ngôn ngữ.
Mô hình này kế thừa từ PreTrainedModel. Xem tài liệu của lớp cha để biết các phương thức chung mà thư viện triển khai cho tất cả các mô hình của nó (chẳng hạn như tải xuống hoặc lưu trữ, thay đổi kích thước các nhúng đầu vào, cắt tỉa các đầu, v.v.)
Mô hình này cũng là một lớp con của torch.nn.Module trong PyTorch. Hãy sử dụng nó như một Module PyTorch thông thường và tham khảo tài liệu PyTorch cho mọi vấn đề liên quan đến cách sử dụng và hành vi chung.
forward
< source >( input_ids: typing.Optional[torch.LongTensor] = Noneinput_features: typing.Optional[torch.Tensor] = Noneinput_features_mask: typing.Optional[torch.Tensor] = Noneattention_mask: typing.Optional[torch.Tensor] = Noneposition_ids: typing.Optional[torch.LongTensor] = Nonepast_key_values: transformers.cache_utils.Cache | None = Noneinputs_embeds: typing.Optional[torch.Tensor] = Nonelabels: typing.Optional[torch.LongTensor] = Noneuse_cache: bool | None = Nonelogits_to_keep: typing.Union[int, torch.Tensor] = 0**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → FunAsrNanoCausalLMOutputWithPast or tuple(torch.Tensor)
Tham số
- input_ids (
torch.LongTensorcó dạng(batch_size, sequence_length), tùy chọn) — Chỉ số của các token trong chuỗi đầu vào theo từ điển. Mặc định, padding sẽ bị bỏ qua.Các chỉ số có thể được lấy bằng cách sử dụng AutoTokenizer. Xem PreTrainedTokenizer.encode() và PreTrainedTokenizer.call() để biết thêm chi tiết.
- input_features (
torch.Tensorcó hình dạng(batch_size, sequence_length, feature_dim), tùy chọn) — Các tensor tương ứng với các đặc trưng âm thanh đầu vào. Các đặc trưng âm thanh có thể được lấy bằng cách sử dụng FunAsrNanoFeatureExtractor. Xem FunAsrNanoFeatureExtractor.call() để biết chi tiết (FunAsrNanoProcessor sử dụng FunAsrNanoFeatureExtractor để xử lý âm thanh). - input_features_mask (
torch.Tensorcó hình dạng(batch_size, feature_sequence_length)) — Mặt nạ để tránh thực hiện chú ý trên các chỉ mục đặc trưng đệm. - attention_mask (
torch.Tensorcó hình dạng(batch_size, sequence_length), tùy chọn) — Mặt nạ để tránh thực hiện chú ý trên các chỉ số token đệm. Các giá trị mặt nạ được chọn trong[0, 1]:- 1 cho các token không bị che,
- 0 cho các token bị che.
- position_ids (
torch.LongTensorcó hình dạng(batch_size, sequence_length), tùy chọn) — Chỉ số vị trí của các token trong mỗi chuỗi đầu vào trong các position embeddings. Được chọn trong khoảng[0, config.n_positions - 1]. - past_key_values (
~cache_utils.Cache, tuỳ chọn) — Các hidden-state đã tính trước (key và value trong các khối self-attention và cross-attention) có thể được sử dụng để tăng tốc giải mã tuần tự. Điều này thường bao gồmpast_key_valuesđược trả về bởi mô hình ở một giai đoạn giải mã trước đó, khiuse_cache=Truehoặcconfig.use_cache=True.Chỉ cho phép Cache instance làm đầu vào, xem hướng dẫn kv cache của chúng tôi. Nếu không truyền
past_key_values, DynamicCache sẽ được khởi tạo theo mặc định.Mô hình sẽ xuất ra cùng định dạng cache được đưa vào làm đầu vào.
Nếu
past_key_valuesđược sử dụng, người dùng được kỳ vọng chỉ nhậpinput_idschưa được xử lý (những phần chưa có trạng thái key value quá khứ được cung cấp cho mô hình này) có hình dạng(batch_size, unprocessed_length)thay vì toàn bộinput_idscó hình dạng(batch_size, sequence_length). - inputs_embeds (
torch.Tensorcó hình dạng(batch_size, sequence_length, hidden_size), tùy chọn) — Tùy chọn, thay vì truyềninput_ids, bạn có thể chọn truyền trực tiếp một biểu diễn nhúng. Điều này hữu ích nếu bạn muốn kiểm soát nhiều hơn cách chuyển đổi các chỉ sốinput_idsthành các vector liên quan so với ma trận tra cứu nhúng nội bộ của mô hình. - labels (
torch.LongTensorcó hình dạng(batch_size, sequence_length), tùy chọn) — Nhãn để tính toán tổn thất mô hình hóa ngôn ngữ có che (masked language modeling loss). - use_cache (
bool, tùy chọn) — Nếu đặt thànhTrue, các trạng thái key value củapast_key_valuessẽ được trả về và có thể được sử dụng để tăng tốc quá trình giải mã (xempast_key_values). - logits_to_keep (
Union[int, torch.Tensor], tùy chọn, mặc định là0) — Nếu làint, tính logits chologits_to_keeptoken cuối. Nếu là0, tính logits cho tất cảinput_ids(trường hợp đặc biệt). Chỉ cần logits của token cuối cho quá trình sinh, và việc chỉ tính cho token đó có thể tiết kiệm bộ nhớ, điều này trở nên khá đáng kể với các chuỗi dài hoặc kích thước từ vựng lớn. Nếu làtorch.Tensor, phải là 1 chiều tương ứng với các chỉ số cần giữ trong chiều độ dài chuỗi. Điều này hữu ích khi sử dụng định dạng tensor đóng gói (một chiều duy nhất cho batch và độ dài chuỗi).
Trả về
FunAsrNanoCausalLMOutputWithPast hoặc tuple(torch.Tensor)
Một FunAsrNanoCausalLMOutputWithPast hoặc một tuple của
torch.Tensor (nếu return_dict=False được truyền hoặc khi config.return_dict=False) bao gồm các
thành phần khác nhau tùy thuộc vào cấu hình (FunAsrNanoConfig) và đầu vào.
Phương thức forward của FunAsrNanoForConditionalGeneration ghi đè lên phương thức đặc biệt __call__.
Mặc dù công thức cho bước truyền tiến cần được định nghĩa bên trong hàm này, người dùng nên gọi instance của
Modulesau đó thay vì gọi hàm này, vì instanceModulesẽ đảm nhận việc thực hiện các bước tiền xử lý và hậu xử lý, trong khi hàm này sẽ lặng lẽ bỏ qua chúng.
loss (
torch.Tensorcó shape(1,), tùy chọn, được trả về khilabelsđược cung cấp) — Loss của language modeling (cho next-token prediction).logits (
torch.Tensorcó hình dạng(batch_size, sequence_length, config.vocab_size)) — Điểm dự đoán của đầu mô hình hóa ngôn ngữ.past_key_values (
Cache, tùy chọn, được trả về khiuse_cache=Trueđược truyền vào hoặc khiconfig.use_cache=True) — Đây là một instance của Cache.hidden_states (
tuple[torch.Tensor], tuỳ chọn, được trả về khioutput_hidden_states=Trueđược truyền vào hoặc khiconfig.output_hidden_states=True) — Tuple củatorch.Tensor(một cho đầu ra của embeddings, nếu mô hình có lớp embedding, + một cho đầu ra của mỗi lớp) có hình dạng(batch_size, sequence_length, hidden_size).Trạng thái ẩn của mô hình tại đầu ra của mỗi lớp cùng với các đầu ra embedding ban đầu tùy chọn.
attentions (
tuple[torch.Tensor], tuỳ chọn, được trả về khioutput_attentions=Trueđược truyền vào hoặc khiconfig.output_attentions=True) — Tuple củatorch.Tensor(một cho mỗi lớp) có hình dạng(batch_size, num_heads, sequence_length, sequence_length).Trọng số chú ý sau softmax của attention, được sử dụng để tính trung bình có trọng số trong các đầu self-attention.
audio_hidden_states (
torch.Tensor, tùy chọn) — Trạng thái ẩn của bộ mã hóa âm thanh sau khi chiếu.