Transformers documentation
GLM-5, GLM-5.1, GLM-5.2, GLM-5.3
이 모델은 2026-02-17에 HF papers에 게시되었으며, 2026-02-09에 Hugging Face Transformers에 기여되었습니다.
GLM-5, GLM-5.1, GLM-5.2, GLM-5.3
개요
GLM-5, GLM-5.1, GLM-5.2, GLM-5.3 언어 모델은 이 클래스를 사용합니다. transformers의 구현에는 MTP 레이어가 포함되어 있지 않습니다.
GLM-5.3
GLM-5.3은 GLM-5.2와 동일한 base model을 사용하며, 모든 성능 향상은 post-training에서 비롯됩니다. GLM-5.2와 비교할 때 복잡한 코딩 및 장기 과제 수행 능력이 크게 향상되었습니다:
- 더 강력한 코딩: GLM-5.3은 코딩에 특화된 오픈 웨이트 모델 중 가장 뛰어난 성능을 발휘하며, 자체 개발한 Z.ai Code Bench에서 GLM-5.2 대비 50%의 성능 향상을 기록했습니다. 또한 Terminal Bench 3.0과 Agents’ Last Exam을 포함한 공개 벤치마크에서도 오픈소스 SOTA를 달성했습니다.
- 발생하는 사이버 역량: 포스트 트레이닝을 확장하는 과정에서 사이버 역량이 예상보다 빠르게 발전했습니다. GLM-5.3은 취약점 발견 분야에서 CyberGym에서 최첨단 성능을 보이며, 특히 악용 체인의 상류에서 그 이점이 가장 크게 나타나 악용 벤치마크에서 GLM-5.2 대비 2배 이상의 성능 향상을 기록했습니다.
GLM-5.2
GLM-5.2는 장기 과제(long-horizon tasks)를 위한 최신 플래그십 모델입니다. 전작인 GLM-5.1 대비 장기 과제 수행 능력이 크게 향상되었으며, 안정적인 1M 토큰 컨텍스트에서 해당 능력을 제공하는 것은 이번이 처음입니다.
GLM-5.2의 새로운 기능에는 다음이 포함됩니다:
- 안정적인 1M 컨텍스트: 장기적인 작업을 안정적으로 유지하는 100만 토큰 컨텍스트
- 유연한 노력 수준을 활용한 고급 코딩: 성능과 지연 시간의 균형을 맞추기 위해 여러 가지 사고 노력 수준을 갖춘 더 강력한 코딩 기능
- 개선된 아키텍처: IndexShare를 제안합니다. 이는 4개의 스파스 어텐션 레이어마다 동일한 인덱서를 재사용하여 1M 컨텍스트 길이에서 토큰당 FLOPs를 2.9배 줄입니다. 또한 GLM-5.2의 MTP 레이어를 추측적 디코딩에 맞게 개선하여 수락 길이를 최대 20%까지 늘렸습니다.
표준 코딩 벤치마크에서 GLM-5.2는 가장 강력한 오픈소스 모델로, GLM-5.1 대비 큰 폭의 성능 향상을 보였습니다. Terminal-Bench 2.1에서는 81.0점으로 GLM-5.1의 62.0점을 크게 상회했으며, SWE-bench Pro에서는 62.1점으로 GLM-5.1의 58.4점을 앞섰습니다. 또한 클로즈드소스 프런티어 모델과의 격차를 크게 줄였으며, Terminal-Bench 2.1(81.0)에서는 Claude Opus 4.8(85.0)에 몇 점 차이로 근접했고, Gemini 3.1 Pro를 여전히 앞서고 있습니다.
자세한 내용은 블로그를 확인해 보세요.
GLM-5.1
GLM-5.1은 에이전틱 엔지니어링을 위한 차세대 플래그십 모델로, 이전 모델보다 코딩 능력이 크게 강화되었습니다. SWE-Bench Pro에서 최첨단 성능을 달성했으며, NL2Repo(리포지토리 생성)와 Terminal-Bench 2.0(실제 터미널 작업)에서는 GLM-5를 큰 격차로 앞서고 있습니다.
그러나 가장 의미 있는 도약은 1차 성능을 넘어섭니다. GLM-5를 포함한 이전 모델들은 초기에 자신의 레퍼토리를 소진하는 경향이 있습니다. 익숙한 기법을 적용해 초기에 빠른 향상을 이룬 뒤, 곧바로 정체기에 접어듭니다. 더 많은 시간을 제공해도 도움이 되지 않습니다.
반면, GLM-5.1은 훨씬 더 긴 시간 동안 에이전틱 작업에서 효과성을 유지하도록 설계되었습니다. 해당 모델은 모호한 문제를 더 나은 판단력으로 처리하며, 더 긴 세션 동안에도 생산성을 유지하는 것으로 확인되었습니다. 복잡한 문제를 분해하고, 실험을 수행하며, 결과를 읽고, 실제 정밀도로 블로커를 식별합니다. 추론을 재검토하고 반복적인 반복을 통해 전략을 수정함으로써, GLM-5.1은 수백 라운드와 수천 번의 도구 호출에 걸쳐 최적화를 지속합니다. 실행 시간이 길수록 결과가 더 좋아집니다.
GLM-5
GLM-5(GlmMoeDsa)는 토큰당 활성 파라미터 40B를 가진 744B 파라미터 규모의 mixture-of-experts 모델로, DeepSeek Sparse Attention(DSA)을 사용하여 200K 토큰 컨텍스트를 효율적으로 처리합니다. 이 모델은 Huawei Ascend 칩에서 완전히 학습되었으며, 추론 및 롱 컨텍스트 벤치마크에서 프론티어 수준의 성능을 달성합니다.
과 의 발전에 힘입어, GLM-5는 GLM-4.7에 비해 다양한 학술 벤치마크에서 상당한 성능 향상을 보여주며, 추론, 코딩, 에이전틱 작업에서 전 세계 오픈소스 모델 중 최상위 성능을 달성하여 프론티어 모델과의 격차를 줄였습니다.
GlmMoeDsaConfig
클래스 transformers.GlmMoeDsaConfig
< source >( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonevocab_size: int = 154880hidden_size: int = 6144intermediate_size: int = 12288moe_intermediate_size: int = 2048num_hidden_layers: int = 78num_attention_heads: int = 64num_key_value_heads: int = 64n_shared_experts: int = 1n_routed_experts: int = 256output_router_logits: bool = Falserouted_scaling_factor: float = 2.5kv_lora_rank: int = 512q_lora_rank: int = 2048qk_rope_head_dim: int = 64v_head_dim: int = 256qk_nope_head_dim: int = 192n_group: int = 1topk_group: int = 1num_experts_per_tok: int = 8norm_topk_prob: bool = Truehidden_act: str = 'silu'max_position_embeddings: int = 202752initializer_range: float = 0.02rms_norm_eps: float = 1e-05use_cache: bool = Truepad_token_id: int | None = Nonebos_token_id: int | None = 0eos_token_id: int | list[int] | None = 1tie_word_embeddings: bool = Falserope_parameters: dict | None = Nonemlp_layer_types: list[str] | None = Noneattention_bias: bool = Falseattention_dropout: float | int = 0.0index_topk: int = 2048index_head_dim: int = 128index_n_heads: int = 32mlp_bias: bool = Falsehead_dim: int = 64first_k_dense_replace: int = 3layer_types: list[str] | None = Noneindexer_types: list[str] | None = None )
매개변수
- vocab_size (
int, 선택 사항, 기본값154880) — 모델의 어휘 크기입니다.input_ids로 표현할 수 있는 서로 다른 토큰의 수를 정의합니다. - hidden_size (
int, 선택 사항, 기본값6144) — 숨겨진 표현의 차원입니다. - intermediate_size (
int, 선택 사항, 기본값12288) — MLP 표현의 차원입니다. - moe_intermediate_size (
int, 선택 사항, 기본값2048) — 라우팅된 전문가 MLP의 중간 크기입니다. - num_hidden_layers (
int, 선택 사항, 기본값78) — Transformer decoder의 숨겨진 레이어 수. - num_attention_heads (
int, 선택 사항, 기본값64) — Transformer decoder의 각 attention layer에 사용할 attention head의 수입니다. - num_key_value_heads (
int, 선택 사항, 기본값64) — Grouped Query Attention 구현에 사용할 key_value 헤드 수입니다.num_key_value_heads=num_attention_heads인 경우 모델은 Multi Head Attention(MHA)을 사용하고,num_key_value_heads=1인 경우 모델은 Multi Query Attention(MQA)을 사용하며, 그 외에는 GQA가 사용됩니다. 멀티 헤드 체크포인트를 GQA 체크포인트로 변환할 때, 각 그룹의 key 및 value 헤드는 해당 그룹 내 모든 원래 헤드를 평균 풀링(meanpooling)하여 구성해야 합니다. 자세한 내용은 이 논문을 참고하세요. 지정되지 않으면num_attention_heads가 기본값으로 사용됩니다. - n_shared_experts (
int, 선택 사항, 기본값1) — 공유 전문가의 수입니다. - n_routed_experts (
int, 선택 사항, 기본값256) — 라우팅된 전문가의 수입니다. - output_router_logits (
bool, 선택 사항, 기본값False) — 모델이 router logits를 반환할지 여부입니다. 이 옵션을 활성화하면 load balancing loss와 router z-loss를 포함한 auxiliary loss도 출력할 수 있습니다. - routed_scaling_factor (
float, 선택 사항, 기본값2.5) — 라우팅된 전문가의 스케일링 팩터입니다. - kv_lora_rank (
int, 선택 사항, 기본값512) — 키 및 값 투영에 사용되는 LoRA 행렬의 랭크입니다. - q_lora_rank (
int, 선택 사항, 기본값2048) — 쿼리 투영에 사용되는 LoRA 행렬의 랭크입니다. - qk_rope_head_dim (
int, 선택 사항, 기본값64) — 회전 위치 임베딩을 사용하는 쿼리/키 헤드의 차원입니다. - v_head_dim (
int, 선택 사항, 기본값256) — value head의 차원입니다. - qk_nope_head_dim (
int, 선택 사항, 기본값192) — Rotary position embeddings를 사용하지 않는 query/key head의 차원입니다. - n_group (
int, 선택 사항, 기본값 1) — 라우팅된 전문가의 그룹 수. - topk_group (
int, 선택 사항, 기본값1) — 토큰별로 선택할 그룹의 수입니다(각 토큰에 대해 선택된 전문가가topk_group개의 그룹 내에서만 선택되도록 보장합니다). - num_experts_per_tok (
int, 선택 사항, 기본값8) — 각 토큰을 라우팅할 전문가의 수입니다. 이는 토큰 선택 라우팅의 top-k 값입니다. - norm_topk_prob (
bool, 선택 사항, 기본값True) — 라우팅된 전문가의 가중치를 정규화할지 여부입니다. - hidden_act (
str, 선택 사항, 기본값silu) — 디코더의 비선형 활성화 함수(함수 또는 문자열)입니다. 예를 들어,"gelu","relu","silu"등이 있습니다. - max_position_embeddings (
int, 선택 사항, 기본값202752) — 이 모델이 사용될 수 있는 최대 시퀀스 길이입니다. - initializer_range (
float, 선택 사항, 기본값0.02) — 모든 가중치 행렬을 초기화하는 truncated_normal_initializer의 표준 편차입니다. - rms_norm_eps (
float, 선택 사항, 기본값1e-05) — rms 정규화 레이어에서 사용되는 epsilon 값입니다. - use_cache (
bool, 선택 사항, 기본값True) — 모델이 마지막 key/values attention을 반환할지 여부입니다(모든 모델에서 사용되지 않음).config.is_decoder=True인 경우 또는 모델이 decoder-only 생성 모델인 경우에만 관련이 있습니다. - pad_token_id (
int, 선택 사항) — 어휘에서 패딩에 사용되는 토큰 ID입니다. - bos_token_id (
int, 선택 사항, 기본값0) — 어휘에서 스트림 시작에 사용되는 토큰 id입니다. - eos_token_id (
Union[int, list[int]], 선택 사항, 기본값1) — 어휘에서 스트림 종료에 사용되는 토큰 id입니다. - tie_word_embeddings (
bool, 선택, 기본값False) — 모델의tied_weights_keys매핑에 따라 가중치 임베딩을 묶을지 여부. - rope_parameters (
dict, 선택) — RoPE 임베딩의 구성 매개변수를 포함하는 사전입니다. 사전에는rope_theta값이 포함되어야 하며, 더 긴max_position_embeddings로 RoPE를 사용하려는 경우 스케일링에 사용되는 매개변수를 선택적으로 포함할 수 있습니다. - mlp_layer_types (
list, 선택 사항) — 각 레이어에 대한 MLP 타입 패턴("dense"또는"sparse"). 기본값은 3개의 dense 레이어와 나머지 sparse 레이어입니다. - attention_bias (
bool, 선택 사항, 기본값False) — 자기 주의(self-attention) 시 query, key, value 및 출력 투영 계층에 bias를 사용할지 여부입니다. - attention_dropout (
Union[float, int], 선택 사항, 기본값0.0) — Attention 확률에 적용할 dropout 비율입니다. - index_topk (
int, 선택 사항, 기본값 2048) — sparse attention을 위해 indexer가 선택하는 상위 토큰의 개수입니다. - index_head_dim (
int, 선택 사항, 기본값 128) — 인덱서 투영에 사용되는 헤드 차원(DSA). - index_n_heads (
int, 선택 사항, 기본값 32) — 인덱서 투영(DSA)에 사용할 헤드 수입니다. - mlp_bias (
bool, 선택 사항, 기본값False) — MLP 레이어의 up_proj, down_proj, gate_proj 레이어에 bias를 사용할지 여부. - head_dim (
int, 선택 사항, 기본값64) — Attention head의 차원입니다. None인 경우 hidden_size // num_attention_heads 값이 기본값으로 사용됩니다. - first_k_dense_replace (
int, 선택 사항, 기본값 3) — 밀집 MLP를 사용하는 앞부분 레이어의 개수입니다. 나머지 레이어는 MoE 블록을 사용합니다. - layer_types (
list[str], 선택 사항) — 각 레이어 인덱스를 해당 레이어 유형에 명시적으로 매핑하는 목록입니다. 제공되지 않으면 config 값에 기반하여 자동으로 생성됩니다. - indexer_types (
list[str], 선택 사항) — 레이어별 indexer 모드입니다."full"은 indexers를 실행하고,"shared"는 이전 full 레이어의 top-k를 재사용합니다. 기본값은index_topk_freq/index_skip_topk_offset(또는index_topk_pattern)에서 파생된 패턴입니다.
이것은 GlmMoeDsaModel의 설정을 저장하기 위한 설정 클래스입니다. 지정된 인자에 따라 Glm Moe Dsa 모델을 초기화하여 모델 아키텍처를 정의하는 데 사용됩니다. 기본값으로 설정을 초기화하면 zai-org/GLM-5와 유사한 설정이 생성됩니다.
Configuration 객체는 PreTrainedConfig를 상속하며 모델 출력을 제어하는 데 사용할 수 있습니다. 자세한 내용은 PreTrainedConfig의 문서를 참고하세요.
>>> from transformers import GlmMoeDsaConfig, GlmMoeDsaModel
>>> # Initializing a GLM-MoE-DSA configuration
>>> configuration = GlmMoeDsaConfig()
>>> # Initializing a model from the configuration
>>> model = GlmMoeDsaModel(configuration)
>>> # Accessing the model configuration
>>> configuration = model.configGlmMoeDsaModel
클래스 transformers.GlmMoeDsaModel
< source >( config: GlmMoeDsaConfig )
매개변수
- config (GlmMoeDsaConfig) — 모델의 모든 매개변수를 포함하는 모델 구성 클래스입니다. 구성 파일로 초기화하는 것은 모델과 관련된 가중치를 로드하지 않으며, 구성 정보만 로드합니다. 모델 가중치를 로드하려면 from_pretrained() 메서드를 확인하세요.
GlM MoE DSA 모델은 특정 헤드가 위에 없는 상태에서 원시 hidden-states를 출력하는 기본 모델입니다.
이 모델은 PreTrainedModel에서 상속됩니다. 라이브러리가 모든 모델에 대해 구현하는 일반적 메서드(다운로드 또는 저장, 입력 임베딩 크기 조정, 헤드 프루닝 등)에 대한 세부 사항은 상위 클래스 문서를 확인하세요.
이 모델은 또한 PyTorch torch.nn.Module의 하위 클래스입니다. 일반적인 PyTorch Module처럼 사용하며, 일반적인 사용법 및 동작과 관련된 모든 사항은 PyTorch 문서를 참조하세요.
forward
< source >( input_ids: typing.Optional[torch.LongTensor] = Noneattention_mask: typing.Optional[torch.Tensor] = Noneposition_ids: typing.Optional[torch.LongTensor] = Nonepast_key_values: transformers.cache_utils.Cache | None = Noneinputs_embeds: typing.Optional[torch.Tensor] = Noneuse_cache: bool | None = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → MoeModelOutputWithPast or tuple(torch.Tensor)
매개변수
- input_ids (
torch.LongTensor형상이(batch_size, sequence_length), 선택 사항) — 어휘(input vocabulary)에서 입력 시퀀스 토큰의 인덱스입니다. 기본적으로 패딩은 무시됩니다.AutoTokenizer를 사용하여 인덱스를 얻을 수 있습니다. 자세한 내용은 PreTrainedTokenizer.encode() 및 PreTrainedTokenizer.call()를 참조하세요.
- attention_mask (
torch.Tensor형상이(batch_size, sequence_length), 선택 사항) — 패딩 토큰 인덱스에 대한 attention을 수행하지 않도록 방지하는 마스크. [0, 1]에서 선택된 마스크 값: 마스크되지 않은 토큰은 1, 마스크된 토큰은 0. attention mask란 무엇인가요?[0, 1]:- 마스크되지 않은 토큰에 대해 1
- 마스크된 토큰에 대해 0
- position_ids (
torch.LongTensor의 shape(batch_size, sequence_length), , 선택 사항) — 위치 임베딩에서 각 입력 시퀀스 토큰의 위치 인덱스. 범위[0, config.n_positions - 1]. - past_key_values (
~cache_utils.Cache, 선택 사항) — 순차적 디코딩을 가속화할 수 있는 사전 계산된 hidden-states(self-attention 블록과 cross-attention 블록의 key 및 value). 일반적으로 이는past_key_values디코딩의 이전 단계에서 모델이 반환한use_cache=True또는config.use_cache=True.입력으로 Cache 인스턴스만 허용되며, kv cache 가이드를 참고하세요.
past_key_values가 전달되지 않으면 기본적으로 DynamicCache가 초기화됩니다.모델은 입력으로 제공된 것과 동일한 캐시 형식을 출력합니다.
past_key_values를 사용하는 경우, 이 모델에 과거 키 값 상태가 제공되지 않은input_ids만 입력해야 하며, 이때의 shape은(batch_size, unprocessed_length)입니다. shape이(batch_size, sequence_length)인 전체input_ids를 입력하지 않습니다. - inputs_embeds (
torch.Tensor, shape(batch_size, sequence_length, hidden_size), 선택) —input_ids를 전달하는 대신 임베딩 표현을 직접 전달할 수 있습니다. 이는 모델 내부의 임베딩 조회 행렬보다input_ids인덱스를 관련 벡터로 변환하는 방식에 대해 더 세밀한 제어가 필요한 경우에 유용합니다. - use_cache (
bool, 선택 사항) —True로 설정하면past_key_values키 값 상태가 반환되며, 디코딩 속도를 높이는 데 사용할 수 있습니다(past_key_values참조).
반환값
MoeModelOutputWithPast 또는 tuple(torch.Tensor)
MoeModelOutputWithPast 또는 torch.Tensor의 튜플(return_dict=False가 전달되었거나 config.return_dict=False인 경우)로, 구성(GlmMoeDsaConfig)과 입력에 따라 다양한 요소를 포함합니다.
GlmMoeDsaModel의 forward 메서드는 __call__ 특수 메서드를 오버라이드합니다.
이 함수 내에서 forward pass의 레시피를 정의해야 하지만, 이후에는 이 함수 대신
Module인스턴스를 호출해야 합니다. 전자는 전처리 및 후처리 단계를 실행하는 것을 처리하는 반면, 후자는 이를 조용히 무시하기 때문입니다.
last_hidden_state (
torch.Tensor, shape(batch_size, sequence_length, hidden_size)) — 모델의 마지막 레이어 출력에서 생성된 hidden-state 시퀀스입니다.past_key_values (
Cache, 선택 사항,use_cache=True가 전달되었거나config.use_cache=True인 경우 반환됨) — Cache 인스턴스입니다. 자세한 내용은 kv cache 가이드를 참고하세요.순차적 디코딩을 가속화하는 데 사용할 수 있는 사전 계산된 hidden-states(셀프 어텐션 블록의 key와 value, 그리고
config.is_encoder_decoder=True인 경우 크로스 어텐션 블록의 key와 value)를 포함합니다(입력past_key_values참조).hidden_states (
tuple(torch.Tensor), 선택 사항,output_hidden_states=True가 전달되거나config.output_hidden_states=True인 경우 반환됨) —torch.Tensor의 튜플(모델에 임베딩 레이어가 있는 경우 임베딩 출력 1개 + 각 레이어의 출력 1개)로, 모양은(batch_size, sequence_length, hidden_size)입니다.각 레이어의 출력에서 모델의 Hidden-states와 선택적 초기 임베딩 출력을 포함합니다.
attentions (
tuple(torch.Tensor), 선택 사항,output_attentions=True가 전달되었거나config.output_attentions=True인 경우 반환됨) — 각 레이어마다 하나씩 포함된torch.Tensor의 튜플로, 모양은(batch_size, num_heads, sequence_length, sequence_length)입니다.self-attention 헤드에서 가중 평균을 계산하는 데 사용되는 attention softmax 이후의 attention 가중치.
router_logits (
tuple(torch.Tensor), 선택 사항,output_router_probs=True와config.add_router_probs=True가 전달되었거나config.output_router_probs=True인 경우 반환됨) — 각 레이어마다 하나씩, 모양이(batch_size, sequence_length, num_experts)인torch.Tensor의 튜플.MoE 라우터가 계산하는 softmax 적용 후의 원시 라우터 로짓(raw router logits)입니다. 이 값들은 Mixture of Experts 모델의 보조 손실(auxiliary loss)을 계산하는 데 사용됩니다.
GlmMoeDsaForCausalLM
클래스 transformers.GlmMoeDsaForCausalLM
< source >( config: GlmMoeDsaConfig )
매개변수
- config (GlmMoeDsaConfig) — 모델의 모든 매개변수를 포함하는 모델 구성 클래스입니다. 구성 파일로 초기화하는 것은 모델과 관련된 가중치를 로드하지 않으며, 구성 정보만 로드합니다. 모델 가중치를 로드하려면 from_pretrained() 메서드를 확인하세요.
causal language modeling을 위한 Glm Moe Dsa Model.
이 모델은 PreTrainedModel에서 상속됩니다. 라이브러리가 모든 모델에 대해 구현하는 일반적 메서드(다운로드 또는 저장, 입력 임베딩 크기 조정, 헤드 프루닝 등)에 대한 세부 사항은 상위 클래스 문서를 확인하세요.
이 모델은 또한 PyTorch torch.nn.Module의 하위 클래스입니다. 일반적인 PyTorch Module처럼 사용하며, 일반적인 사용법 및 동작과 관련된 모든 사항은 PyTorch 문서를 참조하세요.
forward
< source >( input_ids: typing.Optional[torch.LongTensor] = Noneattention_mask: typing.Optional[torch.Tensor] = Noneposition_ids: typing.Optional[torch.LongTensor] = Nonepast_key_values: transformers.cache_utils.Cache | None = Noneinputs_embeds: typing.Optional[torch.Tensor] = Nonelabels: typing.Optional[torch.LongTensor] = Noneuse_cache: bool | None = Nonelogits_to_keep: typing.Union[int, torch.Tensor] = 0**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → MoeCausalLMOutputWithPast or tuple(torch.Tensor)
매개변수
- input_ids (
torch.LongTensor형상이(batch_size, sequence_length), 선택 사항) — 어휘(input vocabulary)에서 입력 시퀀스 토큰의 인덱스입니다. 기본적으로 패딩은 무시됩니다.AutoTokenizer를 사용하여 인덱스를 얻을 수 있습니다. 자세한 내용은 PreTrainedTokenizer.encode() 및 PreTrainedTokenizer.call()를 참조하세요.
- attention_mask (
torch.Tensor형상이(batch_size, sequence_length), 선택 사항) — 패딩 토큰 인덱스에 대한 attention을 수행하지 않도록 방지하는 마스크. [0, 1]에서 선택된 마스크 값: 마스크되지 않은 토큰은 1, 마스크된 토큰은 0. attention mask란 무엇인가요?[0, 1]:- 마스크되지 않은 토큰에 대해 1
- 마스크된 토큰에 대해 0
- position_ids (
torch.LongTensor의 shape(batch_size, sequence_length), , 선택 사항) — 위치 임베딩에서 각 입력 시퀀스 토큰의 위치 인덱스. 범위[0, config.n_positions - 1]. - past_key_values (
~cache_utils.Cache, 선택 사항) — 순차적 디코딩을 가속화할 수 있는 사전 계산된 hidden-states(self-attention 블록과 cross-attention 블록의 key 및 value). 일반적으로 이는past_key_values디코딩의 이전 단계에서 모델이 반환한use_cache=True또는config.use_cache=True.입력으로 Cache 인스턴스만 허용되며, kv cache 가이드를 참고하세요.
past_key_values가 전달되지 않으면 기본적으로 DynamicCache가 초기화됩니다.모델은 입력으로 제공된 것과 동일한 캐시 형식을 출력합니다.
past_key_values를 사용하는 경우, 이 모델에 과거 키 값 상태가 제공되지 않은input_ids만 입력해야 하며, 이때의 shape은(batch_size, unprocessed_length)입니다. shape이(batch_size, sequence_length)인 전체input_ids를 입력하지 않습니다. - inputs_embeds (
torch.Tensor, shape(batch_size, sequence_length, hidden_size), 선택) —input_ids를 전달하는 대신 임베딩 표현을 직접 전달할 수 있습니다. 이는 모델 내부의 임베딩 조회 행렬보다input_ids인덱스를 관련 벡터로 변환하는 방식에 대해 더 세밀한 제어가 필요한 경우에 유용합니다. - labels (
torch.LongTensor형태가(batch_size, sequence_length), 선택 사항) — causal language modeling loss를 계산하기 위한 라벨. 인덱스는[-100, 0, ..., config.vocab_size](참조input_ids문서 문자열). 인덱스가-100으로 설정된 토큰은 무시(마스크)되며, loss는 라벨이[0, ..., config.vocab_size].레이블은 내부적으로 시프트되어
labels[..., 1:]가logits[..., :-1, :]를 예측하는 데 사용됩니다.input_ids와 일치하는 시프트되지 않은 레이블을 전달하세요(즉,labels = input_ids). 전달하기 전에 레이블을 직접 시프트하지 마세요.레이블이 이미 시프트된 경우(예: 시퀀스 병렬성 사용 시),
shift_labels키워드 인수로 전달하면 그대로 사용됩니다. 손실이 계산되려면labels도 여전히 전달되어야 합니다. - use_cache (
bool, 선택 사항) —True로 설정하면past_key_values키 값 상태가 반환되며, 디코딩 속도를 높이는 데 사용할 수 있습니다(past_key_values참조). - logits_to_keep (
Union[int, torch.Tensor], 선택 사항, 기본값0) —int인 경우, 마지막logits_to_keep토큰에 대한 logits를 계산합니다.0인 경우, 모든input_ids에 대한 logits를 계산합니다(특수한 경우). 생성에는 마지막 토큰의 logits만 필요하며, 해당 토큰에 대해서만 계산하면 메모리를 절약할 수 있습니다. 이는 긴 시퀀스나 큰 어휘 크기의 경우 상당한 이점을 제공합니다.torch.Tensor인 경우, 시퀀스 길이 차원에서 유지할 인덱스에 해당하는 1차원 텐서여야 합니다. 이는 패킹된 텐서 형식(배치와 시퀀스 길이를 단일 차원으로 사용하는 경우)을 사용할 때 유용합니다.
반환값
MoeCausalLMOutputWithPast 또는 tuple(torch.Tensor)
MoeCausalLMOutputWithPast 또는 torch.Tensor의 튜플(return_dict=False이 전달되었거나 config.return_dict=False인 경우)로, 구성(GlmMoeDsaConfig)과 입력에 따라 다양한 요소를 포함합니다.
GlmMoeDsaForCausalLM의 forward 메서드는 __call__ 특수 메서드를 오버라이드합니다.
이 함수 내에서 forward pass의 레시피를 정의해야 하지만, 이후에는 이 함수 대신
Module인스턴스를 호출해야 합니다. 전자는 전처리 및 후처리 단계를 실행하는 것을 처리하는 반면, 후자는 이를 조용히 무시하기 때문입니다.
loss (
torch.Tensor, shape(1,), 선택 사항,labels이 제공될 때 반환됨) — 언어 모델링 손실(다음 토큰 예측용).logits (
torch.Tensor, shape(batch_size, sequence_length, config.vocab_size)) — 언어 모델링 헤드에서 생성된 예측 점수(SoftMax 적용 전 각 어휘 토큰에 대한 점수).aux_loss (
torch.Tensor, 선택 사항,output_router_logits=True가 전달되거나config.output_router_logits=True인 경우, 그리고 모델이 로드 밸런싱 손실로 라우터를 학습하는 경우 반환됨) — 희소 모듈에 대한 로드 밸런싱 보조 손실입니다. 대신 라우터 바이어스로 전문가를 균형 맞추는 모델(DeepSeek-V3 및 이를 기반으로 파생된 아키텍처)은router_logits를 반환하되 여기서는None을 반환합니다.router_logits (
tuple(torch.Tensor), 선택 사항,output_router_logits=True가 전달되거나config.output_router_logits=True인 경우 반환됨) —torch.Tensor의 튜플(스파스 레이어마다 하나)로, 형태는(batch_size * sequence_length, num_experts)입니다.MoE 라우터가 계산한 원시 라우터 로짓입니다. 로드 밸런싱 손실을 계산하거나 토큰이 전문가로 어떻게 분배되는지 확인하는 데 사용할 수 있습니다.
past_key_values (
Cache, 선택 사항,use_cache=True가 전달되었거나config.use_cache=True인 경우 반환됨) — Cache 인스턴스입니다. 자세한 내용은 kv cache 가이드를 참고하세요.순차적 디코딩을 가속화하는 데 사용할 수 있는 사전 계산된 hidden-states(셀프 어텐션 블록의 key와 value)를 포함합니다(입력
past_key_values참조).hidden_states (
tuple(torch.Tensor), 선택 사항,output_hidden_states=True가 전달되거나config.output_hidden_states=True인 경우 반환됨) —torch.Tensor의 튜플(모델에 임베딩 레이어가 있는 경우 임베딩 출력 1개 + 각 레이어의 출력 1개)로, 모양은(batch_size, sequence_length, hidden_size)입니다.각 레이어의 출력에서 모델의 Hidden-states와 선택적 초기 임베딩 출력을 포함합니다.
attentions (
tuple(torch.Tensor), 선택 사항,output_attentions=True가 전달되었거나config.output_attentions=True인 경우 반환됨) — 각 레이어마다 하나씩 포함된torch.Tensor의 튜플로, 모양은(batch_size, num_heads, sequence_length, sequence_length)입니다.self-attention 헤드에서 가중 평균을 계산하는 데 사용되는 attention softmax 이후의 attention 가중치.
예:
>>> from transformers import AutoTokenizer, GlmMoeDsaForCausalLM
>>> model = GlmMoeDsaForCausalLM.from_pretrained("meta-glm_moe_dsa/GlmMoeDsa-2-7b-hf")
>>> tokenizer = AutoTokenizer.from_pretrained("meta-glm_moe_dsa/GlmMoeDsa-2-7b-hf")
>>> prompt = "Hey, are you conscious? Can you talk to me?"
>>> inputs = tokenizer(prompt, return_tensors="pt")
>>> # Generate
>>> generate_ids = model.generate(inputs.input_ids, max_length=30)
>>> tokenizer.batch_decode(generate_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False)[0]
"Hey, are you conscious? Can you talk to me?\nI'm not conscious, but I can talk to you."