idah4/etm-korean-tiny

ETM-Korean

소형 텍스트 디코더 LM

• 200 MB causal LM trained on Korean web text.
• 학습 데이터: beomi/kowikitext-qa-ref-detail-preview, HAERAE-HUB/KOREAN-WEBTEXT 일부
• HAERAE-HUB/KOREAN-WEBTEXT 데이터셋 기준: train_ce 4.934 | val_ce 4.835 | val_ppl 125.79 | d1 1.000 | d2 1.000 | rep 0.000 | char_ppl 26.78

Example

# %% ETM Inference
import torch
from transformers import AutoModelForCausalLM
from transformers import AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("EleutherAI/polyglot-ko-1.3b")

# 1️⃣ 모델 로드
repo_id = "idah4/etm-korean-tiny"
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")

model = AutoModelForCausalLM.from_pretrained(
    repo_id,
    trust_remote_code=True
).to(device).eval()

def encode(text):
    return torch.tensor(
        tokenizer(text)["input_ids"],
        dtype=torch.long
    ).unsqueeze(0).to(device)

def decode(ids):
    return tokenizer.decode(ids.tolist(), skip_special_tokens=True)

# 3️⃣ 텍스트 생성 함수
@torch.no_grad()
def generate_text(prompt: str, 
    temperature=0.8,
    top_k=40,
    top_p=0.95,
    repetition_penalty=2.0,
    max_new_tokens=100,):

    input_ids = encode(prompt)
    out = model.generate(
        input_ids,
        max_new_tokens=max_new_tokens,
        temperature=temperature,
        top_k=top_k
    )
    text_out = decode(out[0])
    return text_out

# 4️⃣ 시연
# 4️⃣ 시연
prompt = "나: 나는 사람이야. 너는 정체가 뭐니?\n너:"
result = generate_text(
    prompt,
    max_new_tokens=40,
    temperature=0.7,
    top_k=32,
    top_p=0.9,
    repetition_penalty=1.1
)


print("📝 Prompt:", prompt)
print("💬 Generated:\n", result)


📝 Prompt: 나: 나는 사람이야. 너는 정체가 뭐니?
너:
💬 Generated:
 나: 나는 사람이야. 너는 정체가 뭐니?
너:
이런 말� 들은 일은 없다. 그들이 원하는 일, 즉 그렇게 당신의 삶에 대한 질문이 있었어요
“내 마음은 좋고, 그래서 좋겠