phate334 commited on
Commit
652a394
·
verified ·
1 Parent(s): a6ad5f6

Upload README.md

Browse files
Files changed (1) hide show
  1. README.md +14 -22
README.md CHANGED
@@ -24,32 +24,24 @@ tags:
24
 
25
  # Breeze-ASR-26-float16-CT2
26
 
27
- 這是`MediaTek-Research/Breeze-ASR-26` 轉換而來的 `ctranslate2` 量化版本;此 artifact 沒有額外訓練紀錄
28
 
29
- ## 來源模型
30
 
31
- - 模型[MediaTek-Research/Breeze-ASR-26](https://huggingface.co/MediaTek-Research/Breeze-ASR-26)
32
- - Revision:`7b992682e7f5ceedd0a41ebec240f01ba469d19e`
33
- - 授權:Apache-2.0,依來源模型卡宣告
34
-
35
- ## 量化資訊
36
-
37
- - Backend:`ctranslate2`
38
  - 量化:`float16`
39
 
40
- ## 評估摘要
 
 
41
 
42
- 這次評估使用教育部臺灣台語常用詞辭典例句音檔:
43
- [教育部臺灣台語常用詞辭典相關資源](https://sutian.moe.edu.tw/und-hani/siongkuantsuguan/).
44
- 評估子集取例句音檔中 `hanzi` 長度最長的 100 筆樣本。
45
 
46
- 以下 CER 使用原始 HF `float16` 推論結果作為 pseudo-reference,衡量不同轉換/量化版本相對於原始模型輸出 drift
47
- 這不是對人工標註逐字稿計算的 ASR CER。計算時會先移除輸出文字中的所有空白,再計算字元級 Levenshtein distance。
48
 
49
- 以這次結果來看,量化部署建議優先使用 `CT2 int8`:
50
- 它完成全部 100 筆樣本,VRAM 約 `2097-2129 MiB`,相對 HF `float16` baseline 的 CER drift 為 `0.1263`,整體成本效益最好。
51
 
52
- | 版本 | 推論結果 | 成功/總數 | VRAM MiB |
53
  |---|---|---:|---:|
54
  | [vLLM HF `float16`](https://huggingface.co/MediaTek-Research/Breeze-ASR-26) | `vllm-hf-float16.jsonl` | 100/100 | 21267-21267 |
55
  | [CT2 `float16`](https://huggingface.co/phate334/Breeze-ASR-26-float16-CT2) | `ct2-float16.jsonl` | 100/100 | 3991-3991 |
@@ -60,11 +52,11 @@ tags:
60
  | [whisper.cpp / GGML `q5_0`](https://huggingface.co/phate334/Breeze-ASR-26-GGML) | `whisper-cpp-ggml-q5_0.jsonl` | 100/100 | 2027-2027 |
61
  | [whisper.cpp / GGML `q8_0`](https://huggingface.co/phate334/Breeze-ASR-26-GGML) | `whisper-cpp-ggml-q8_0.jsonl` | 100/100 | 2575-2575 |
62
 
63
- ### 相對 HF Baseline 的 CER
64
 
65
- Baseline reference:`vllm-hf-float16.jsonl`。
66
 
67
- | 比較版本 | CER | 字元錯誤/參考字元 | 完全一致 |
68
  |---|---:|---:|---:|
69
  | `ct2-int8_float16.jsonl` | 0.1157 | 633/5470 | 11 |
70
  | `ct2-float16.jsonl` | 0.1176 | 643/5470 | 7 |
@@ -76,5 +68,5 @@ Baseline reference:`vllm-hf-float16.jsonl`。
76
 
77
  ## 更多資訊
78
 
79
- 評估程式、資料準備方式與完整結果報表請見 GitHub repository
80
  https://github.com/phate334/stt-eval
 
24
 
25
  # Breeze-ASR-26-float16-CT2
26
 
27
+ 本模型[MediaTek-Research/Breeze-ASR-26](https://huggingface.co/MediaTek-Research/Breeze-ASR-26) 轉換 `ctranslate2` 量化格式,未額外微調
28
 
29
+ ## 量化
30
 
31
+ - 後端`ctranslate2`
 
 
 
 
 
 
32
  - 量化:`float16`
33
 
34
+ ## 評估
35
+
36
+ 資料來源:教育部臺灣台語常用詞辭典例句音檔,取 `hanzi` 長度最長的 100 筆樣本。
37
 
38
+ - [教育部臺灣台語常用詞辭典相關資源](https://sutian.moe.edu.tw/und-hani/siongkuantsuguan/)
 
 
39
 
40
+ CER 原始 HF `float16` 推論結果作為偽參考用來衡量轉換/量化後的輸出偏移;這不是人工標註逐字稿 CER計算前會先移除所有空白,再計算字元級 Levenshtein 距離。
 
41
 
42
+ 量化部署建議優先使用 `CT2 int8`:100 筆全數成功,VRAM 約 `2097-2129 MiB`,相對 HF `float16` 基準的 CER 為 `0.1263`。
 
43
 
44
+ | 版本 | 結果 | 成功/總數 | VRAM MiB |
45
  |---|---|---:|---:|
46
  | [vLLM HF `float16`](https://huggingface.co/MediaTek-Research/Breeze-ASR-26) | `vllm-hf-float16.jsonl` | 100/100 | 21267-21267 |
47
  | [CT2 `float16`](https://huggingface.co/phate334/Breeze-ASR-26-float16-CT2) | `ct2-float16.jsonl` | 100/100 | 3991-3991 |
 
52
  | [whisper.cpp / GGML `q5_0`](https://huggingface.co/phate334/Breeze-ASR-26-GGML) | `whisper-cpp-ggml-q5_0.jsonl` | 100/100 | 2027-2027 |
53
  | [whisper.cpp / GGML `q8_0`](https://huggingface.co/phate334/Breeze-ASR-26-GGML) | `whisper-cpp-ggml-q8_0.jsonl` | 100/100 | 2575-2575 |
54
 
55
+ ### 相對 HF 基準的 CER
56
 
57
+ 基準:`vllm-hf-float16.jsonl`。
58
 
59
+ | 比較版本 | CER | 字元錯誤 / 參考字元 | 完全一致 |
60
  |---|---:|---:|---:|
61
  | `ct2-int8_float16.jsonl` | 0.1157 | 633/5470 | 11 |
62
  | `ct2-float16.jsonl` | 0.1176 | 643/5470 | 7 |
 
68
 
69
  ## 更多資訊
70
 
71
+ 評估程式、資料準備與完整報表:
72
  https://github.com/phate334/stt-eval