Upload README.md
Browse files
README.md
CHANGED
|
@@ -24,32 +24,24 @@ tags:
|
|
| 24 |
|
| 25 |
# Breeze-ASR-26-float16-CT2
|
| 26 |
|
| 27 |
-
|
| 28 |
|
| 29 |
-
##
|
| 30 |
|
| 31 |
-
-
|
| 32 |
-
- Revision:`7b992682e7f5ceedd0a41ebec240f01ba469d19e`
|
| 33 |
-
- 授權:Apache-2.0,依來源模型卡宣告
|
| 34 |
-
|
| 35 |
-
## 量化資訊
|
| 36 |
-
|
| 37 |
-
- Backend:`ctranslate2`
|
| 38 |
- 量化:`float16`
|
| 39 |
|
| 40 |
-
## 評估
|
|
|
|
|
|
|
| 41 |
|
| 42 |
-
|
| 43 |
-
[教育部臺灣台語常用詞辭典相關資源](https://sutian.moe.edu.tw/und-hani/siongkuantsuguan/).
|
| 44 |
-
評估子集取例句音檔中 `hanzi` 長度最長的 100 筆樣本。
|
| 45 |
|
| 46 |
-
|
| 47 |
-
這不是對人工標註逐字稿計算的 ASR CER。計算時會先移除輸出文字中的所有空白,再計算字元級 Levenshtein distance。
|
| 48 |
|
| 49 |
-
|
| 50 |
-
它完成全部 100 筆樣本,VRAM 約 `2097-2129 MiB`,相對 HF `float16` baseline 的 CER drift 為 `0.1263`,整體成本效益最好。
|
| 51 |
|
| 52 |
-
| 版本 |
|
| 53 |
|---|---|---:|---:|
|
| 54 |
| [vLLM HF `float16`](https://huggingface.co/MediaTek-Research/Breeze-ASR-26) | `vllm-hf-float16.jsonl` | 100/100 | 21267-21267 |
|
| 55 |
| [CT2 `float16`](https://huggingface.co/phate334/Breeze-ASR-26-float16-CT2) | `ct2-float16.jsonl` | 100/100 | 3991-3991 |
|
|
@@ -60,11 +52,11 @@ tags:
|
|
| 60 |
| [whisper.cpp / GGML `q5_0`](https://huggingface.co/phate334/Breeze-ASR-26-GGML) | `whisper-cpp-ggml-q5_0.jsonl` | 100/100 | 2027-2027 |
|
| 61 |
| [whisper.cpp / GGML `q8_0`](https://huggingface.co/phate334/Breeze-ASR-26-GGML) | `whisper-cpp-ggml-q8_0.jsonl` | 100/100 | 2575-2575 |
|
| 62 |
|
| 63 |
-
### 相對 HF
|
| 64 |
|
| 65 |
-
|
| 66 |
|
| 67 |
-
| 比較版本 | CER | 字元錯誤/參考字元 | 完全一致 |
|
| 68 |
|---|---:|---:|---:|
|
| 69 |
| `ct2-int8_float16.jsonl` | 0.1157 | 633/5470 | 11 |
|
| 70 |
| `ct2-float16.jsonl` | 0.1176 | 643/5470 | 7 |
|
|
@@ -76,5 +68,5 @@ Baseline reference:`vllm-hf-float16.jsonl`。
|
|
| 76 |
|
| 77 |
## 更多資訊
|
| 78 |
|
| 79 |
-
評估程式、資料準備
|
| 80 |
https://github.com/phate334/stt-eval
|
|
|
|
| 24 |
|
| 25 |
# Breeze-ASR-26-float16-CT2
|
| 26 |
|
| 27 |
+
本模型由 [MediaTek-Research/Breeze-ASR-26](https://huggingface.co/MediaTek-Research/Breeze-ASR-26) 轉換為 `ctranslate2` 量化格式,未額外微調。
|
| 28 |
|
| 29 |
+
## 量化
|
| 30 |
|
| 31 |
+
- 後端:`ctranslate2`
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 32 |
- 量化:`float16`
|
| 33 |
|
| 34 |
+
## 評估
|
| 35 |
+
|
| 36 |
+
資料來源:教育部臺灣台語常用詞辭典例句音檔,取 `hanzi` 長度最長的 100 筆樣本。
|
| 37 |
|
| 38 |
+
- [教育部臺灣台語常用詞辭典相關資源](https://sutian.moe.edu.tw/und-hani/siongkuantsuguan/)
|
|
|
|
|
|
|
| 39 |
|
| 40 |
+
CER 以原始 HF `float16` 推論結果作為偽參考,用來衡量轉換/量化後的輸出偏移;這不是人工標註逐字稿 CER。計算前會先移除所有空白,再計算字元級 Levenshtein 距離。
|
|
|
|
| 41 |
|
| 42 |
+
量化部署建議優先使用 `CT2 int8`:100 筆全數成功,VRAM 約 `2097-2129 MiB`,相對 HF `float16` 基準的 CER 為 `0.1263`。
|
|
|
|
| 43 |
|
| 44 |
+
| 版本 | 結果檔 | 成功/總數 | VRAM MiB |
|
| 45 |
|---|---|---:|---:|
|
| 46 |
| [vLLM HF `float16`](https://huggingface.co/MediaTek-Research/Breeze-ASR-26) | `vllm-hf-float16.jsonl` | 100/100 | 21267-21267 |
|
| 47 |
| [CT2 `float16`](https://huggingface.co/phate334/Breeze-ASR-26-float16-CT2) | `ct2-float16.jsonl` | 100/100 | 3991-3991 |
|
|
|
|
| 52 |
| [whisper.cpp / GGML `q5_0`](https://huggingface.co/phate334/Breeze-ASR-26-GGML) | `whisper-cpp-ggml-q5_0.jsonl` | 100/100 | 2027-2027 |
|
| 53 |
| [whisper.cpp / GGML `q8_0`](https://huggingface.co/phate334/Breeze-ASR-26-GGML) | `whisper-cpp-ggml-q8_0.jsonl` | 100/100 | 2575-2575 |
|
| 54 |
|
| 55 |
+
### 相對 HF 基準的 CER
|
| 56 |
|
| 57 |
+
基準:`vllm-hf-float16.jsonl`。
|
| 58 |
|
| 59 |
+
| 比較版本 | CER | 字元錯誤 / 參考字元 | 完全一致 |
|
| 60 |
|---|---:|---:|---:|
|
| 61 |
| `ct2-int8_float16.jsonl` | 0.1157 | 633/5470 | 11 |
|
| 62 |
| `ct2-float16.jsonl` | 0.1176 | 643/5470 | 7 |
|
|
|
|
| 68 |
|
| 69 |
## 更多資訊
|
| 70 |
|
| 71 |
+
評估程式、資料準備與完整報表:
|
| 72 |
https://github.com/phate334/stt-eval
|