1️⃣ 공개 데이터셋 벤치마크
| 데이터셋 |
마고 |
OpenAI Whisper |
Google |
Naver Clova |
리턴제로 |
| Avg. CER(%) |
3.99 |
11.39 |
11.5 |
9.52 |
7.79 |
| 주요 영역별 회의 |
4.45 |
10.49 |
N/A1 |
7.88 |
6.43 |
| 회의 |
4.37 |
10.16 |
11.62 |
8.53 |
8.85 |
| 상담 |
2.78 |
7.51 |
8.37 |
5.89 |
5.44 |
| 한국어 강의 |
3.74 |
10.89 |
11.48 |
13.71 |
8.68 |
| KsponSpeech |
4.6 |
12.06 |
11.82 |
10.66 |
9.74 |
*자료출처: [<https://github.com/rtzr/Awesome-Korean-Speech-Recognition?tab=readme-ov-file#user-content-fn-2-9ea5a653c97ceb4d58d5c53b8f848eb8>](<https://github.com/rtzr/Awesome-Korean-Speech-Recognition?tab=readme-ov-file>)
2️⃣ 공개 데이터셋 벤치마크 (방언)
| 데이터셋 |
마고 |
리턴제로 |
| 충청도 |
3.85 |
- |
| 경상도 |
3.30 |
- |
| 강원도 |
4.17 |
- |
| 전라도 |
7.31 |
- |
| 노인 |
2.13 |
- |
| 소아 |
1.25 |
- |
| 콩글리시 |
0.19 |
- |
3️⃣ 마고 vs. Whisper 속도차이
<aside>
💡
비교지표. xRT, 낮을수록 빠른 처리 속도를 의미함, input 파일의 길이가 길어질수록, 처리 속도가 크게 차이남.
</aside>
10초
|
MAGO |
Whisper (large) |
Whisper (turbo) |
| CPU |
1.5 |
8.8 |
5.54 |
| GPU |
0.25 |
1.13 |
0.36 |
300초
|
MAGO |
Whisper (large) |
Whisper (turbo) |
| CPU |
32.13 |
498.32 |
85.87 |
| GPU |
1.45 |
69.32 |
10.71 |