مدلها را چطور میسنجیم
هر عددی که در رتبهبندی مدلها میبینید از کجا میآید، چطور حساب میشود و کجا محدودیت دارد. همهچیز را اینجا گفتهایم و فقط خود سؤالهای ارزیابی را منتشر نمیکنیم.
- سنجهٔ فارسی
- ۵
- سنجهٔ فارسی
- دستهٔ رتبهبندی
- ۸
- دستهٔ رتبهبندی
- منبع داده
- ۸
- منبع داده
- بهروزرسانی، حدود ۳:۱۵
- هر شب
- بهروزرسانی، حدود ۳:۱۵
امتیاز فارسی چیست؟
«امتیاز فارسی» دو منبع دارد: یک دور ارزیابی تیم مرشد برای بخشی از مدلها، و یک آزمون کوتاه فارسی برای مدلهای تازهتر. در جدول و صفحهٔ هر مدل، منبع امتیاز با همین دو برچسب آمده است.
- 01
پرسشهای فارسی
در یک دور ارزیابی (تیر ۱۴۰۵) چند پرسش نگارشی و استدلالی فارسی آماده کردیم.
- 02
پاسخ مدل
مدلهای آن دور به همان پرسشها پاسخ دادند تا مقایسه منصفانه باشد.
- 03
نمره روی پنج سنجه
تیم مرشد پاسخهای بخشی از مدلها را خواند و روی پنج سنجه از ۱ تا ۵ نمره داد.
- 04
آزمون کوتاه برای مدلهای تازه
مدلهای تازهتر با یک آزمون کوتاه فارسی (۵ تا ۶ پرسش) فقط امتیاز کلی گرفتهاند.
پنج سنجهٔ ارزیابی
این سنجهها فقط برای مدلهای دور ارزیابی تیم مرشد ثبت شدهاند. چهار سنجه از ۱۰ نمره میگیرند و نشت زبانی سه سطح دارد. هر کدام در جدول رتبهبندی ستون خودش را دارد.
نگارش
متن روان و طبیعی است یا بوی ترجمه میدهد؟ مدل مثل یک نویسندهٔ فارسیزبان مینویسد؟
استدلال
وقتی به فارسی قدمبهقدم استدلال میکند، توضیحش منطقی است و به جواب درست میرسد؟
رسمالخط
املا و نیمفاصله را درست مینویسد؟ مثلاً «میشود» و «کتابها»، با ی و ک فارسی.
پیروی از دستور
خواستههای دقیق پرامپت را رعایت میکند؟ مثلاً وقتی میگوییم «فقط دو جمله» یا «بدون مقدمه».
نشت زبانی
وسط جواب فارسی بیدلیل کلمهٔ انگلیسی یا زبان دیگری میآورد؟ این سنجه نمره ندارد و سه سطح دارد.
سطحهای نشت زبانی
- بدونپاسخ یکدست فارسی است.
- جزئیچند کلمهٔ خارجی هست، ولی فهم متن را خراب نمیکند.
- شدیدیک جمله یا بخشی از جواب به زبان دیگر نوشته میشود.
هر دسته با چه معیاری رتبهبندی میشود
دستههای متنی با امتیاز فارسی رتبه میگیرند و دستههای تصویر، ویدیو، صدا و موزیک با Elo آرناها. این دو عدد را هیچوقت با هم قاطی نمیکنیم. مدلی که معیار دستهاش را نداشته باشد، رتبه نمیگیرد.
| دسته | معیار رتبه |
|---|---|
| متن و گفتگو | امتیاز فارسی از ۱۰، از ارزیابی تیم مرشد یا آزمون کوتاه فارسی |
| کدنویسی | امتیاز فارسی از ۱۰، از ارزیابی تیم مرشد یا آزمون کوتاه فارسی |
| ترجمه | امتیاز فارسی از ۱۰، بین مدلهایی که برای ترجمه مناسباند |
| تولید تصویر | امتیاز Elo از رأی کاربران LMArena برای ساخت تصویر |
| بینایی و OCR | امتیاز فارسی از ۱۰، بین مدلهایی که تصویر هم میخوانند |
| صدا | امتیاز Elo از رأی کاربران TTS Arena برای تبدیل متن به گفتار |
| ویدیو | امتیاز Elo از رأی کاربران LMArena برای ساخت ویدیو |
| موزیک | امتیاز Elo از رأی کاربران Music ArenaSuno و Udio در این آرنا شرکت ندارند. |
آرناها و Elo برای تصویر، ویدیو، صدا و موزیک
برای این دستهها هنوز ارزیابی فارسی خودمان را نداریم و از بزرگترین رأیگیریهای کاربران در دنیا استفاده میکنیم.
رأی کور و دوبهدو
کاربر خروجی دو مدل ناشناس را برای یک پرامپت میبیند و بهتر را انتخاب میکند. اسم مدلها بعد از رأی معلوم میشود، پس برند روی رأی اثری ندارد.
از رأی تا Elo
رأیها با مدل Bradley-Terry به یک عدد تبدیل میشوند. اگر دو مدل ۱۰۰ امتیاز فاصله داشته باشند، مدل بالاتر تقریباً در ۶۴ درصد مقایسهها برنده است.
موزیک را خودمان حساب میکنیم
Music Arena فقط رأیهای خام را منتشر میکند. ما رأیهای چند ماه اخیر را با همین روش به Elo تبدیل میکنیم و میانگین همهٔ مدلها ۱۰۰۰ میشود.
ستون «آرا» تعداد رأیهای هر مدل است. Elo مدلی که رأی کمی دارد هنوز قطعی نیست، پس موقع مقایسه به این ستون هم نگاه کنید.
ستونهای جدول رتبهبندی
هر ستون جدول از کجا میآید.
| ستون | منبع | واحد |
|---|---|---|
| امتیاز فارسی | ارزیابی تیم مرشد یا آزمون کوتاه فارسی | از ۱۰ |
| پنج سنجهٔ فارسی | فقط ارزیابی تیم مرشد | از ۱۰ |
| کیفیت (Arena) | LMArena · TTS Arena · Music Arena | Elo، هرچه بیشتر بهتر |
| آرا | همان آرنا | هرچه بیشتر، Elo مطمئنتر |
| قیمت ورودی و خروجی | قیمت مرشد API | تومان برای هر ۱ میلیون توکن |
| سرعت | اندازهگیری زنده (مرشد API، وگرنه OpenRouter) | توکن بر ثانیه |
| کانتکست، پارامتر، مودالیتی، Thinking | کاتالوگ تیم مرشد | مشخصات فنی |
ستون «دستیار مرشد» یعنی این مدل همین حالا در اپ مرشد هست و میتوانید مستقیم با آن کار کنید.
قیمت به تومان
قیمتی که در جدول و صفحهٔ هر مدل میبینید همان قیمتی است که مرشد API برای هر درخواست از کیف پول ریالی شما کم میکند.
نرخ دلار
قیمت همهٔ مدلها با یک نرخ دلار به تومان حساب میشود. اگر نرخ در دسترس نباشد، قیمت تومانی موقتاً نمایش داده نمیشود.
هزینهٔ کارهای روزمره
در صفحهٔ هر مدل، هزینهٔ چند کار معمول مثل یک گفتگو یا ترجمهٔ یک صفحه را هم تخمین زدهایم. هر صفحهٔ فارسی حدود ۱۰۰۰ توکن حساب شده است.
منابع داده و زمانبندی
رتبهها و مشخصات هر شب حدود ساعت ۳:۱۵ به وقت تهران بهروز میشوند؛ قیمتها با بازبینی تیم تغییر میکنند.
- ارزیابی فارسی مرشدامتیاز فارسی؛ پنج سنجه فقط برای مدلهای دور ارزیابییک دور (تیر ۱۴۰۵) و آزمون کوتاه
- کاتالوگ مدلهای مرشدفهرست مدلها، دستهها، مشخصات فنی، لایسنسهر شب
- OpenRouterقابلیتها، محدودیتها و معرفی هر مدلهر شب
- Artificial Analysis (از طریق OpenRouter)شاخص هوش، کدنویسی و کار ایجنتی مدلهای متنیهر شب
- LMArenaElo تولید تصویر و ویدیوهر شب
- TTS Arena V2Elo تبدیل متن به گفتارهر شب
- Music Arenaرأیهای خام موزیک که Elo را از رویشان حساب میکنیمهر شب
- مرشد APIقیمت هر مدل به تومانبا بازبینی تیم
fa-bench، آزمون خودکار فارسی (برنامهریزیشده)
یک آزمون خودکار با ده حوزهٔ فارسی طراحی کردهایم تا مدلهای تازه زودتر سنجیده شوند. fa-bench هنوز طراحی است و اجرا نشده، و روی رتبهبندی اثری ندارد.
| حوزه | روش برنامهریزیشده | نوع |
|---|---|---|
| نگارش فارسی | روبریک روانی، واژهگزینی و دستور | داور |
| فرمت، راستچین و نیمفاصله | بررسی ماشینی نیمفاصله، ی و ک فارسی، ارقام و جهت متن | قطعی |
| اصطلاح و ضربالمثل | پاسخ مرجع + داور | ترکیبی |
| ترجمهٔ دوطرفهٔ فنی | روبریک دقت و روانی روی متن فنی | داور |
| درک مطلب | پاسخ مرجع بسته | قطعی |
| استدلال فارسی | پاسخ مرجع + بررسی گامها | ترکیبی |
| دانش ایران | پاسخ مرجع | قطعی |
| محاوره و لحن | روبریک تشخیص و نوشتن با لحن خواستهشده | داور |
| سند اداری و حقوقی | استخراج فیلد (قطعی) و خلاصهنویسی (داور) | ترکیبی |
| تاریخ و تقویم شمسی | بررسی ماشینی تبدیل تاریخ، فاصلهٔ دو تاریخ و فهم «امروز» | قطعی |
در این طرح، «قطعی» یعنی جواب درست مشخص است و ماشین چکش میکند، «داور» یعنی جواب با یک روبریک داوری میشود و «ترکیبی» هر دو را دارد. روی هر حوزه بزنید تا تعریف و معیارهای برنامهریزیشدهاش را ببینید.
در نقشهٔ راه
- صدا: گفتار به متن (STT)WER فارسی رسمی و محاوره، دقت اعداد و اسامی خاص، مقاومت به نویز، قیمت هر دقیقه.
- صدا: متن به گفتار (TTS)طبیعیبودن و لهجه با داوری کور، تلفظ اعداد و تاریخ، حفظ لحن، تأخیر و قیمت هر ۱۰۰۰ کاراکتر.
- بینایی و OCR فارسیCER روی متن چاپی، دستنویس و فاکتور (استخراج فیلد به JSON)، و قیمت هر تصویر.
- امبدینگ فارسیبازیابی (recall@k) + زیرمجموعهٔ FaMTEB، تشابه معنایی (STS)، ابعاد بردار و قیمت.
- تولید تصویر«فارسینویسی در تصویر» (حروف سالم و درستچسبیده)، کیفیت کلی، و قیمت هر تصویر.
- ارزونترین کافیشاخص مشتق: برای هر کاربرد، ارزانترین مدل با امتیاز دستهٔ مرتبط ≥ ۷۰.
لایسنسها
لایسنس هر مدل در جدول با یکی از این سه برچسب آمده تا بدانید استفادهٔ تجاری از آن آزاد است یا نه.
لایسنسهایی مثل Apache 2.0 یا MIT. استفادهٔ تجاری کاملاً آزاد است.
لایسنسهایی مثل Llama یا Gemma. استفادهٔ تجاری به شرایط سازنده بستگی دارد.
مدلهای بسته که فقط از API رسمی سازندهشان در دسترساند.
محدودیتها
چیزهایی که این رتبهبندی هنوز نشان نمیدهد.
- ارزیابی کامل فارسی فقط یک دور برای بخشی از مدلها انجام شده و مدلهای تازهتر فقط آزمون کوتاه دارند. مدلی که هیچکدام را ندارد، در دستههای متنی امتیاز و رتبه ندارد.
- آزمون کوتاه فارسی فقط چند پرسش دارد و از ارزیابی کامل کمدقتتر است؛ نمرهٔ سنجهها هم ندارد.
- Elo آرناها از رأی کاربران سراسر دنیا میآید. کیفیت کلی مدل را نشان میدهد و ربطی به فارسی ندارد.
- Suno و Udio در Music Arena شرکت ندارند، پس در رتبهبندی موزیک هم نیستند.
- دستههای ترجمه و بینایی هنوز مدلهای کمی با امتیاز فارسی دارند.
پرسشهای پرتکرار
بنچمارکهایی مثل MMLU انگلیسیاند و خودکار نمره میدهند. امتیاز فارسی مرشد روی جوابهای فارسی است. در دور ارزیابی تیم مرشد، جوابها را خودمان خواندیم و چیزهایی را سنجیدیم که برای کاربر فارسیزبان مهم است، مثل نگارش، رسمالخط و نشت زبانی.
اگر سؤالها عمومی شوند، سازندهها میتوانند مدلشان را مخصوص همان سؤالها آماده کنند و نمره دیگر چیزی نشان نمیدهد. برای همین سؤالها را منتشر نمیکنیم، ولی روش ارزیابی را در همین صفحه کامل گفتهایم.
Elo عددی است که از مقایسههای دوبهدو به دست میآید. کاربر خروجی دو مدل ناشناس را میبیند و بهتر را انتخاب میکند و هر برد امتیاز مدل را بالا میبرد. اگر دو مدل ۱۰۰ امتیاز فاصله داشته باشند، مدل بالاتر تقریباً در ۶۴ درصد مقایسهها برنده میشود.
همهٔ مدلها هنوز ارزیابی یا آزمون کوتاه فارسی نشدهاند. مدلی که امتیاز ندارد در جدول هست، ولی در دستههای متنی رتبه نمیگیرد.
رتبهها و مشخصات هر شب حدود ساعت ۳:۱۵ بهروز میشوند؛ قیمتها با بازبینی تیم تغییر میکنند. قیمت تومانی با نرخ روزانهٔ دلار حساب میشود و امتیاز فارسی با هر دور ارزیابی بهروز میشود.