روش ارزیابی

مدل‌ها را چطور می‌سنجیم

هر عددی که در رتبه‌بندی مدل‌ها می‌بینید از کجا می‌آید، چطور حساب می‌شود و کجا محدودیت دارد. همه‌چیز را این‌جا گفته‌ایم و فقط خود سؤال‌های ارزیابی را منتشر نمی‌کنیم.

سنجهٔ فارسی
۵
سنجهٔ فارسی
دستهٔ رتبه‌بندی
۸
دستهٔ رتبه‌بندی
منبع داده
۸
منبع داده
به‌روزرسانی، حدود ۳:۱۵
هر شب
به‌روزرسانی، حدود ۳:۱۵

امتیاز فارسی چیست؟

«امتیاز فارسی» دو منبع دارد: یک دور ارزیابی تیم مرشد برای بخشی از مدل‌ها، و یک آزمون کوتاه فارسی برای مدل‌های تازه‌تر. در جدول و صفحهٔ هر مدل، منبع امتیاز با همین دو برچسب آمده است.

  1. 01

    پرسش‌های فارسی

    در یک دور ارزیابی (تیر ۱۴۰۵) چند پرسش نگارشی و استدلالی فارسی آماده کردیم.

  2. 02

    پاسخ مدل

    مدل‌های آن دور به همان پرسش‌ها پاسخ دادند تا مقایسه منصفانه باشد.

  3. 03

    نمره روی پنج سنجه

    تیم مرشد پاسخ‌های بخشی از مدل‌ها را خواند و روی پنج سنجه از ۱ تا ۵ نمره داد.

  4. 04

    آزمون کوتاه برای مدل‌های تازه

    مدل‌های تازه‌تر با یک آزمون کوتاه فارسی (۵ تا ۶ پرسش) فقط امتیاز کلی گرفته‌اند.

نمره‌ها از ۱ تا ۵ ثبت و در جدول دو برابر نمایش داده می‌شوند، برای همین همهٔ امتیازها از ۱۰ هستند. مدل‌های آزمون کوتاه فقط امتیاز کلی دارند و نمرهٔ جداگانهٔ سنجه‌ها ندارند.

پنج سنجهٔ ارزیابی

این سنجه‌ها فقط برای مدل‌های دور ارزیابی تیم مرشد ثبت شده‌اند. چهار سنجه از ۱۰ نمره می‌گیرند و نشت زبانی سه سطح دارد. هر کدام در جدول رتبه‌بندی ستون خودش را دارد.

نگارش

متن روان و طبیعی است یا بوی ترجمه می‌دهد؟ مدل مثل یک نویسندهٔ فارسی‌زبان می‌نویسد؟

استدلال

وقتی به فارسی قدم‌به‌قدم استدلال می‌کند، توضیحش منطقی است و به جواب درست می‌رسد؟

رسم‌الخط

املا و نیم‌فاصله را درست می‌نویسد؟ مثلاً «می‌شود» و «کتاب‌ها»، با ی و ک فارسی.

پیروی از دستور

خواسته‌های دقیق پرامپت را رعایت می‌کند؟ مثلاً وقتی می‌گوییم «فقط دو جمله» یا «بدون مقدمه».

نشت زبانی

وسط جواب فارسی بی‌دلیل کلمهٔ انگلیسی یا زبان دیگری می‌آورد؟ این سنجه نمره ندارد و سه سطح دارد.

سطح‌های نشت زبانی

  • بدونپاسخ یک‌دست فارسی است.
  • جزئیچند کلمهٔ خارجی هست، ولی فهم متن را خراب نمی‌کند.
  • شدیدیک جمله یا بخشی از جواب به زبان دیگر نوشته می‌شود.

هر دسته با چه معیاری رتبه‌بندی می‌شود

دسته‌های متنی با امتیاز فارسی رتبه می‌گیرند و دسته‌های تصویر، ویدیو، صدا و موزیک با Elo آرناها. این دو عدد را هیچ‌وقت با هم قاطی نمی‌کنیم. مدلی که معیار دسته‌اش را نداشته باشد، رتبه نمی‌گیرد.

دستهمعیار رتبه
متن و گفتگوامتیاز فارسی از ۱۰، از ارزیابی تیم مرشد یا آزمون کوتاه فارسی
کدنویسیامتیاز فارسی از ۱۰، از ارزیابی تیم مرشد یا آزمون کوتاه فارسی
ترجمهامتیاز فارسی از ۱۰، بین مدل‌هایی که برای ترجمه مناسب‌اند
تولید تصویرامتیاز Elo از رأی کاربران LMArena برای ساخت تصویر
بینایی و OCRامتیاز فارسی از ۱۰، بین مدل‌هایی که تصویر هم می‌خوانند
صداامتیاز Elo از رأی کاربران TTS Arena برای تبدیل متن به گفتار
ویدیوامتیاز Elo از رأی کاربران LMArena برای ساخت ویدیو
موزیکامتیاز Elo از رأی کاربران Music ArenaSuno و Udio در این آرنا شرکت ندارند.

آرناها و Elo برای تصویر، ویدیو، صدا و موزیک

برای این دسته‌ها هنوز ارزیابی فارسی خودمان را نداریم و از بزرگ‌ترین رأی‌گیری‌های کاربران در دنیا استفاده می‌کنیم.

رأی کور و دوبه‌دو

کاربر خروجی دو مدل ناشناس را برای یک پرامپت می‌بیند و بهتر را انتخاب می‌کند. اسم مدل‌ها بعد از رأی معلوم می‌شود، پس برند روی رأی اثری ندارد.

از رأی تا Elo

رأی‌ها با مدل Bradley-Terry به یک عدد تبدیل می‌شوند. اگر دو مدل ۱۰۰ امتیاز فاصله داشته باشند، مدل بالاتر تقریباً در ۶۴ درصد مقایسه‌ها برنده است.

موزیک را خودمان حساب می‌کنیم

Music Arena فقط رأی‌های خام را منتشر می‌کند. ما رأی‌های چند ماه اخیر را با همین روش به Elo تبدیل می‌کنیم و میانگین همهٔ مدل‌ها ۱۰۰۰ می‌شود.

eloi = 1000 + 400 · log10(pi)

ستون «آرا» تعداد رأی‌های هر مدل است. Elo مدلی که رأی کمی دارد هنوز قطعی نیست، پس موقع مقایسه به این ستون هم نگاه کنید.

ستون‌های جدول رتبه‌بندی

هر ستون جدول از کجا می‌آید.

ستونمنبع
امتیاز فارسیارزیابی تیم مرشد یا آزمون کوتاه فارسی
پنج سنجهٔ فارسیفقط ارزیابی تیم مرشد
کیفیت (Arena)LMArena · TTS Arena · Music Arena
آراهمان آرنا
قیمت ورودی و خروجیقیمت مرشد API
سرعتاندازه‌گیری زنده (مرشد API، وگرنه OpenRouter)
کانتکست، پارامتر، مودالیتی، Thinkingکاتالوگ تیم مرشد

ستون «دستیار مرشد» یعنی این مدل همین حالا در اپ مرشد هست و می‌توانید مستقیم با آن کار کنید.

قیمت به تومان

قیمتی که در جدول و صفحهٔ هر مدل می‌بینید همان قیمتی است که مرشد API برای هر درخواست از کیف پول ریالی شما کم می‌کند.

price_toman_per_1M = model_price_usd_per_1M × usd_rate

نرخ دلار

قیمت همهٔ مدل‌ها با یک نرخ دلار به تومان حساب می‌شود. اگر نرخ در دسترس نباشد، قیمت تومانی موقتاً نمایش داده نمی‌شود.

هزینهٔ کارهای روزمره

در صفحهٔ هر مدل، هزینهٔ چند کار معمول مثل یک گفتگو یا ترجمهٔ یک صفحه را هم تخمین زده‌ایم. هر صفحهٔ فارسی حدود ۱۰۰۰ توکن حساب شده است.

همهٔ مدل‌ها و قیمت‌هایشان

منابع داده و زمان‌بندی

رتبه‌ها و مشخصات هر شب حدود ساعت ۳:۱۵ به وقت تهران به‌روز می‌شوند؛ قیمت‌ها با بازبینی تیم تغییر می‌کنند.

  • ارزیابی فارسی مرشدامتیاز فارسی؛ پنج سنجه فقط برای مدل‌های دور ارزیابییک دور (تیر ۱۴۰۵) و آزمون کوتاه
  • کاتالوگ مدل‌های مرشدفهرست مدل‌ها، دسته‌ها، مشخصات فنی، لایسنسهر شب
  • OpenRouterقابلیت‌ها، محدودیت‌ها و معرفی هر مدلهر شب
  • Artificial Analysis (از طریق OpenRouter)شاخص هوش، کدنویسی و کار ایجنتی مدل‌های متنیهر شب
  • LMArenaElo تولید تصویر و ویدیوهر شب
  • TTS Arena V2Elo تبدیل متن به گفتارهر شب
  • Music Arenaرأی‌های خام موزیک که Elo را از رویشان حساب می‌کنیمهر شب
  • مرشد APIقیمت هر مدل به تومانبا بازبینی تیم

fa-bench، آزمون خودکار فارسی (برنامه‌ریزی‌شده)

یک آزمون خودکار با ده حوزهٔ فارسی طراحی کرده‌ایم تا مدل‌های تازه زودتر سنجیده شوند. fa-bench هنوز طراحی است و اجرا نشده، و روی رتبه‌بندی اثری ندارد.

حوزهنوع
نگارش فارسیداور
فرمت، راست‌چین و نیم‌فاصلهقطعی
اصطلاح و ضرب‌المثلترکیبی
ترجمهٔ دوطرفهٔ فنیداور
درک مطلبقطعی
استدلال فارسیترکیبی
دانش ایرانقطعی
محاوره و لحنداور
سند اداری و حقوقیترکیبی
تاریخ و تقویم شمسیقطعی

در این طرح، «قطعی» یعنی جواب درست مشخص است و ماشین چکش می‌کند، «داور» یعنی جواب با یک روبریک داوری می‌شود و «ترکیبی» هر دو را دارد. روی هر حوزه بزنید تا تعریف و معیارهای برنامه‌ریزی‌شده‌اش را ببینید.

در نقشهٔ راه

  • صدا: گفتار به متن (STT)WER فارسی رسمی و محاوره، دقت اعداد و اسامی خاص، مقاومت به نویز، قیمت هر دقیقه.
  • صدا: متن به گفتار (TTS)طبیعی‌بودن و لهجه با داوری کور، تلفظ اعداد و تاریخ، حفظ لحن، تأخیر و قیمت هر ۱۰۰۰ کاراکتر.
  • بینایی و OCR فارسیCER روی متن چاپی، دست‌نویس و فاکتور (استخراج فیلد به JSON)، و قیمت هر تصویر.
  • امبدینگ فارسیبازیابی (recall@k) + زیرمجموعهٔ FaMTEB، تشابه معنایی (STS)، ابعاد بردار و قیمت.
  • تولید تصویر«فارسی‌نویسی در تصویر» (حروف سالم و درست‌چسبیده)، کیفیت کلی، و قیمت هر تصویر.
  • ارزون‌ترین کافیشاخص مشتق: برای هر کاربرد، ارزان‌ترین مدل با امتیاز دستهٔ مرتبط ≥ ۷۰.

لایسنس‌ها

لایسنس هر مدل در جدول با یکی از این سه برچسب آمده تا بدانید استفادهٔ تجاری از آن آزاد است یا نه.

اپن

لایسنس‌هایی مثل Apache 2.0 یا MIT. استفادهٔ تجاری کاملاً آزاد است.

مشروط

لایسنس‌هایی مثل Llama یا Gemma. استفادهٔ تجاری به شرایط سازنده بستگی دارد.

محدود

مدل‌های بسته که فقط از API رسمی سازنده‌شان در دسترس‌اند.

محدودیت‌ها

چیزهایی که این رتبه‌بندی هنوز نشان نمی‌دهد.

  • ارزیابی کامل فارسی فقط یک دور برای بخشی از مدل‌ها انجام شده و مدل‌های تازه‌تر فقط آزمون کوتاه دارند. مدلی که هیچ‌کدام را ندارد، در دسته‌های متنی امتیاز و رتبه ندارد.
  • آزمون کوتاه فارسی فقط چند پرسش دارد و از ارزیابی کامل کم‌دقت‌تر است؛ نمرهٔ سنجه‌ها هم ندارد.
  • Elo آرناها از رأی کاربران سراسر دنیا می‌آید. کیفیت کلی مدل را نشان می‌دهد و ربطی به فارسی ندارد.
  • Suno و Udio در Music Arena شرکت ندارند، پس در رتبه‌بندی موزیک هم نیستند.
  • دسته‌های ترجمه و بینایی هنوز مدل‌های کمی با امتیاز فارسی دارند.

پرسش‌های پرتکرار

بنچمارک‌هایی مثل MMLU انگلیسی‌اند و خودکار نمره می‌دهند. امتیاز فارسی مرشد روی جواب‌های فارسی است. در دور ارزیابی تیم مرشد، جواب‌ها را خودمان خواندیم و چیزهایی را سنجیدیم که برای کاربر فارسی‌زبان مهم است، مثل نگارش، رسم‌الخط و نشت زبانی.

اگر سؤال‌ها عمومی شوند، سازنده‌ها می‌توانند مدلشان را مخصوص همان سؤال‌ها آماده کنند و نمره دیگر چیزی نشان نمی‌دهد. برای همین سؤال‌ها را منتشر نمی‌کنیم، ولی روش ارزیابی را در همین صفحه کامل گفته‌ایم.

Elo عددی است که از مقایسه‌های دوبه‌دو به دست می‌آید. کاربر خروجی دو مدل ناشناس را می‌بیند و بهتر را انتخاب می‌کند و هر برد امتیاز مدل را بالا می‌برد. اگر دو مدل ۱۰۰ امتیاز فاصله داشته باشند، مدل بالاتر تقریباً در ۶۴ درصد مقایسه‌ها برنده می‌شود.

همهٔ مدل‌ها هنوز ارزیابی یا آزمون کوتاه فارسی نشده‌اند. مدلی که امتیاز ندارد در جدول هست، ولی در دسته‌های متنی رتبه نمی‌گیرد.

رتبه‌ها و مشخصات هر شب حدود ساعت ۳:۱۵ به‌روز می‌شوند؛ قیمت‌ها با بازبینی تیم تغییر می‌کنند. قیمت تومانی با نرخ روزانهٔ دلار حساب می‌شود و امتیاز فارسی با هر دور ارزیابی به‌روز می‌شود.