MRMP Benchمحک مدل‌های هوش مصنوعی

روش آزمون

همه مدل‌ها دقیقاً با همون پرامپت‌ها و همون تنظیمات از آزمون فصل ۱ رد میشن، برای همین نمره‌ها با هم قابل مقایسه‌ان.

کارنامه سریع (۴۰ امتیاز)

۲۰ سؤال کوتاه: منطق، زبان کوچه و نسل Z، ادبیات، حساب، پیروی از دستور و تله. هر سؤال ۳ بار پرسیده میشه و اگه دست‌کم ۲ بار درست جواب بده، قبوله. بیشتر سؤال‌ها رو کد تصحیح می‌کنه، نه آدم و نه هوش مصنوعی.

ویترین (۶۰ امتیاز)

۸ ساخت تعاملی در یک فایل HTML: بازی سیمرغ، کلونی مورچه‌ها، برج آزادی سه‌بعدی، سنتور، لندینگ فارسی، تقویم شمسی، گره‌چینی و فروشگاه. هر کدوم ۷٫۵ امتیاز داره و با یه چک‌لیست ۹ تا ۱۳ بندی سنجیده میشه.

مرورگر خودکار

هر ساخت توی یه مرورگر واقعی باز میشه، کلیک و کیبورد زده میشه، ۴ عکس گرفته میشه و چیزهایی مثل خطاها، صدا، نرخ فریم و درستی تاریخ‌ها با کد اندازه‌گیری میشن. نتیجه این بندها رو داورها نمی‌تونن عوض کنن.

هیئت داوری

بندهایی که سلیقه یا فهم لازم دارن رو سه داور از سه شرکت مختلف بررسی می‌کنن: Gemini 3.8 Flash، Claude Haiku 5.5 و Jev. هر بند با اکثریت رأی‌ها تصمیم گرفته میشه و دست‌کم دو رأی قطعی لازم داره. داوری که مطمئن نیست رأی نمیده، و اگه داورها به نتیجه نرسن، تا دو داور کمکی از شرکت‌های دیگه نظر میدن. هیچ داوری مدل‌های شرکت خودش رو داوری نمی‌کنه.

هزینه

هزینه‌ای که کنار هر مدل می‌بینید، پولیه که خود مدل برای جواب دادن به کل آزمون گرفته؛ به دلار و با نرخ روز به تومان. هزینه داوری جداست و توی مقایسه حساب نمیشه، چون به خود مدل ربطی نداره. اگه سرور ارائه‌دهنده وسط کار خطا بده، درخواست دوباره فرستاده میشه و اون خطا به حساب مدل نوشته نمیشه.

نظر محسن

نمره شخصی من از ۱۰، جدا از نمره MRMP نمایش داده میشه و توی رتبه‌بندی اثری نداره.

سؤال‌های خصوصی

۵ سؤال هیچ‌وقت منتشر نمیشن، تا مدل‌های بعدی نتونن جوابشون رو از قبل یاد بگیرن. برای همین روی مدل‌های رایگان هم اجرا نمیشن.

رتبه

S از ۹۰ به بالا، A از ۸۰، B از ۶۵، C از ۵۰، و D زیر ۵۰.