Meta
Llama 3.1 70B Instruct
متن انگلیسی وسط جمله قطع شده است، پس بخش ناقص آن را کنار میگذارم. تنها جملهای که کامل است این است: خانوادهٔ Llama 3.1 شرکت Meta با اندازهها و نسخههای گوناگون عرضه شده است، و این نسخهٔ ۷۰ میلیارد پارامتری تنظیمشده برای دستورالعمل، برای کاربردهای گفتگوی باکیفیت بهینه شده است.
شناسه در API: llama-3.1-70b-instruct
تحلیل
حکم کلی
ارزان است و برای کارهای سبک و پرحجم مناسب است. اگر دقت بالا لازم دارید، سراغ مدل قویتری بروید.
نقاط قوت
- قیمتش مناسب است
نقاط ضعف
در دادهها نقطهضعف مهمی دیده نشد.
سنجههای فارسی
عملکرد زنده
از آمار زندهٔ OpenRouter (۱ ارائهدهندهای که آمار گزارش کردهاند): پایداری در ۲۴ ساعت گذشته، تأخیر و سرعت در ۳۰ دقیقهٔ آخر از ۱۰۰۳ درخواست. ساعتی بهروز میشود.
قابلیتها
پارامترهای قابل ارسال
اینها را میتوانید در درخواست به این مدل بفرستید.
temperatureمیزان خلاقیت جوابtop_pنمونهبرداری هستهایtop_kمحدود کردن گزینههای هر توکنmax_tokensسقف طول جوابstopتوقف با رشتهٔ دلخواهtoolsتعریف ابزارtool_choiceاجبار به استفاده از ابزار
بر اساس اطلاعاتی که OpenRouter برای این مدل منتشر کرده.
امتحان مدل
برای امتحان این مدل وارد شوید. هر اجرا با همان قیمت مرشد API از کیف پول شما کم میشود.
ورود برای امتحاناستفاده با API
با SDK خود OpenAI کار میکند؛ فقط آدرس پایه را https://api.morshed.ai/v1 و کلید را کلید مرشد API بگذارید.
curl https://api.morshed.ai/v1/chat/completions \
-H "Authorization: Bearer $MORSHED_API_KEY" \
-H "Content-Type: application/json" \
-d '{"model": "llama-3.1-70b-instruct", "messages": [{"role": "user", "content": "سلام! خودت را معرفی کن."}]}'import os
from openai import OpenAI
client = OpenAI(base_url="https://api.morshed.ai/v1", api_key=os.environ["MORSHED_API_KEY"])
res = client.chat.completions.create(
model="llama-3.1-70b-instruct",
messages=[{"role": "user", "content": "سلام! خودت را معرفی کن."}],
)
print(res.choices[0].message.content)import OpenAI from "openai";
const client = new OpenAI({ baseURL: "https://api.morshed.ai/v1", apiKey: process.env.MORSHED_API_KEY });
const res = await client.chat.completions.create({
model: "llama-3.1-70b-instruct",
messages: [{ role: "user", content: "سلام! خودت را معرفی کن." }],
});
console.log(res.choices[0].message.content);مشخصات فنی
- کانتکست
- ۱۳۱K توکن
- حداکثر طول جواب
- ۸ هزار توکن
- دانش تا
- دی ۱۴۰۲
- مودالیتی
- text
- سرعت
- ۷۲ توکن/ثانیه
- تأخیر اولین توکن
- ۳۸۸ میلیثانیه
- تاریخ انتشار
- ۲ مرداد ۱۴۰۳
- فیلتر محتوای ارائهدهنده
- دارد
ارائهدهندهها
درخواستهای این مدل در مرشد API از طریق این ارائهدهنده پاسخ میگیرند.
- Amazon Bedrock
پرسشهای پرتکرار
دربارهٔ Llama 3.1 70B Instruct
این مدل هنوز در ارزیابی فارسی ما نبوده. مدلها را بهنوبت ارزیابی میکنیم و امتیازش بعد از ارزیابی همینجا میآید.
با نرخ روزانهٔ دلار، هر ۱ میلیون توکن ورودی ۳۲۸٬۸۹۵ تومان و هر ۱ میلیون توکن خروجی ۳۲۸٬۸۹۵ تومان است. یک گفتگوی معمولی با این مدل حدود ۵۲۶ تومان تمام میشود.
این مدل را میتوانید با شناسهٔ llama-3.1-70b-instruct از API مرشد صدا بزنید. API با SDK رسمی OpenAI سازگار است و پرداختش ریالی است.
این مدل میتواند ابزار و API بیرونی را صدا بزند.
کانتکست این مدل ۱۳۱ هزار توکن است، یعنی تقریباً ۱۳۱ صفحه متن فارسی را یکجا میخواند. در هر جواب هم تا ۸ هزار توکن مینویسد.
دانش این مدل تا دی ۱۴۰۲ است و از اتفاقهای بعد از آن خبر ندارد، مگر اینکه به جستوجوی وب وصل باشد.