مسیریاب LLM چیست؟
یک LLM router لایه پراکسی‌ای است که درخواست‌ها را به مدل‌های زبان مختلف هدایت می‌کند. توسعه‌دهندگان از آن برای تجمیع چندین ارائه‌دهنده در یک اندپوینت واحد استفاده می‌کنند. این رویکرد پایگاه‌های کد را با پنهان کردن ویژگی‌های خاص فروشنده ساده می‌کند.
با این حال، روترها باعث تأخیر و نقاط شکست احتمالی می‌شوند. آن‌ها اغلب ترافیک را بر اساس هزینه، تأخیر یا در دسترس بودن مدل مسیریابی می‌کنند. برخی از روترها نیز قبل از ارسال درخواست به مدل پایه، فیلترهای محتوای خود را اعمال می‌کنند.
برای بسیاری از موارد استفاده، یک پایانه تک‌مدل اختصاصی قابل‌اعتمادتر است. این کار منطق مسیریابی را حذف کرده و سربار را کاهش می‌دهد. شما دسترسی مستقیم به قابلیت‌های مدل را بدون پردازش واسطه به دست می‌آورید.
این تمایز برای برنامه‌هایی که به تأخیر کم یا رفتارهای خاص مدل نیاز دارند اهمیت دارد. روترها برای استراتژی‌های چندمدلی مفید هستند. نقاط پایانی اختصاصی برای بارهای کاری متمرکز و با حجم بالا بهتر هستند.
چرا از یک مدل بدون سانسور استفاده کنیم؟
مدل‌های بدون سانسور، فیلترهای محتوای محدودکننده‌ای را حذف می‌کنند که اغلب روی موضوعات بزرگسالان یا بحث‌برانگیز فعال می‌شوند. مدل‌های استاندارد ممکن است به دلیل سیاست‌های ایمنی گسترده، درخواست‌های قانونی را رد کنند. نسخه‌های بدون سانسور آزادی خلاقانه و نقش‌آفرینی دقیق را امکان‌پذیر می‌سازند.
این مدل‌ها برای تولید محتوا، سرگرمی بزرگسالان و تحقیقات ایده‌آل هستند. آن‌ها پرامپت‌های ظریف را بدون رد شدن‌های نادرست مدیریت می‌کنند. مدل زمینه را از برندهای تجاری برای تصمیم‌گیری درباره آنچه قابل قبول است استنتاج نمی‌کند.
حریم خصوصی یک عامل کلیدی دیگر است. بسیاری از ارائه‌دهندگان بر اساس داده‌های کاربران آموزش می‌بینند. سرویس ما از پرامپت‌ها برای آموزش استفاده نمی‌کند. داده‌های شما متعلق به خودتان باقی می‌ماند. این موضوع برای برنامه‌های اختصاصی یا حساس حیاتی است.
محدودیت‌های محتوا هنوز اعمال می‌شوند. ما محتوای جنسی شامل کودکان را مسدود می‌کنیم. بقیه همه چیز مجاز است. این شامل تم‌های بالغ، خشونت و نظرات سیاسی است.
Open Router در برابر روتر اختصاصی ما
OpenRouter مدل‌های متعددی را تجمیع می‌کند. شما به ازای هر مدل و هر درخواست هزینه می‌پردازید. منطق مسیریابی می‌تواند تأخیر ایجاد کند. سرویس ما یک مدل بدون سانسور اختصاصی ارائه می‌دهد. این امر عملکرد و قیمت‌گذاری ثابت را تضمین می‌کند.
OpenRouter از شما می‌خواهد که شناسه‌های مدل متعدد را مدیریت کنید. ما از یک شناسه واحد استفاده می‌کنیم: "uncensored". این کد را ساده می‌کند. شما نیازی به تغییر مدل بر اساس دشواری وظیفه ندارید.
قیمت‌گذاری در OpenRouter بسته به مدل متفاوت است. قیمت‌گذاری ما ثابت است: ۰.۱۵ دلار به ازای هر ۱M توکن ورودی و ۰.۵۰ دلار به ازای هر ۱M توکن خروجی. این پیش‌بینی‌پذیری به بودجه‌بندی کمک می‌کند. شما دقیقاً می‌دانید هر درخواست چه هزینه‌ای دارد.
سرویس ما برای توسعه‌دهندگانی طراحی شده است که به دنبال قابلیت اطمینان هستند. ما بین ارائه‌دهندگان مسیریابی نمی‌کنیم. ما یک مدل بهینه‌شده تکی را اجرا می‌کنیم. این امر پیچیدگی را کاهش داده و زمان‌های پاسخ را بهبود می‌بخشد.
سازگاری Drop-in توضیح داده شده
API ما کاملاً با OpenAI سازگار است. می‌توانید از همان SDKها و کتابخانه‌ها استفاده کنید. URL پایه و کلید API را تغییر دهید. کد شما بدون تغییر باقی می‌ماند. این موضوع شامل Python، Node.js و سایر زبان‌های پشتیبانی شده می‌شود.
endpoint /v1/chat/completions است. این endpoint پارامترهای استانداردی مانند temperature و top_p را می‌پذیرد. فراخوانی تابع به طور مورد انتظار کار می‌کند. حالت JSON برای خروجی‌های ساختاریافته پشتیبانی می‌شود.
پشتیبانی از Streaming از طریق SSE موجود است. مصرف توکن در قطعه نهایی گزارش می‌شود. این با پروتکل Streaming OpenAI مطابقت دارد. می‌توانید آن را بدون تغییر در پایپ‌لاین‌های موجود ادغام کنید.
این سازگاری به ابزارهای CLI نیز گسترش می‌یابد. ابزارهایی مانند Open Code می‌توانند به راحتی به نقطه پایانی ما تغییر دهند. فقط پیکربندی را به‌روز کنید. به آداپتورهای سفارشی نیاز نیست.
مقایسه هزینه: اوپن‌روتر در برابر RouterLLM
OpenRouter بر اساس مدل هزینه دریافت می‌کند. قیمت‌ها به شدت متفاوت هستند. مدل‌های سطح بالا می‌توانند هزینه بسیار بیشتری داشته باشند. قیمت‌گذاری ما یکنواخت است. $0.15 به ازای 1M توکن ورودی. $0.50 به ازای 1M توکن خروجی.
این اغلب ارزان‌تر از استفاده از مدل‌های بزرگ در OpenRouter است. از استفاده از مدل‌های کوچک گران‌تر است. اما شما یک مدل بدون سانسون با کیفیت بالا دریافت می‌کنید. کیفیت ثابت است.
ما از اعتبارات پیش‌پرداخت با ارزهای دیجیتال استفاده می‌کنیم. هیچ هزینه ماهانه‌ای وجود ندارد. خطاها رایگان هستند. شما فقط بایت تکمیل‌های موفق پرداخت می‌کنید. این امر از بودجه شما در برابر درخواست‌های هدر رفته محافظت می‌کند.
اعتبارات پاداش برای شارژهای بزرگ‌تر موجود است. ۵٪ پاداش برای ۵۰ دلار. ۱۰٪ برای ۱۰۰ دلار. ۱۵٪ برای ۲۰۰ دلار. این مورد هزینه مؤثر هر توکن را کاهش می‌دهد. این مورد کاربران با حجم بالا را پاداش می‌دهد.
تنظیمات فنی: تغییر URL پایه
برای انتقال به API ما، URL پایه را در پیکربندی SDK خود به HTTPS://api.routerllm.cc/v1 تغییر دهید. برای احراز هویت از کلید API تولید شده خود استفاده کنید.
شناسه مدل را روی "uncensored" تنظیم کنید. این تضمین می‌کند که از مدل اختصاصی ما استفاده می‌کنید. تمام پارامترهای دیگر استاندارد باقی می‌مانند. دما (Temperature)، top_p و دنباله‌های توقف (stop sequences) همان‌طور که انتظار می‌رود کار می‌کنند.
پنجره زمینه ۱۰۰,۰۰۰ توکن است. حداکثر خروجی ۱۶,۰۰۰ توکن است. حداکثر توکن پیش‌فرض ۲,۰۴۸ است. این تنظیمات را بر اساس نیازهای خود تنظیم کنید. خروجی‌های بزرگ‌تر به محدودیت‌های بالاتر نیاز دارند.
محدودیت نرخ ۳۰۰ درخواست در دقیقه است. ۸ درخواست همزمان به ازای هر کلید. اندازه بدنه درخواست به ۸ مگابایت محدود است. این محدودیت‌ها برای بیشتر برنامه‌ها سخاوتمندانه هستند. مصرف خود را پایش کنید تا در محدوده بمانید.
مدیریت جریان‌سازی و فراخوانی‌های تابع
پشتیبانی از استریم از طریق رویدادهای ارسالی سرور (SSE) امکان‌پذیر است. هر قطعه حاوی متن جزئی است. قطعه نهایی شامل استفاده از توکن است. این امکان به‌روزرسانی‌های بلادرنگ در رابط کاربری شما را فراهم می‌کند.
فراخوانی تابع با تعاریف استاندارد ابزار کار می‌کند. ابزارها را در درخواست تعریف کنید. مدل JSON برای فراخوانی‌های ابزار خروجی می‌دهد. پاسخ را تجزیه کنید تا توابع را اجرا کنید.
حالت JSON خروجی ساختاریافته‌ای فراهم می‌کند. از response_format: {"type": "json_object"} استفاده کنید. مدل JSON معتبری برمی‌گرداند. این مورد برای استخراج داده و یکپارچه‌سازی API مفید است.
پارامترهایی مانند دما و top_p تصادفی‌سازی را کنترل می‌کنند. از seed برای قابلیت بازتولید استفاده کنید. جریمه‌های حضور و تکرار به جلوگیری از تکرار کمک می‌کنند. با این تنظیمات آزمایش کنید تا بهترین تعادل را پیدا کنید.
حریم خصوصی و استفاده از داده
ما حداقل داده‌ها را جمع‌آوری می‌کنیم. برای ایجاد حساب نیاز به یک آدرس ایمیل است. نیازی به شماره تلفن نیست. می‌توانید با Google وارد شوید یا از ایمیل و رمز عبور استفاده کنید.
پرامپت‌ها برای آموزش استفاده نمی‌شوند. داده‌های شما فروخته نمی‌شود. این برای برنامه‌های حساس محرمانگی را تضمین می‌کند. شما مالکیت کامل ورودی‌ها و خروجی‌های خود را حفظ می‌کنید.
اطلاعات پرداخت از طریق ارز دیجیتال مدیریت می‌شود. تراکنش‌ها در بلاک‌چین ثبت می‌شوند. این لایه اضافی حریم خصوصی را اضافه می‌کند.
استردادها برای اعتبار موجود نیستند. اشتباهاتی مانند خطاهای دوگانه از طریق پشتیبانی برطرف می‌شوند. اعتبار هرگز منقضی نمی‌شود. این موضوع انعطاف‌پذیری برای پروژه‌های بلندمدت فراهم می‌کند.
شروع کار با اولین درخواست
ثبت‌نام برای یک حساب رایگان. شما $0.50 اعتبار آزمایشی دریافت می‌کنید. دوره آزمایشی 7 روز است.
کلید API خود را در داشبورد ایجاد کنید. این کلید را در پیکربندی SDK خود استفاده کنید. URL پایه را روی HTTPS://api.routerllm.cc/v1 تنظیم کنید.
یک درخواست ساده ارسال کنید. یک پرامپت به endpoint /v1/chat/completions ارسال کنید. مدل یک پاسخ برمی‌گرداند. خروجی را از نظر دقت و لحن بررسی کنید.
شارژ با ارز دیجیتال برای محدودیت‌های بالاتر. از USDT (TRC20) یا USDC (Base) استفاده کنید. مبلغ را بین ۲۰ تا ۵۰۰ دلار وارد کنید. اعتبارات هدیه به‌طور خودکار اعمال می‌شوند. امروز شروع به ساخت برنامه بدون سانسور خود کنید.
