Bir LLM yönlendiricisi nedir?
Bir LLM yönlendirici, istekleri çeşitli dil modellerine yönlendiren bir vekil katman olarak hareket eder. Geliştiriciler, birden fazla sağlayıcıyı tek bir uç noktada toplamak için kullanır. Bu yaklaşım, satıcıya özgü detayları gizleyerek kod tabanlarını basitleştirir.
Ancak, yönlendiriciler gecikme ve potansiyel arıza noktaları getirir. Trafığı genellikle maliyete, gecikmeye veya model kullanılabilirliğine göre yönlendirirler. Bazı yönlendiriciler istekleri alt model göndermeden önce kendi içerik filtrelerini de uygular.
Çoğu kullanım durumu için, özel bir tek model uç noktası daha güvenilirdir. Yönlendirme mantığını ortadan kaldırır ve üst yükü azaltır. Aracı işlemler olmadan modelin yeteneklerine doğrudan erişim elde edersiniz.
Bu ayrım, düşük gecikme süresi veya belirli model davranışları gerektiren uygulamalar için önemlidir. Yönlendiriciler çoklu model stratejileri için kullanışlıdır. Özel uç noktalar, odaklanmış ve yüksek hacimli iş yükleri için daha iyidir.
Neden bir sansürsüz model kullanmalı?
Kontrolsüz modeller, genellikle yetişkin veya tartışmalı konularda tetiklenen kısıtlayıcı içerik filtrelerini kaldırır. Standart modeller, geniş güvenlik politikaları nedeniyle yasal istekleri reddedebilir. Kontrolsüz varyantlar yaratıcı özgürlük ve doğru rol yapmaya olanak tanır.
Bu modeller içerik üretimi, yetişkin eğlencesi ve araştırma için idealdir. İnce işlenmiş istemleri yanlış reddetmeler olmadan işler. Model, kabul edilebilirliği belirlemek için ticari markalama bağlamından çıkarım yapmaz.
Gizlilik başka bir kritik faktördür. Sağlayıcıların çoğu kullanıcı verileri üzerinde eğitim yapar. Hizmetimiz istemleri eğitim için kullanmaz. Verileriniz size ait kalır. Bu, özel veya hassas uygulamalar için hayati önem taşır.
İçerik sınırları hala geçerlidir. Çocuklarla ilgili cinsel içeriği engelliyoruz. Geri kalan her şey serbesttir. Bu, olgun temaları, şiddeti ve siyasi görüşleri içerir.
Open Router vs. özel router'ımız
OpenRouter birçok modeli birleştirir. Her model için istek başına ödeme yaparsınız. Yönlendirme mantığı gecikmeye neden olabilir. Hizmetimiz tek bir özel sansursuz model sunar. Bu, tutarlı performans ve fiyatlandırma sağlar.
OpenRouter size birden fazla model ID'si yönetmenizi gerektirir. Biz tek bir ID kullanıyoruz: "uncensored". Bu kodu basitleştirir. Görev zorluğuna göre modeller arasında geçiş yapmanıza gerek kalmaz.
Open Router üzerindeki fiyatlandırma modele göre değişir. Fiyatlandırmamız milyon giriş tokenı başına $0.15 ve milyon çıkış tokenı başına $0.50 olarak sabittir. Bu öngörülebilirlik bütçe planlamasına yardımcı olur. Her istek için ne kadar ödeyeceğinizi tam olarak bilirsiniz.
Hizmetimiz, güvenilirlik arayan geliştiriciler için tasarlanmıştır. Satıcılar arasında yönlendirme yapmayız. Optimize edilmiş tek bir modeli çalıştırırız. Bu karmaşıklığı azaltır ve yanıt sürelerini iyileştirir.
Tak-Çıkar uyumluluğu açıklaması
API'miz tamamen OpenAI ile uyumludur. Aynı SDK'ları ve kütüphaneleri kullanabilirsiniz. Temel URL'yi ve API anahtarını değiştirin. Kodunuz değişmez. Bu durum Python, Node.js ve diğer desteklenen diller için geçerlidir.
Uç nokta /v1/chat/completions'dir. Sıcaklık ve top_p gibi standart parametreleri kabul eder. Fonksiyon çağırma beklendiği gibi çalışır. Yapılandırılmış çıktılar için JSON modu desteklenir.
SSE üzerinden streaming mevcuttur. Token kullanımı son chunk'ta raporlanır. Bu, OpenAI streaming protokolüyle eşleşir. Mevcut pipeline'larınıza herhangi bir değişiklik yapmadan entegre edebilirsiniz.
Bu uyumluluk CLI araçlarına da uzanır. Open Code gibi araçlar uç noktamıza kolayca geçiş yapabilir. Yapılandırmayı güncellemeniz yeterlidir. Özel adaptörlere gerek yoktur.
Maliyet karşılaştırması: Open Router vs. RouterLLM
OpenRouter model başına ücretlendirme yapar. Fiyatlar büyük ölçüde değişir. Üst düzey modeller önemli ölçüde daha pahalı olabilir. Fiyatlandırma birimdir. 1M giriş token başına $0.15. 1M çıktı token başına $0.50.
Bu, Open Router'da büyük modeller kullanmaktan genellikle daha ucuzdur. Küçük modeller kullanmaktan daha pahalıdır. Ancak yüksek kaliteli bir sansürsüz model elde edersiniz. Kalite tutarlıdır.
Ön ödemeli kripto kredileri kullanıyoruz. Aylık ücret yoktur. Hatalar ücretsizdir. Yalnızca başarılı tamamlamalar için ödeme yaparsınız. Bu durum, bütçenizi boşa giden isteklerden korur.
Bonus krediler daha büyük yüklemeler için mevcuttur. $50 için %5 bonus. $100 için %10. $200 için %15. Bu, token başına etkili maliyeti düşürür. Yüksek hacimli kullanıcıları ödüllendirir.
Teknik kurulum: temel URL'yi değiştirme
API'ye geçmek için SDK yapılandırmanızdaki temel URL'yi güncelleyin. Bunu HTTPS://api.routerllm.cc/v1 adresine yönlendirin. Kimlik doğrulama için oluşturduğunuz API anahtarını kullanın.
Model kimliğini "uncensored" olarak ayarlayın. Bu, özel modelimizi kullandığınızdan emin olmanızı sağlar. Diğer tüm parametreler standart kalır. Sıcaklık, top_p ve durma dizileri beklendiği gibi çalışır.
Bağlam penceresi 100.000 tokendır. Maksimum çıktı 16.000 tokendır. Varsayılan maksimum tokenlar 2.048'dir. Bu ayarları ihtiyaçlarınıza göre ayarlayın. Daha büyük çıktılar daha yüksek limitler gerektirir.
İstek limitleri dakikada 300 istektir. Anahtar başına 8 eşzamanlı istek yapılabilir. İstek gövdesi 8 MB ile sınırlıdır. Bu limitler çoğu uygulama için cömerttir. Sınırlar içinde kalmak için kullanımınızı izleyin.
Akışı ve fonksiyon çağrılarını işleme
Streaming, Server-Sent Events (SSE) üzerinden desteklenir. Her chunk kısmi metik içerir. Son chunk token kullanımını içerir. Bu, UI'nizde gerçek zamanlı güncellemeler sağlar.
İşlev çağırma standart araç tanımlarıyla çalışır. Araçları isteğinizde tanımlayın. Model araç çağrıları için JSON çıktısı verecektir. İşlevleri çalıştırmak için yanıtı ayrıştırın.
JSON modu yapılandırılmış çıktı sağlar. response_format: {"type": "json_object"} kullanın. Model geçerli JSON döndürecektir. Bu, veri çıkarma ve API entegrasyonları için faydalıdır.
Parameters like temperature and top_p control randomness. Use seed for reproducibility. Presence and frequency penalties help avoid repetition. Experiment with these settings to find the best balance.
Gizlilik ve veri kullanımı
Asgari veri topler. Hesap oluşturmak için bir e-posta adresi gereklidir. Telefon numarası gerekmez. Google ile giriş yapabilir veya e-posta ve şifre kullanabilirsiniz.
İstemler eğitim için kullanılmaz. Verileriniz satılmaz. Bu, hassas uygulamalar için gizliliği sağlar. Girdi ve çıktılarınızın tam mülkiyetine sahip olursunuz.
Ödeme bilgileri kripto üzerinden işlenir. İşlemler blok zincirinde kaydedilir. Bu, ekstra bir gizlilik katmanı ekler.
Krediler için iade mevcut değildir. Çift ücretlendirme gibi hatalar destek aracılığıyla düzeltilir. Kredi süresi dolmaz. Bu, uzun vadeli projeler için esneklik sağlar.
İlk isteğinizle başlama
Ücretsiz bir hesap oluşturun. $0.50 deneme kredisi alırsınız. Deneme süresi 7 gün sürer.
API anahtarını panelden oluşturun. Bu anahtarı SDK yapılandırmanızda kullanın. Temel URL'yi HTTPS://api.routerllm.cc/v1 olarak ayarlayın.
Basit bir istek gönderin. /v1/chat/completions endpoint'ine bir prompt gönderin. Model bir yanıt döndürecektir. Doğruluk ve ton için çıktıyı kontrol edin.
Kripto ile bakiye yükleyin ve daha yüksek limitler elde edin. USDT (TRC20) veya USDC (Base) kullanın. $20 ile $500 arasında bir tutar girin. Bonus krediler otomatik uygulanır. Sansürsüz uygulamanızı bugün geliştirmeye başlayın.
