Qu'est-ce qu'un routeur LLM ?
Un routeur LLM agit comme une couche de proxy qui dirige les requêtes vers divers modèles de langage. Les développeurs l'utilisent pour agréger plusieurs fournisseurs dans un point de terminaison unique. Cette approche simplifie les bases de code en masquant les particularités spécifiques à chaque fournisseur.
Cependant, les routeurs introduisent de la latence et des points de défaillance potentiels. Ils routent souvent le trafic en fonction du coût, de la latence ou de la disponibilité du modèle. Certains routeurs appliquent également leurs propres filtres de contenu avant d'envoyer des requêtes au modèle sous-jacent.
Pour de nombreux cas d'utilisation, un point de terminaison dédié à un modèle unique est plus fiable. Il élimine la logique de routage et réduit la surcharge. Vous obtenez un accès direct aux capacités du modèle sans traitement intermédiaire.
Cette distinction est importante pour les applications nécessitant une faible latence ou des comportements de modèle spécifiques. Les routeurs sont utiles pour les stratégies multi-modèles. Les points de terminaison dédiés sont préférables pour les charges de travail ciblées et à fort volume.
Pourquoi utiliser un modèle sans filtre ?
Les modèles sans censure suppriment les filtres de contenu restrictifs qui se déclenchent souvent sur les sujets adultes ou controversés. Les modèles standard peuvent refuser des requêtes licites en raison de politiques de sécurité larges. Les variantes sans censure permettent la liberté créative et un jeu de rôle précis.
Ces modèles sont idéaux pour la création de contenu, les divertissements pour adultes et la recherche. Ils gèrent les invites nuancées sans refus faux. Le modèle n'infère pas le contexte à partir du branding commercial pour décider de ce qui est acceptable.
La confidentialité est un autre facteur clé. De nombreux fournisseurs entraînent leurs modèles sur les données des utilisateurs. Notre service n'utilise pas les invites pour l'entraînement. Vos données vous appartiennent. C'est crucial pour les applications propriétaires ou sensibles.
Les limites de contenu s'appliquent toujours. Nous bloquons le contenu sexuel impliquant des mineurs. Tout le reste est autorisé. Cela inclut les thèmes matures, la violence et les opinions politiques.
Open Router vs notre routeur dédié
Open Router agrège de nombreux modèles. Vous payez par modèle par requête. La logique de routage peut ajouter de la latence. Notre service propose un modèle unique et dédié sans censure. Cela garantit des performances et des tarifs cohérents.
Open Router vous oblige à gérer plusieurs IDs de modèle. Nous utilisons un seul ID : "uncensored". Cela simplifie le code. Vous n'avez pas besoin de changer de modèle en fonction de la difficulté de la tâche.
La tarification sur Open Router varie selon le modèle. Notre tarification est fixe à 0,15 $ par 1M de tokens d'entrée et 0,50 $ par 1M de tokens de sortie. Cette prévisibilité aide à la budgétisation. Vous savez exactement combien coûte chaque requête.
Notre service est conçu pour les développeurs qui veulent de la fiabilité. Nous ne routons pas entre plusieurs fournisseurs. Nous exécutons un seul modèle optimisé. Cela réduit la complexité et améliore les temps de réponse.
Compatibilité Plug-and-Play expliquée
Notre API est entièrement compatible OpenAI. Vous pouvez utiliser les mêmes SDK et bibliothèques. Modifiez l'URL de base et la clé API. Votre code reste inchangé. Cela s'applique à Python, Node.js et d'autres langages pris en charge.
Le point de terminaison est /v1/chat/completions. Il accepte des paramètres standard tels que la température et le top_p. L'appel de fonctions fonctionne comme prévu. Le mode JSON est pris en charge pour les sorties structurées.
Le streaming via SSE est disponible. L'utilisation des jetons est rapportée dans le dernier chunk. Cela correspond au protocole de streaming OpenAI. Vous pouvez l'intégrer dans vos pipelines existants sans modification.
Cette compatibilité s'étend aux outils en ligne de commande. Des outils comme Open Code peuvent passer facilement à notre point de terminaison. Il suffit de mettre à jour la configuration. Aucun adaptateur personnalisé n'est nécessaire.
Comparaison des coûts : Open Router vs RouterLLM
Open Router facture par modèle. Les prix varient considérablement. Les modèles haut de gamme peuvent coûter significativement plus cher. Notre tarification est uniforme. 0,15 $ par 1M de jetons d'entrée. 0,50 $ par 1M de jetons de sortie.
C'est souvent moins cher que l'utilisation de grands modèles sur Open Router. C'est plus cher que l'utilisation de petits modèles. Mais vous obtenez un modèle non filtré de haute qualité. La qualité est cohérente.
Nous utilisons des crédits crypto prépayés. Il n'y a pas de frais mensuels. Les erreurs sont gratuites. Vous ne payez que pour les complétions réussies. Cela protège votre budget contre les demandes gaspillées.
Les crédits bonus sont disponibles pour les recharges plus importantes. Bonus de 5 % pour 50 $. 10 % pour 100 $. 15 % pour 200 $. Cela réduit le coût effectif par token. Cela récompense les utilisateurs à fort volume.
Configuration technique : modification de l'URL de base
Pour passer à notre API, mettez à jour l'URL de base dans la configuration de votre SDK. Pointez-la vers HTTPS://api.routerllm.cc/v1. Utilisez votre clé API générée pour l'authentification.
Définissez l'identifiant du modèle sur "uncensored". Cela garantit que vous utilisez notre modèle dédié. Tous les autres paramètres restent standards. La température, top_p et les séquences d'arrêt fonctionnent comme prévu.
La fenêtre de contexte est de 100 000 jetons. La sortie maximale est de 16 000 jetons. Le maximum par défaut des jetons est de 2 048. Ajustez ces paramètres en fonction de vos besoins. Les sorties plus grandes nécessitent des limites plus élevées.
Les limites de débit sont de 300 requêtes par minute. 8 requêtes simultanées par clé. La taille du corps de la requête est limitée à 8 Mo. Ces limites sont généreuses pour la plupart des applications. Surveillez votre utilisation pour rester dans les limites.
Gestion du streaming et des appels de fonctions
Le streaming est pris en charge via les Server-Sent Events (SSE). Chaque chunk contient du texte partiel. Le dernier chunk inclut l'utilisation des tokens. Cela permet des mises à jour en temps réel dans votre interface utilisateur.
L'appel de fonctions fonctionne avec des définitions d'outils standard. Définissez des outils dans votre requête. Le modèle produira du JSON pour les appels d'outils. Analysez la réponse pour exécuter les fonctions.
Le mode JSON garantit une sortie structurée. Utilisez response_format: {"type": "json_object"}. Le modèle renverra du JSON valide. C'est utile pour l'extraction de données et les intégrations API.
Les paramètres comme la température et le top_p contrôlent l'aléatoire. Utilisez la graine pour la reproductibilité. Les pénalités de présence et de fréquence aident à éviter les répétitions. Expérimentez avec ces paramètres pour trouver le meilleur équilibre.
Confidentialité et utilisation des données
Nous collectons des données minimales. Une adresse e-mail est requise pour la création du compte. Aucun numéro de téléphone n'est nécessaire. Vous pouvez vous connecter avec Google ou utiliser un e-mail et un mot de passe.
Les invites ne sont pas utilisées pour l'entraînement. Vos données ne sont pas vendues. Cela garantit la confidentialité des applications sensibles. Vous conservez la pleine propriété de vos entrées et sorties.
Les informations de paiement sont gérées via la crypto. Les transactions sont enregistrées sur la blockchain. Cela ajoute une couche supplémentaire de confidentialité.
Les remboursements ne sont pas disponibles pour le crédit. Les erreurs comme les doubles facturations sont corrigées via le support. Le crédit n'expire jamais. Cela offre une flexibilité pour les projets à long terme.
Pour commencer avec votre première requête
Inscrivez-vous pour un compte gratuit. Vous recevez 0,50 $ de crédit d'essai. L'essai dure 7 jours.
Générez votre clé API sur le tableau de bord. Utilisez cette clé dans la configuration de votre SDK. Définissez l'URL de base sur HTTPS://api.routerllm.cc/v1.
Faites une demande simple. Envoyez un prompt au point de terminaison /v1/chat/completions. Le modèle renverra une réponse. Vérifiez la sortie pour l'exactitude et le ton.
Rechargez avec de la crypto pour des limites supérieures. Utilisez USDT (TRC20) ou USDC (Base). Saisissez le montant entre 20 $ et 500 $. Des crédits bonus sont appliqués automatiquement. Commencez à développer votre application uncensored dès aujourd'hui.
