LLM रूटर क्या है?
एक LLM राउटर एक प्रॉक्सी परत के रूप में कार्य करता है जो अनुरोधों को विभिन्न भाषा मॉडल की ओर निर्देशित करता है। डेवलपर्स इसे एकल एंडपॉइंट में कई प्रदाताओं को एग्रीगेट करने के लिए उपयोग करते हैं। इस दृष्टिकोण से वेंडर-विशिष्ट विचित्रताओं को छिपाकर कोडबेस सरल हो जाता है।
हालाँकि, रूटर लेटेंसी और विफलता के संभावित बिंदु जोड़ते हैं। वे अक्सर लागत, लेटेंसी या मॉडल उपलब्धता के आधार पर ट्राफिक रूट करते हैं। कुछ रूटर मूल मॉडल को अनुरोध भेजने से पहले अपना कंटेंट फिल्टर भी लागू करते हैं।
बहुत से उपयोग मामलों के लिए, एक समर्पित सिंगल-मॉडल एंडपॉइंट अधिक विश्वसनीय होता है। यह रूटिंग लॉजिक को समाप्त करता है और ओवरहेड को कम करता है। आपको मध्यस्थ प्रसंस्करण के बिना मॉडल की क्षमताओं तक सीधी पहुंच मिलती है।
यह अंतर कम लेटेंसी या विशिष्ट मॉडल व्यवहारों की आवश्यकता वाले अनुप्रयोगों के लिए महत्वपूर्ण है। राउटर बहु-मॉडल रणनीतियों के लिए उपयोगी हैं। समर्पित एंडपॉइंट केंद्रित, उच्च-वॉल्यूम वर्कलोड के लिए बेहतर हैं।
अंकुलित मॉडल क्यों उपयोग करें?
अनकेंस्ड मॉड्स वे सीमित सामग्री फिल्टर हटा देते हैं जो अक्सर वयस्क या विवादास्पद विषयों पर ट्रिगर होते हैं। मानक मॉड्स व्यापक सुरक्षा नीतियों के कारण कानूनी अनुरोधों से भी इनकार कर सकते हैं। अनकेंस्ड वेरिएंट्स रचनात्मक स्वतंत्रता और सटीक रोलप्ले की अनुमति देते हैं।
ये मॉडल सामग्री निर्माण, वयस्क मनोरंजन और अनुसंधान के लिए आदर्श हैं। ये बिना गलत अस्वीकृति के सूक्ष्म प्रॉम्प्ट संभालते हैं। मॉडल वाणिज्यिक ब्रांडिंग से संदर्भ नहीं निकालता कि क्या स्वीकार्य है।
गोपनीयता एक अन्य प्रमुख कारक है। कई प्रोवाइडर्स उपयोगकर्ता डेटा पर ट्रेनिंग करते हैं। हमारी सेवा प्रॉम्प्ट्स को ट्रेनिंग के लिए उपयोग नहीं करती है। आपका डेटा आपका ही रहता है। यह स्वामित्व वाली या संवेदनशील अनुप्रयोगों के लिए महत्वपूर्ण है।
सामग्री सीमाएँ अभी भी लागू होती हैं। हम किशोरों से संबंधित यौन सामग्री को ब्लॉक करते हैं। बाकी सब कुछ खेल के लिए है। इसमें परिपक्क विषय, हिंसा और राजनीतिक राय शामिल हैं।
Open Router बनाम हमारा समर्पित राउटर
Open Router कई मॉडल्स को एग्रीगेट करता है। आप प्रति मॉडल प्रति अनुरोध के लिए भुगतान करते हैं। रूटिंग लॉजिक में विलंबता आ सकती है। हमारी सेवा एक एकल, समर्पित अनसेंसर्ड मॉडल प्रदान करती है। यह निरंतर प्रदर्शन और मूल्य निर्धारण सुनिश्चित करता है।
Open Router को आपको कई मॉडल आईडीज़ को प्रबंधित करने की आवश्यकता होती है। हम एकल आईडी का उपयोग करते हैं: "uncensored"। यह कोड को सरल बनाता है। आपको कार्य की कठिनाई के आधार पर मॉडल स्विच करने की आवश्यकता नहीं होती।
Open Router पर मूल्य मॉडल के अनुसार भिन्न होता है। हमारा मूल्य $0.15 प्रति 1M इनपुट टोकन और $0.50 प्रति 1M आउटपुट टोकन पर स्थिर है। यह पूर्वानुमान्यता बजट बनाने में मदद करती है। आप ठीक जानते हैं कि प्रत्येक अनुरोध की लागत क्या है।
हमारी सेवा उन डेवलपर्स के लिए डिज़ाइन की गई है जो विश्वसनीयता चाहते हैं। हम वेंडर्स के बीच रूट नहीं करते हैं। हम एक अनुकूलित मॉडल चलाते हैं। यह जटिलता को कम करता है और प्रतिक्रिया समय को बेहतर बनाता है।
ड्रॉप-इन कम्पैटिबिलिटी समझाया गया
हमारा API पूरी तरह से OpenAI-संगत है। आप वही SDKs और लाइब्रेरीज़ उपयोग कर सकते हैं। बेस URL और API कुंजी बदलें। आपका कोड अपरिवर्तित रहता है। यह Python, Node.js और अन्य समर्थित भाषाओं पर लागू होता है।
एंडपॉइंट /v1/chat/completions है। यह तापमान और top_p जैसे मानक पैरामीटर स्वीकार करता है। फंक्शन कॉलिंग अपेक्षित तरीके से काम करती है। संरचित आउटपुट के लिए JSON मोड समर्थित है।
SSE के माध्यम से स्ट्रीमिंग उपलब्ध है। टोकन उपयोग अंतिम चंक में रिपोर्ट किया जाता है। यह OpenAI स्ट्रीमिंग प्रोटोकॉल से मेल खाता है। आप इसे बिना किसी संशोधन के मौजूदा पाइपलाइनों में एकीकृत कर सकते हैं।
यह संगतता CLI टूल्स तक फैली हुई है। Open Code जैसे टूल्स आसानी से हमारे एंडपॉइंट पर स्विच कर सकते हैं। बस कॉन्फ़िगरेशन अपडेट करें। कस्टम एडाप्टर्स की आवश्यकता नहीं है।
लागत तुलना: Open Router बनाम RouterLLM
Open Router प्रति मॉडल चार्ज करता है। कीमतें बहुत भिन्न होती हैं। उच्च-अंत वाले मॉडल्स काफी अधिक लागत में आ सकते हैं। हमारा मूल्य निर्धारण एकसमान है। $0.15 प्रति 1M इनपुट टोकन। $0.50 प्रति 1M आउटपुट टोकन।
यह Open Router पर बड़े मॉडल्स का उपयोग करने की तुलना में अक्सर सस्ता होता है। यह छोटे मॉडल्स का उपयोग करने से महंगा है। लेकिन आपको एक उच्च-गुणवत्ता वाला अनफिल्टर्ड मॉडल मिलता है। गुणवत्ता स्थिर है।
हम प्रीपेड क्रिप्टो क्रेडिट का उपयोग करते हैं। कोई मासिक शुल्क नहीं है। त्रुटियां मुफ्त हैं। आप केवल सफल पूर्णताओं के लिए भुगतान करते हैं। यह आपके बजट को बर्बाद अनुरोधों से बचाता है।
बोनस क्रेडिट बड़ी टॉप-अप के लिए उपलब्ध हैं। $50 के लिए 5% बोनस। $100 के लिए 10%। $200 के लिए 15%। यह प्रत्येक टोकन की प्रभावी लागत को कम करता है। यह उच्च-वॉल्यूम वाले उपयोगकर्ताओं का सम्मान करता है।
तकनीकी सेटअप: बेस यूआरएल बदलना
अपने API में स्विच करने के लिए, अपने SDK कॉन्फ़िगरेशन में बेस URL को अपडेट करें। इसे HTTPS://api.routerllm.cc/v1 पर पॉइंट करें। प्रमाणीकरण के लिए अपनी जनरेट की गई API कुंजी का उपयोग करें।
मॉडल आईडी को "uncensored" सेट करें। यह सुनिश्चित करता है कि आप हमारे समर्पित मॉडल का उपयोग कर रहे हैं। अन्य सभी पैरामीटर मानक रहते हैं। तापमान, top_p और स्टॉप सीक्वेंस अपेक्षित तरीके से काम करते हैं।
संदर्भ विंडो 100,000 टोकन है। अधिकतम आउटपुट 16,000 टोकन है। डिफ़ॉल्ट अधिकतम टोकन 2,048 है। अपनी आवश्यकताओं के आधार पर इन सेटिंग्स को समायोजित करें। बड़े आउटपुट को उच्च सीमाओं की आवश्यकता होती है।
रेट लिमिट्स प्रति मिनट 300 अनुरोध हैं। प्रति कुंजी 8 समवर्ती अनुरोध। अनुरोध बॉडी का आकार 8 MB तक सीमित है। ये सीमाएं अधिकांश अनुप्रयोगों के लिए पर्याप्त हैं। अपनी उपयोगिता की निगरानी करें ताकि आप सीमाओं के भीतर रहें।
स्ट्रीमिंग और फंक्शन कॉल्स हैंडल करना
SSE (Server-Sent Events) के माध्यम से स्ट्रीमिंग का समर्थन किया जाता है। प्रत्येक चंक आंशिक टेक्स्ट रखता है। अंतिम चंक में टोकन उपयोग शामिल होता है। इससे आपके UI में रियल-टाइम अपडेट संभव होते हैं।
फंक्शन कॉलिंग मानक टूल परिभाषाओं के साथ काम करती है। अपने अनुरोध में टूल्स परिभाषित करें। मॉडल टूल कॉल के लिए JSON आउटपुट करेगा। फंक्शन्स को निष्पादित करने के लिए प्रतिक्रिया को पार्स करें।
JSON मोड संरचित आउटपुट सुनिश्चित करता है। response_format: {"type": "json_object"} का उपयोग करें। मॉडल मान्य JSON लौटाएगा। यह डेटा एक्सट्रैक्शन और API इंटीग्रेशन के लिए उपयोगी है।
तापमान और top_p जैसे पैरामीटर यादृच्छिकता को नियंत्रित करते हैं। पुनरुत्पादकता के लिए सीड का उपयोग करें। उपस्थिति और आवृत्ति पेनल्टी दोहराव से बचने में मदद करती हैं। सबसे अच्छा संतुलन खोजने के लिए इन सेटिंग्स के साथ प्रयोग करें।
गोपनीयता और डेटा उपयोग
हम न्यूनतम डेटा एकत्र करते हैं। खाता बनाने के लिए ईमेल पता आवश्यक है। फोन नंबर की आवश्यकता नहीं है। आप Google के साथ साइन इन कर सकते हैं या ईमेल और पासवर्ड का उपयोग कर सकते हैं।
प्रॉम्प्ट्स को ट्रेनिंग के लिए इस्तेमाल नहीं किया जाता है। आपका डेटा बेचा नहीं जाता है। यह संवेदनशील एप्लिकेशन के लिए गोपनीयता सुनिश्चित करता है। आप अपनी इनपुट और आउटपुट पर पूर्ण स्वामित्व बनाए रखते हैं।
भुगतान जानकारी क्रिप्टो के माध्यम से संभाली जाती है। लेनदेन ब्लॉकचेन पर रिकॉर्ड किए जाते हैं। इससे गोपनीयता की एक अतिरिक्त परत जुड़ती है।
क्रेडिट के लिए रिफंड उपलब्ध नहीं हैं। डबल चार्ज जैसी त्रुटियाँ सहायता के माध्यम से ठीक की जाती हैं। क्रेडिट कभी समाप्त नहीं होता है। यह दीर्घकालिक परियोजनाओं के लिए लचीलापन प्रदान करता है।
अपने पहले अनुरोध के साथ शुरुआत
फ्री खाते के लिए साइन अप करें। आपको $0.50 का ट्रायल क्रेडिट मिलता है। ट्रायल 7 दिनों के लिए होता है।
डैशबोर्ड पर अपना API कुंजी जनरेट करें। इस कुंजी का उपयोग अपने SDK कॉन्फ़िगरेशन में करें। बेस यूआरएल को HTTPS://api.routerllm.cc/v1 पर सेट करें।
एक सरल अनुरोध करें। /v1/chat/completions एंडपॉइंट पर एक प्रॉम्प्ट भेजें। मॉडल एक प्रतिक्रिया लौटाएगा। सटीकता और टोन के लिए आउटपुट की जांच करें।
क्रिप्टो से टॉप अप करें और उच्च सीमाओं के लिए। USDT (TRC20) या USDC (Base) का उपयोग करें। $20 और $500 के बीच राशि दर्ज करें। बोनस क्रेडिट स्वचालित रूप से लागू होते हैं। आज ही अपने अनसेंसर एप्लिकेशन का निर्माण शुरू करें।
