LLM Router คืออะไร
ตัวจัดเส้นทาง LLM ทำหน้าที่เป็นชั้นพร็อกซีที่ส่งคำขอไปยังโมเดลภาษาต่างๆ นักพัฒนาใช้เพื่อรวมผู้ให้บริการหลายรายเข้าไว้ในเอนด์พอยต์เดียว ซึ่งช่วยลดความซับซ้อนของฐานโค้ดโดยซ่อนความแตกต่างเฉพาะของผู้ขาย
อย่างไรก็ตาม ตัวเราเตอร์เพิ่มความหน่วงและจุดล้มเหลวที่อาจเกิดขึ้น พวกมันมัก routed การจราจรตามต้นทุน ความหน่วง หรือความพร้อมของโมเดล บางครั้งตัวเราเตอร์ยังใช้ filter เนื้อหาของตัวเองก่อนส่ง request ไปยังโมเดลพื้นฐาน
สำหรับกรณีการใช้งานจำนวนมาก จุดปลายแบบเฉพาะสำหรับโมเดลเดียวมีความน่าเชื่อถือมากกว่า มันตัดตรรกะการกำหนดเส้นทางออกและลดโอเวอร์เฮด คุณเข้าถึงความสามารถของโมเดลโดยตรงโดยไม่มีการประมวลผลโดยตัวกลาง
ความแตกต่างนี้สำคัญสำหรับแอปพลิเคชันที่ต้องการเวลาแฝงต่ำหรือพฤติกรรมโมเดลเฉพาะ ตัวเราเตอร์มีประโยชน์สำหรับกลยุทธ์หลายโมเดล จุดปลายแบบเฉพาะเจาะจงดีกว่าสำหรับงานปริมาณสูงที่มุ่งเน้น
ทำไมต้องใช้โมเดลแบบไม่มีเซ็นเซอร์?
โมเดลแบบไม่เซ็นเซอร์ขจัดตัวกรองเนื้อหาที่เข้มงวดซึ่งมักจะถูกกระตุ้นโดยเนื้อหาสำหรับผู้ใหญ่หรือหัวข้อที่ถกเถกัน โมเดลมาตรฐานอาจปฏิเสธคำขอที่ถูกต้องตามกฎหมายเนื่องจากนโยบายความปลอดภัยที่กว้าง โมเดลแบบไม่เซ็นเซอร์อนุญาตให้มีความคิดสร้างสรรค์และบทบาทสมมติที่แม่นยำ
โมเดลเหล่านี้เหมาะสำหรับการสร้างเนื้อหา บันเทิงสำหรับผู้ใหญ่ และการวิจัย จัดการกับคำขอที่ละเอียดอ่อนโดยไม่มีการปฏิเสธผิดพลาด โมเดลไม่อนุมานบริบทจากแบรนด์เชิงพาณิชย์เพื่อตัดสินว่าอะไรยอมรับได้
ความเป็นส่วนตัวเป็นอีกปัจจัยสำคัญ ผู้ให้บริการจำนวนมากฝึกจากข้อมูลผู้ใช้ บริการของเราไม่ใช้ข้อความต้นฉบับเพื่อการฝึก ข้อมูลของคุณยังคงเป็นของคุณ สิ่งนี้สำคัญมากสำหรับแอปพลิเคชันที่เป็นกรรมสิทธิ์หรือละเอียดอ่อน
ข้อจำกัดบริบทยังคงมีอยู่ เราบล็อกเนื้อหาทางเพศที่เกี่ยวข้องกับเด็ก สิ่งอื่น ๆ ทั้งหมดเป็นสิ่งที่เล่นได้ ซึ่งรวมถึงธีมผู้ใหญ่ ความรุนแรง และความคิดเห็นทางการเมือง
Open Router เทียบกับเราเตอร์เฉพาะของเรา
OpenRouter รวมโมเดลจำนวนมาก คุณจ่ายต่อโมเดลต่อคำขอ ตรรกะการจัดเส้นทางอาจเพิ่มเวลาแฝง บริการของเราเสนอโมเดล uncensored เฉพาะทางเพียงตัวเดียว ซึ่งรับประกันประสิทธิภาพและราคาสม่ำเสมอ
OpenRouter ต้องการให้คุณจัดการ ID โมเดลหลายตัว เราใช้ ID เดียว: "uncensored" ซึ่งทำให้โค้ดง่ายขึ้น คุณไม่จำเป็นต้องสลับโมเดลตามความยากของงาน
ราคาบน Open Router แตกต่างกันไปตามโมเดล ราคาของเราคงที่ที่ $0.15 ต่อ 1M โทเค็นอินพุต และ $0.50 ต่อ 1M โทเค็นเอาต์พุต ความสามารถในการคาดการณ์นี้ช่วยในการวางแผนงบประมาณ คุณทราบต้นทุนที่แน่นอนสำหรับแต่ละคำขอ
บริการของเราออกแบบมาสำหรับนักพัฒนาที่ต้องการความน่าเชื่อถือ เราไม่เปลี่ยนเส้นทางระหว่างผู้ให้บริการต่างๆ เราใช้โมเดลที่ปรับแต่งมาเพียงตัวเดียว ซึ่งช่วยลดความซับซ้อนและปรับปรุงเวลาตอบสนอง
อธิบายความเข้ากันได้แบบง่าย
API ของเราเข้ากันได้กับ OpenAI อย่างสมบูรณ์ คุณสามารถใช้ SDK และไลบรารีเดียวกันได้ เพียงเปลี่ยน URL พื้นฐานและคีย์ API โค้ดของคุณจะยังคงเหมือนเดิม สิ่งนี้ใช้ได้กับ Python, Node.js และภาษาอื่นๆ ที่รองรับ
เอนด์พอยต์คือ /v1/chat/completions มันรับพารามิเตอร์มาตรฐานเช่น temperature และ top_p การเรียกใช้ฟังก์ชันทำงานตามที่คาดไว้ รองรับโหมด JSON สำหรับผลลัพธ์ที่มีโครงสร้าง
รองรับการสตรีมผ่าน SSE แล้ว โดยการใช้งานโทเค็นจะรายงานในชิ้นข้อมูลสุดท้าย ซึ่งสอดคล้องกับโปรโตคอลสตรีมของ OpenAI คุณสามารถนำมันไปรวมเข้ากับระบบเดิมที่มีอยู่ได้โดยไม่ต้องแก้ไข
ความเข้ากันได้นี้ขยายไปถึงเครื่องมือ CLI เครื่องมือเช่น Open Code สามารถเปลี่ยนไปยังจุดปลายของเราได้ง่าย เพียงอัปเดตการกำหนดค่า ไม่ต้องใช้ตัวปรับแต่งแบบกำหนดเอง
การเปรียบเทียบต้นทุน: Open Router เทียบกับ RouterLLM
OpenRouter คิดราคาต่อโมเดล ราคาแตกต่างกันมาก โมเดลระดับสูงอาจมีราคาสูงกว่ามาก ราคาของเราเป็นแบบเดียวกัน $0.15 ต่อ 1M input tokens และ $0.50 ต่อ 1M output tokens
สิ่งนี้มักจะมีราคาถูกกว่าการใช้โมเดลขนาดใหญ่บน Open Router มันมีราคาแพงกว่าการใช้โมเดลขนาดเล็ก แต่คุณได้รับโมเดลแบบไม่มีเซ็นเซอร์คุณภาพสูง คุณภาพมีความสม่ำเสมอ
เราใช้เครดิตคริปโตเติมเงิน ไม่มีค่าธรรมเนียมรายเดือน ข้อผิดพลาดไม่ต้องเสียค่าใช้จ่าย คุณจ่ายเฉพาะการดำเนินการที่สำเร็จเท่านั้น ซึ่งช่วยปกป้องงบประมาณของคุณจากคำขอที่เสียเปล่า
เครดิตโบนัสมีให้สำหรับการเติมเงินจำนวนใหญ่ โบนัส 5% สำหรับ $50. 10% สำหรับ $100. 15% สำหรับ $200 สิ่งนี้ลดต้นทุนต่อโทเค็นที่มีประสิทธิภาพ สิ่งนี้ตอบแทนผู้ใช้ที่มีปริมาณการใช้งานสูง
การตั้งค่าทางเทคนิค: การเปลี่ยน URL พื้นฐาน
เพื่อเปลี่ยนไปใช้ API ของเรา ให้อัปเดต URL พื้นฐานในการกำหนดค่า SDK ของคุณ โดยชี้ไปที่ HTTPS://api.routerllm.cc/v1 ใช้คีย์ API ที่คุณสร้างไว้สำหรับการตรวจสอบสิทธิ์
ตั้งค่ารหัสโมเดลเป็น "uncensored" สิ่งนี้ช่วยให้แน่ใจว่าคุณกำลังใช้โมเดลเฉพาะของเรา พารามิเตอร์อื่นๆ ยังคงเป็นมาตรฐาน อุณหภูมิ (Temperature), top_p และลำดับหยุด (stop sequences) ทำงานตามปกติ
หน้าต่างบริบทคือ 100,000 โทเค็น ผลลัพธ์สูงสุดคือ 16,000 โทเค็น ค่าเริ่มต้นสูงสุดคือ 2,048 ปรับการตั้งค่าเหล่านี้ตามความต้องการของคุณ ผลลัพธ์ขนาดใหญ่ต้องการขีดจำกัดที่สูงขึ้น
อัตราจำกัดการเรียกใช้คือ 300 ครั้งต่อนาที การเรียกใช้พร้อมกันได้ 8 ครั้งต่อคีย์ ขนาดบอดี้ของการเรียกใช้จำกัดไว้ที่ 8 MB อัตราจำกัดเหล่านี้ถือว่าเพียงพอสำหรับแอปพลิเคชันส่วนใหญ่ ควรตรวจสอบการใช้งานของคุณเพื่อให้อยู่ในขอบเขตที่กำหนด
การจัดการสตรีมและการเรียกฟังก์ชัน
รองรับการสตรีมผ่าน Server-Sent Events (SSE) แต่ละชิ้นประกอบด้วยข้อความบางส่วน ชิ้นสุดท้ายรวมถึงข้อมูลการใช้งานโทเค็น ทำให้สามารถอัปเดตแบบเรียลไทม์ใน UI ของคุณได้
การเรียกใช้ฟังก์ชันทำงานกับการกำหนดเครื่องมือมาตรฐาน กำหนดเครื่องมือของคุณในคำขอ โมเดลจะส่งออก JSON สำหรับการเรียกใช้เครื่องมือ แยกวิเคราะห์การตอบกลับเพื่อดำเนินการฟังก์ชัน
โหมด JSON รับประกันผลลัพธ์ที่มีโครงสร้าง ใช้ response_format: {"type": "json_object"} โมเดลจะส่งคืน JSON ที่ถูกต้อง สิ่งนี้มีประโยชน์สำหรับการดึงข้อมูลและการผสานรวม API
Parameters like temperature and top_p control randomness. Use seed for reproducibility. Presence and frequency penalties help avoid repetition. Experiment with these settings to find the best balance.
ความเป็นส่วนตัวและการใช้งานข้อมูล
เราเก็บข้อมูลน้อยที่สุด จำเป็นต้องมีที่อยู่อีเมลสำหรับการสร้างบัญชี ไม่ต้องการหมายเลขโทรศัพท์ คุณสามารถลงชื่อเข้าใช้ด้วย Google หรือใช้อีเมลและรหัสผ่าน
ไม่ใช้พรอมต์สำหรับการฝึก ข้อมูลของคุณไม่ถูกขาย ซึ่งทำให้มั่นใจในความเป็นความลับสำหรับแอปพลิเคชันที่ละเอียดอ่อน คุณยังคงเป็นเจ้าของอินพุตและเอาต์พุตของคุณอย่างเต็มที่
ข้อมูลการชำระเงินจัดการผ่านคริปโต โดยธุรกรรมจะถูกบันทึกบนบล็อกเชน ซึ่งเพิ่มความเป็นส่วนตัวในระดับเพิ่มเติม
การคืนเงินไม่พร้อมสำหรับเครดิต ข้อผิดพลาดเช่นการเรียกเก็บเงินซ้ำจะถูกแก้ไขผ่านฝ่ายสนับสนุน เครดิตไม่มีวันหมดอายุ สิ่งนี้ให้ความยืดหยุ่นสำหรับโครงการระยะยาว
เริ่มต้นใช้งานคำขอแรกของคุณ
สมัครบัญชีฟรี รับเครดิตทดลองใช้ $0.50 ใช้ได้ภายใน 7 วัน
สร้างคีย์ API ของคุณบนแดชบอร์ด ใช้คีย์นี้ในการกำหนดค่า SDK ของคุณ ตั้ง URL พื้นฐานเป็น HTTPS://api.routerllm.cc/v1
ส่งคำของ่ายๆ ส่ง prompt ไปยังจุดจบ /v1/chat/completions โมเดลจะส่งข้อความตอบกลับ ตรวจสอบผลลัพธ์เพื่อความถูกต้องและน้ำเสียง
เติมเงินด้วยคริปโตเพื่อรับขีดจำกัดที่สูงขึ้น ใช้ USDT (TRC20) หรือ USDC (Base) ระบุจำนวนระหว่าง $20 ถึง $500 เครดิตโบนัสจะถูกนำไปใช้โดยอัตโนมัติ เริ่มสร้างแอปพลิเคชัน uncensored ของคุณวันนี้
