LLM 라우터란 무엇인가요?
LLM 라우터는 요청을 다양한 언어 모델로 지시하는 프록시 레이어 역할을 합니다. 개발자들은 이를 사용하여 여러 제공업체를 단일 엔드포인트로 집계합니다. 이 접근 방식은 벤더별 특이점을 숨김으로써 코드베이스를 단순화합니다.
하지만 라우터는 지연 시간과 잠재적인 고장 지점을 추가합니다. 라우터는 종종 비용, 지연 시간 또는 모델 가용성에 따라 트래픽을 라우팅합니다. 일부 라우터는 요청을 기본 모델에 전달하기 전에 자체 콘텐츠 필터를 적용하기도 합니다.
많은 사용 사례에서 전용 단일 모델 엔드포인트가 더 신뢰할 수 있습니다. 라우팅 로직을 제거하고 오버헤드를 줄입니다. 중개 처리 없이 모델의 기능에 직접 접근할 수 있습니다.
이 구별은 낮은 지연 시간이나 특정 모델 동작이 필요한 애플리케이션에 중요합니다. 라우터는 다중 모델 전략에 유용합니다. 전용 엔드포인트는 집중적이고 대용량 워크로드에 더 적합합니다.
무검열 모델을 사용해야 하는 이유?
Uncensored 모델은 성인 또는 논쟁적인 주제에서 종종 트리거되는 제한적인 콘텐츠 필터를 제거합니다. 표준 모델은 광범위한 안전 정책으로 인해 합법적인 요청을 거절할 수 있습니다. Uncensored 변형은 창의적 자유와 정확한 역할극을 허용합니다.
이러한 모델은 콘텐츠 제작, 성인 엔터테인먼트, 연구에 이상적입니다. 미묘한 프롬프트를 거짓 거부 없이 처리합니다. 모델은 상업적 브랜딩의 컨텍스트를 추론하여 허용 여부를 결정하지 않습니다.
프라이버시는 또 다른 주요 요소입니다. 많은 제공업체는 사용자 데이터를 학습합니다. 당사 서비스는 프롬프트를 학습에 사용하지 않습니다. 귀하의 데이터는 귀하에게 유지됩니다. 이는 독점적이거나 민감한 애플리케이션에 중요합니다.
콘텐츠 제한이 여전히 적용됩니다. 미성년자가 관련된 성적인 콘텐츠를 차단합니다. 그 외의 모든 것은 허용됩니다. 여기에는 성숙한 테마, 폭력 및 정치적 의견이 포함됩니다.
OpenRouter vs. 전용 라우터
OpenRouter는 여러 모델을 집계합니다. 모델당 요청마다 요금이 부과됩니다. 라우팅 로직은 지연 시간을 추가할 수 있습니다. 당사 서비스는 단일 전용 검열 없는 모델을 제공합니다. 이는 일관된 성능과 가격 책정을 보장합니다.
OpenRouter는 여러 모델 ID를 관리해야 합니다. 당사는 단일 ID "uncensored"를 사용합니다. 이는 코드를 단순화합니다. 작업 난이도에 따라 모델을 전환할 필요가 없습니다.
OpenRouter의 가격은 모델에 따라 다릅니다. 저희 가격은 입력 토큰 100만 개당 $0.15, 출력 토큰 100,000개당 $0.50으로 고정되어 있습니다. 이 예측 가능성은 예산 계획에 도움이 됩니다. 각 요청의 비용을 정확히 알 수 있습니다.
당사 서비스는 신뢰성을 원하는 개발자를 위해 설계되었습니다. 우리는 벤더 간 라우팅을 수행하지 않습니다. 우리는 하나의 최적화된 모델을 실행합니다. 이는 복잡성을 줄이고 응답 시간을 개선합니다.
드롭인 호환성 설명
당사의 API는 OpenAI와 완전히 호환됩니다. 동일한 SDK와 라이브러리를 사용할 수 있습니다. 베이스 URL과 API 키만 변경하면 됩니다. 기존 코드는 그대로 유지됩니다. 이는 Python, Node.js 및 기타 지원 언어에 모두 적용됩니다.
엔드포인트는 /v1/chat/completions입니다. temperature와 top_p와 같은 표준 매개변수를 받습니다. 함수 호출은 예상대로 작동합니다. 구조화된 출력을 위해 JSON 모드가 지원됩니다.
SSE를 통한 스트리밍이 지원됩니다. 토큰 사용량은 마지막 청크에서 보고됩니다. 이는 OpenAI 스트리밍 프로토콜과 일치합니다. 수정 없이 기존 파이프라인에 통합할 수 있습니다.
이 호환성은 CLI 도구에도 확장됩니다. Open Code와 같은 도구는 당사 엔드포인트로 쉽게 전환할 수 있습니다. 구성만 업데이트하면 됩니다. 커스텀 어댑터가 필요하지 않습니다.
비용 비교: Open Router 대 RouterLLM
OpenRouter는 모델별로 청구합니다. 가격은 크게 다릅니다. 고급 모델은 훨씬 더 비쌀 수 있습니다. 당사 가격 책정은 균일합니다. 입력 토큰 1M당 $0.15. 출력 토큰 1M당 $0.50.
이것은 Open Router에서 대형 모델을 사용하는 것보다 종종 저렴합니다. 소형 모델을 사용하는 것보다 비쌉니다. 그러나 고품질 무차별적 모델을 얻습니다. 품질은 일정합니다.
선불 크립토 크레딧을 사용합니다. 월 요금이 없습니다. 오류는 무료입니다. 성공적인 완료에만 지불합니다. 이는 잘못된 요청으로 인한 예산 낭비를 방지합니다.
보너스 크레딧은 대량 충전 시 제공됩니다. $50 충전 시 5%, $100 충전 시 10%, $200 충전 시 15%의 보너스가 제공됩니다. 이는 토큰당 유효 비용을 절감합니다. 이는 다량 사용자를 위한 보상입니다.
기술적 설정: 기본 URL 변경
API로 전환하려면 SDK 구성의 기본 URL을 업데이트하세요. HTTPS://api.routerllm.cc/v1을 가리키도록 설정하세요. 인증에는 생성된 API 키를 사용하세요.
모델 ID를 "uncensored"로 설정하세요. 이렇게 하면 당사 전용 모델을 사용하고 있는지 확인할 수 있습니다. 다른 매개변수는 모두 표준 상태로 유지됩니다. 온도, top_p 및 중지 시퀀스는 예상대로 작동합니다.
컨텍스트 창은 100,000 토큰입니다. 최대 출력은 16,000 토큰입니다. 기본 최대 토큰 수는 2,048입니다. 필요에 따라 이러한 설정을 조정하세요. 더 큰 출력에는 더 높은 제한이 필요합니다.
속도 제한은 분당 300회입니다. 키당 동시 요청 수는 8개입니다. 요청 본문 크기는 8 MB로 제한됩니다. 이 제한은 대부분의 애플리케이션에 충분합니다. 제한 내에서 사용량을 모니터링하세요.
ストリーミングと関数呼び出しの処理
SSE를 통해 스트리밍이 지원됩니다. 각 청크에는 부분 텍스트가 포함되며, 마지막 청크에는 토큰 사용량이 포함되어 UI에서 실시간 업데이트가 가능합니다.
함수 호출은 표준 도구 정의와 함께 작동합니다. 요청에서 도구를 정의합니다. 모델은 도구 호출에 대한 JSON을 출력합니다. 응답을 파싱하여 함수를 실행합니다.
JSON 모드는 구조화된 출력을 보장합니다. response_format: {"type": "json_object"}를 사용하세요. 모델은 유효한 JSON을 반환합니다. 이는 데이터 추출 및 API 통합에 유용합니다.
온도 및 top_p 같은 매개변수는 무작위성을 제어합니다. 재현성을 위해 시드를 사용하세요. 존재 및 빈도 패널티는 반복을 피하는 데 도움이 됩니다. 최적의 균형을 찾기 위해 이러한 설정을 실험하세요.
개인정보 및 데이터 사용
저희는 최소한의 데이터만 수집합니다. 계정 생성에는 이메일 주소가 필요합니다. 전화번호는 필요하지 않습니다. Google로 로그인하거나 이메일과 비밀번호를 사용할 수 있습니다.
프롬프트는 학습에 사용되지 않습니다. 데이터는 판매되지 않습니다. 이는 민감한 애플리케이션의 기밀성을 보장합니다. 입력과 출력에 대한 완전한 소유권을 보유합니다.
결제 정보는 암호화폐를 통해 처리됩니다. 거래는 블록체인에 기록됩니다. 이는 프라이버시에 대한 추가적인 보호층을 추가합니다.
크레딧에 대해서는 환불이 제공되지 않습니다. 이중 청구와 같은 오류는 지원을 통해 수정됩니다. 크레딧은 만료되지 않습니다. 이는 장기 프로젝트에 유연성을 제공합니다.
첫 번째 요청으로 시작하기
무료 계정에 가입하세요. $0.50의 체험 크레딧이 제공됩니다. 체험 기간은 7일입니다.
대시보드에서 API 키를 생성하세요. SDK 구성에 이 키를 사용하세요. 기본 URL을 HTTPS://api.routerllm.cc/v1로 설정하세요.
간단한 요청을 보내세요. /v1/chat/completions 엔드포인트로 프롬프트를 보내세요. 모델이 응답을 반환합니다. 정확성과 어조를 위해 출력을 확인하세요.
암호화폐로 충전하여 높은 제한을 사용하세요. USDT(TRC20) 또는 USDC(Base)를 사용하세요. $20에서 $500 사이의 금액을 입력하세요. 보너스 크레딧이 자동으로 적용됩니다. 오늘 바로 Uncensored 애플리케이션을 구축하세요.
