Apakah penghala LLM?
Penghala LLM bertindak sebagai lapisan proksi yang mengarahkan permintaan ke pelbagai model bahasa. Pembangun menggunakannya untuk mengagregatkan pelbagai penyedia ke dalam satu hujung titik. Pendekatan ini mempermudahkan pangkalan kod dengan menyembunyikan ciri khusus vendor.
Namun, penghala memperkenalkan latensi dan titik kegagalan berpotensi. Mereka sering menghala trafik berdasarkan kos, latensi, atau ketersediaan model. Sesetengah penghala juga menerapkan tapisan kandungan mereka sendiri sebelum menghantar permintaan ke model asas.
Bagi banyak kes penggunaan, hujung titik model tunggal yang khusus adalah lebih boleh dipercayai. Ia menghilangkan logik pengalihan dan mengurangkan beban kerja. Anda mendapatkan akses langsung kepada keupayaan model tanpa pemprosesan perantara.
Perbezaan ini penting untuk aplikasi yang memerlukan latensi rendah atau tingkah laku model tertentu. Penghala berguna untuk strategi berbilang model. Titik akhir khusus lebih baik untuk beban kerja berfokus dan bervolume tinggi.
Mengapa menggunakan model tanpa sensor?
Model tanpa sensor menghapuskan penapis kandungan restriktif yang sering dicetuskan pada topik dewasa atau kontroversi. Model piawai mungkin menolak permintaan yang sah disebabkan dasar keselamatan yang luas. Variasi tanpa sensor membebaskan kreativiti dan watak yang tepat.
Model-model ini sesuai untuk penciptaan kandungan, hiburan dewasa, dan penyelidikan. Mereka mengendalikan prompt bernuansa tanpa penolakan palsu. Model tidak menyimpulkan konteks dari jenama komersial untuk memutuskan apa yang boleh diterima.
Privasi adalah faktor utama lain. Banyak penyedia melatih data pengguna. Perkhidmatan kami tidak menggunakan prompt untuk latihan. Data anda kekal milik anda. Ini penting untuk aplikasi milik atau sensitif.
Had kandungan masih terpakai. Kami menyekat kandungan seksual yang melibatkan kanak-kanak. Segala-galanya lain adalah permainan adil. Ini termasuk tema matang, keganasan, dan pendapat politik.
Open Router vs. pengagregat khusus kami
Open Router mengagregatkan banyak model. Anda membayar setiap model setiap permintaan. Logik peralihan boleh menambah latensi. Perkhidmatan kami menawarkan satu model tanpa sensor yang khusus. Ini memastikan prestasi dan harga yang konsisten.
Open Router memerlukan anda menguruskan pelbagai ID model. Kami menggunakan satu ID: "uncensored". Ini mempermudahkan kod. Anda tidak perlu menukar model berdasarkan kesukaran tugas.
Harga di Open Router berubah mengikut model. Harga kami tetap pada $0.15 bagi setiap 1M token input dan $0.50 bagi setiap 1M token output. Kebolehramalan ini membantu dalam perancangan bajet. Anda tahu tepat berapa kos setiap permintaan.
Perkhidmatan kami direka untuk pembangun yang mahu kebolehpercayaan. Kami tidak menghala antara vendor. Kami menjalankan satu model yang dioptimumkan. Ini mengurangkan kerumitan dan meningkatkan masa respons.
Keserasian Sambil dijelaskan
API kami sepenuhnya serasi dengan OpenAI. Anda boleh menggunakan SDK dan perpustakaan yang sama. Tukar URL asas dan kunci API. Kod anda kekal tidak berubah. Ini terpakai untuk Python, Node.js, dan bahasa lain yang disokong.
Titik akhir ialah /v1/chat/completions. Ia menerima parameter standard seperti suhu dan top_p. Pemanggilan fungsi berfungsi seperti yang diharapkan. Mod JSON disokong untuk output berstruktur.
Penstriman melalui SSE tersedia. Penggunaan token dilaporkan dalam potongan akhir. Ini sepadan dengan protokol penstriman OpenAI. Anda boleh mengintegrasikannya ke dalam aliran kerja sedia ada tanpa pengubahsuaian.
Serasi ini meluas kepada alat CLI. Alat seperti Open Code boleh beralih ke titik akhir kami dengan mudah. Hanya kemas kini konfigurasi. Tiada penyesuai khusus diperlukan.
Perbandingan kos: Open Router vs. RouterLLM
Open Router mengenakan harga setiap model. Harga berbeza dengan ketara. Model kelas atas boleh kos dengan ketara lebih tinggi. Harga kami adalah seragam. $0.15 per 1M token input. $0.50 per 1M token output.
Ini sering lebih murah daripada menggunakan model besar di Open Router. Ia lebih mahal daripada menggunakan model kecil. Tetapi anda mendapat model tanpa tapisan berkualiti tinggi. Kualitinya konsisten.
Kami menggunakan kredit crypto pra-bayar. Tiada yuran bulanan. Ralat adalah percuma. Anda hanya membayar untuk penyelesaian berjaya. Ini melindungi bajet anda daripada permintaan yang terbuang.
Kredit bonus tersedia untuk pengisian semula yang lebih besar. Bonus 5% untuk $50. 10% untuk $100. 15% untuk $200. Ini mengurangkan kos efektif setiap token. Ia memberi ganjaran kepada pengguna isipadu tinggi.
Persediaan teknikal: menukar URL asas
Untuk beralih ke API kami, kemas kini URL asas dalam konfigurasi SDK anda. Arahkannya ke HTTPS://api.routerllm.cc/v1. Gunakan kunci API yang telah dijana untuk pengesahan.
Tetapkan ID model kepada "uncensored". Ini memastikan anda menggunakan model khusus kami. Semua parameter lain kekal piawai. Suhu, top_p, dan jeda henti berfungsi seperti biasa.
Tetingkap konteks ialah 100,000 token. Output maksimum ialah 16,000 token. Maksimum token lalai ialah 2,048. Laraskan tetapan ini berdasarkan keperluan anda. Output yang lebih besar memerlukan had yang lebih tinggi.
Had kadar adalah 300 permintaan setiap minit. 8 permintaan serentak setiap kunci. Saiz badan permintaan terhad kepada 8 MB. Had-had ini cukup murah hati untuk kebanyakan aplikasi. Pantau penggunaan anda untuk kekal dalam had.
Mengendalikan aliran dan panggilan fungsi
Penstriman disokong melalui Server-Sent Events (SSE). Setiap potongan mengandungi teks separa. Potongan terakhir termasuk penggunaan token. Ini membolehkan kemas kini masa nyata dalam UI anda.
Pemanggilan fungsi berfungsi dengan definisi alat piawai. Takrifkan alat dalam permintaan anda. Model akan mengeluarkan JSON untuk panggilan alat. Uraikan respons untuk melaksanakan fungsi.
Mod JSON memastikan output berstruktur. Gunakan response_format: {"type": "json_object"}. Model akan mengembalikan JSON yang sah. Ini berguna untuk pengekstrakan data dan integrasi API.
Parameter seperti suhu dan top_p mengawal rawak. Gunakan benih untuk boleh diulang. Penalti kehadiran dan kekerapan membantu mengelakkan pengulangan. Eksperimen dengan tetapan ini untuk mencari keseimbangan terbaik.
Privasi dan penggunaan data
Kami mengumpul data minimum. Alamat e-mel diperlukan untuk penciptaan akaun. Tiada nombor telefon diperlukan. Anda boleh log masuk dengan Google atau menggunakan e-mel dan kata laluan.
Prompt tidak digunakan untuk latihan. Data anda tidak dijual. Ini memastikan kerahsiaan untuk aplikasi sensitif. Anda mengekalkan hak milik penuh atas input dan output anda.
Maklumat pembayaran dikendalikan melalui kripto. Transaksi direkodkan pada blockchain. Ini menambah lapisan privasi tambahan.
Pemulangan tidak tersedia untuk kredit. Kesilapan seperti caj berganda diperbaiki melalui sokongan. Kredit tidak luput. Ini memberikan fleksibiliti untuk projek jangka panjang.
Memulakan dengan permintaan pertama anda
Daftar untuk akaun percuma. Anda menerima $0.50 dalam kredit percubaan. Percubaan ini berlangsung selama 7 hari.
Jana kunci API anda pada papan pemuka. Gunakan kunci ini dalam konfigurasi SDK anda. Tetapkan URL asas kepada HTTPS://api.routerllm.cc/v1.
Buat permintaan mudah. Hantar arahan ke hujung titik /v1/chat/completions. Model akan mengembalikan respons. Semak output untuk ketepatan dan nada.
Isi semula dengan crypto untuk had yang lebih tinggi. Gunakan USDT (TRC20) atau USDC (Base). Masukkan jumlah antara $20 dan $500. Kredit bonus diaplikasikan secara automatik. Mula membina aplikasi tanpa sensor anda hari ini.
