Arahkan lalu lintas asisten AI lokal melalui gerbang yang dihosting sendiri
Rute lalu lintas asisten AI lokal melalui gerbang terpusat yang dihosting sendiri yang menerapkan kompresi panggilan waktu nyata dan optimisasi konteks untuk mengurangi pengeluaran inferensi. Anyray Connect, dari Othentic Labs Ltd, dikirim sebagai executable Windows yang ditandatangani untuk tim teknik dan DevOps. Ini mengekspos API yang kompatibel dengan OpenAI, menawarkan atribusi pengeluaran berdasarkan tim dan proyek, dan mencakup waktu habis fail-open sehingga alur kerja pengembang tetap berjalan. Alat ini cocok untuk tim yang menjalankan LLM secara besar-besaran dan memerlukan tata kelola di tempat.
Apa yang sebenarnya dilakukan Anyray Connect untuk lalu lintas LLM pengembang?
Anyray Connect mengarahkan permintaan dari alat AI lokal melalui gateway internal, menulis ulang titik akhir sehingga asisten dan SDK menggunakan pengoptimal tanpa perubahan kode. Eksekusi sisi klien secara otomatis mengonfigurasi alat yang kompatibel untuk mengarah ke gateway, dan gateway menerapkan transformasi berbasis aturan yang deterministik untuk kompresi dan pemangkasan konteks. Pengaturan ini menargetkan lingkungan di mana konten prompt harus tetap berada di dalam infrastruktur perusahaan, dan ini mengekspos API yang kompatibel dengan OpenAI sehingga integrasi yang ada tetap berfungsi.
Apakah ini mempengaruhi alur kerja atau memerlukan perubahan rekayasa?
Alat ini berfungsi sebagai pengganti langsung untuk titik akhir LLM yang ada, sehingga tim tidak perlu mengubah kode asisten atau panggilan SDK. Selain itu, klien menggunakan mekanisme fail-open dengan batas waktu 800–1200 milidetik yang meneruskan permintaan tanpa perubahan jika pengoptimal lambat, yang menjaga produktivitas pengembang. Konfigurasi terjadi di lapisan klien dan gateway, dan penginstal didistribusikan sebagai eksekusi Windows yang ditandatangani tunggal atau melalui Windows Package Manager.
Apakah aman untuk beroperasi di dalam lingkungan perusahaan?
Keamanan dirancang ke dalam arsitektur yang dihosting sendiri; gateway dan pengoptimal berjalan di dalam infrastruktur Anda (misalnya, Docker atau Kubernetes), dan konten prompt/respons tetap di tempat. Selain itu, pengoptimal menggunakan transformasi deterministik untuk menjaga keluaran tetap stabil, dan pengukuran hanya mengirim metadata tanpa konten untuk atribusi pengeluaran. Pilihan desain ini membatasi paparan eksternal sambil memberikan pelaporan penggunaan per tim dan per proyek.
Alat yang ditargetkan untuk tim rekayasa yang sudah menjalankan infrastruktur yang dihosting sendiri
Anyray Connect cocok untuk tim rekayasa dan DevOps yang memerlukan tata kelola granular dari lalu lintas LLM dan sudah mengoperasikan layanan yang tercontainerisasi atau di tempat. Ini mempertahankan integrasi yang ada dengan mengekspos API standar dan menjaga prompt sensitif di dalam jaringan. Kompromi utama adalah persyaratan operasional: tim harus menghosting dan memelihara infrastruktur gateway untuk mendapatkan manfaat dari fitur pengoptimal dan atribusi.
