Strot

Apakah Strot

Strot ialah projek sumber terbuka yang menyusun niat LLM sekali dan kemudian menjalankan keputusan secara setempat.

Ciri utama

• Menyusun niat LLM sekali untuk menghasilkan model keputusan yang boleh dijalankan secara setempat
• Menyokong output JSON yang selamat jenis untuk tugas klasifikasi, pemarkahan, penghalaan dan tugas serupa, termasuk kebarangkalian dan skor keyakinan
• Menjalankan keputusan pada perkakasan tempatan pada kos sampingan sifar, tanpa panggilan LLM semasa runtime diperlukan
• Menyediakan antara muka run() untuk menghala rekod dan melaksanakan pengendali yang telah disusun
• Menyediakan antara muka decide() untuk menjawab soalan boolean, skor atau pilihan berbilang daripada rekod

Untuk siapa ia

Untuk pembangun yang perlu mengklasifikasikan, memarkah atau menghala sejumlah besar rekod, dan jurutera yang mahu menjalankan keputusan niat tetap dengan cekap pada perkakasan tempatan.

Cara memulakan

1. Pasang pakej dengan pip install strot-ai
2. Dalam kod Python, panggil strot.run() atau strot.decide() dan hantar rekod, pertanyaan atau definisi soalan
3. Gunakan LLM untuk menjana model keputusan semasa fasa penyusunan, kemudian gunakannya semula secara tempatan

Disusun daripada penerangan awam di laman web rasmi / README / halaman pelancaran alat. Harga dan bilangan pengguna belum disahkan; sila semak laman web rasmi. Beberapa bahagian disediakan dengan bantuan AI. Ditulis dalam Bahasa Cina dan Inggeris; bahasa lain adalah terjemahan mesin.