d3

Apakah d3

vllm-sr/d3 ialah repositori model sumber terbuka berasaskan enjin inferens vLLM, yang memfokuskan pada penggunaan dan inferens model bahasa besar yang cekap.

Ciri utama

• Menyokong input teks atau JSON dan boleh melampirkan berbilang imej dan video secara serentak
• Satu panggilan boleh mengendalikan pelbagai jenis keputusan: pilihan berganda, ya/tidak, pemarkahan, dan mengembalikan kebarangkalian bagi setiap jawapan
• Mengeluarkan kebarangkalian keputusan secara langsung tanpa menjana teks
• Menyokong bacaan berbilang imej PNG, JPEG dan WebP serta video MP4, WebM, MOV dan MKV
• Boleh berfungsi sebagai model asas keputusan multimodal 27B untuk vLLM Semantic Router

Untuk siapa ia

Pembangun yang perlu melakukan inferens keputusan multimodal yang cekap, sesuai untuk membina aplikasi pemilihan, penghakiman atau pemarkahan.

Cara memulakan

1. Lawati Ruang Rasmi: vllm-sr/Decision-3.0 untuk percubaan dalam talian

Disusun daripada penerangan awam di laman web rasmi / README / halaman pelancaran alat. Harga dan bilangan pengguna belum disahkan; sila semak laman web rasmi. Beberapa bahagian disediakan dengan bantuan AI. Ditulis dalam Bahasa Cina dan Inggeris; bahasa lain adalah terjemahan mesin.