project-maya

Apakah project-maya

Project Maya ialah alat yang dijalankan secara setempat yang menyokong penerapan persendirian model GLM-5.3-Flash (321B MoE) pada GPU peribadi (NVIDIA atau AMD, 1 hingga 16 kad, Linux atau Windows). Ia menyediakan enjin, pelayan, papan pemuka dan API yang serasi dengan OpenAI dan Anthropic, serta merangkumi alat kuantisasi.

Ciri utama

• Menyokong penerapan persendirian model GLM-5.3-Flash (321B MoE) pada GPU peribadi (NVIDIA atau AMD, 1 hingga 16 kad)
• Menyediakan enjin, pelayan, papan pemuka pelayar dan antara muka sembang, dengan sokongan penjanaan imej
• Serasi dengan API OpenAI dan Anthropic, menyokong panggilan alat dan pengendalian permintaan serentak
• Termasuk alat kuantisasi yang dibangunkan sendiri yang boleh mengkuantitkan model sehingga 96.5 GB sambil mengekalkan ketepatan sifar-tembakan yang tinggi
• Mengukur GPU, CPU, RAM dan SSD secara automatik dan melakukan penalaan sendiri, dengan sokongan panjang konteks sehingga 1M token

Untuk siapa ia

Untuk pembangun, penyelidik dan pengguna aplikasi AI setempat yang perlu menjalankan model GLM-5.3-Flash yang besar secara persendirian pada GPU setempat. Menyokong Linux dan Windows.

Cara memulakan

1. Lawati https://github.com/mw00/project-maya
2. Pasang mengikut persediaan satu arahan dalam README
3. Muat turun pemberat model yang telah dikuantitkan seperti Maya-S
4. Mulakan pelayan dan papan pemuka pelayar untuk mula menggunakan

Disusun daripada penerangan awam di laman web rasmi / README / halaman pelancaran alat. Harga dan bilangan pengguna belum disahkan; sila semak laman web rasmi. Beberapa bahagian disediakan dengan bantuan AI. Ditulis dalam Bahasa Cina dan Inggeris; bahasa lain adalah terjemahan mesin.