project-maya

Hva er project-maya

Project Maya er et lokalt kjørt verktøy som støtter privat distribusjon av GLM-5.3-Flash (321B MoE)-modellen på personlige GPU-er (NVIDIA eller AMD, 1 til 16 kort, Linux eller Windows). Det gir en motor, tjener, dashbord og API-er kompatible med OpenAI og Anthropic, og inkluderer kvantiseringverktøy.

Viktige funksjoner

• Støtter privat distribusjon av GLM-5.3-Flash (321B MoE)-modellen på personlige GPU-er (NVIDIA eller AMD, 1 til 16 kort)
• Gir en motor, tjener, nettleserdashbord og chat-grensesnitt, med støtte for bildegenerering
• Kompatibel med OpenAI- og Anthropic-API-er, støtter tool calling og samtidig forespørselsbehandling
• Inkluderer et selvutviklet kvantiseringsverktøy som kan kvantisere modeller ned til 96,5 GB samtidig som høy zero-shot-nøyaktighet opprettholdes
• Måler automatisk GPU, CPU, RAM og SSD og utfører selvtuning, med støtte for kontekstlengde opptil 1M tokens

Hvem det er for

For utviklere, forskere og brukere av lokale AI-applikasjoner som trenger å kjøre store GLM-5.3-Flash-modeller privat på en lokal GPU. Støtter Linux og Windows.

Hvordan komme i gang

1. Gå til https://github.com/mw00/project-maya
2. Installer ved å følge engangsoppsettet i README
3. Last ned kvantiserte modellvekter som Maya-S
4. Start tjeneren og nettleserdashbordet for å begynne å bruke

Sammensatt fra offentlige beskrivelser på verktøyets offisielle nettsted / README / lanseringsside. Priser og brukertall er ikke verifisert; vennligst sjekk det offisielle nettstedet. Noen seksjoner ble utarbeidet med hjelp fra AI. Skrevet på kinesisk og engelsk; andre språk er maskinoversatt.