project-maya

Qu'est-ce que project-maya

Project Maya est un outil exécuté localement qui prend en charge le déploiement privé du modèle GLM-5.3-Flash (321B MoE) sur des GPU personnels (NVIDIA ou AMD, 1 à 16 cartes, Linux ou Windows). Il fournit un moteur, un serveur, un tableau de bord et des API compatibles avec OpenAI et Anthropic, et inclut des outils de quantification.

Fonctionnalités principales

• Prend en charge le déploiement privé du modèle GLM-5.3-Flash (321B MoE) sur des GPU personnels (NVIDIA ou AMD, 1 à 16 cartes)
• Fournit un moteur, un serveur, un tableau de bord navigateur et une interface de chat, avec prise en charge de la génération d'images
• Compatible avec les API OpenAI et Anthropic, prend en charge l'appel d'outils et la gestion des requêtes concurrentes
• Inclut un outil de quantification développé en interne qui peut quantifier les modèles jusqu'à 96,5 Go tout en maintenant une haute précision zero-shot
• Mesure automatiquement le GPU, le CPU, la RAM et le SSD et effectue un auto-réglage, avec une prise en charge de la longueur de contexte jusqu'à 1M de tokens

Pour qui

Pour les développeurs, les chercheurs et les utilisateurs d'applications IA locales qui ont besoin d'exécuter de grands modèles GLM-5.3-Flash en privé sur un GPU local. Prend en charge Linux et Windows.

Comment démarrer

1. Rendez-vous sur https://github.com/mw00/project-maya
2. Installez en suivant la configuration en une commande dans le README
3. Téléchargez les poids des modèles quantifiés tels que Maya-S
4. Démarrez le serveur et le tableau de bord navigateur pour commencer à l'utiliser

Compilé à partir des descriptions publiques du site officiel / README / page de lancement. Tarifs et nombre d'utilisateurs non vérifiés ; consultez le site officiel. Certaines sections ont été rédigées avec l'aide de l'IA. Rédigé en chinois et en anglais ; les autres langues sont traduites automatiquement.