Strot

Qu'est-ce que Strot

Strot est un projet open-source qui compile une fois l'intention d'un LLM puis exécute les décisions localement.

Fonctionnalités principales

• Compile une intention de LLM une fois pour générer un modèle de décision qui peut s'exécuter localement
• Prend en charge la sortie JSON type-safe pour la classification, le scoring, le routage et les tâches similaires, y compris les probabilités et les scores de confiance
• Exécute les décisions sur du matériel local à coût marginal nul, sans appels LLM à l'exécution
• Fournit une interface run() pour router les enregistrements et exécuter les gestionnaires compilés
• Fournit une interface decide() pour répondre à des questions booléennes, de score ou à choix multiple à partir d'enregistrements

Pour qui

Pour les développeurs qui doivent classifier, scorer ou router un grand nombre d'enregistrements, et les ingénieurs qui souhaitent exécuter des décisions à intention fixe de manière efficace sur du matériel local.

Comment démarrer

1. Installez le package avec pip install strot-ai
2. Dans le code Python, appelez strot.run() ou strot.decide() et passez des enregistrements, des requêtes ou des définitions de questions
3. Utilisez un LLM pour générer le modèle de décision pendant la phase de compilation, puis réutilisez-le localement

Compilé à partir des descriptions publiques du site officiel / README / page de lancement. Tarifs et nombre d'utilisateurs non vérifiés ; consultez le site officiel. Certaines sections ont été rédigées avec l'aide de l'IA. Rédigé en chinois et en anglais ; les autres langues sont traduites automatiquement.