ScoreFlow : génération et optimisation automatisées de workflows multi-agents 198

Qu'est-ce que ScoreFlow ?

ScoreFlow est une méthode automatisée de génération et d'optimisation de flux de travail multi-agents. Grâce à une technique d'optimisation en espace continu basée sur le gradient, combinée à Score-DPO, elle améliore en continu les flux de travail collaboratifs, améliorant ainsi les performances du modèle. Elle surpasse les méthodes existantes dans plusieurs benchmarks, notamment en question-réponse, en programmation et en raisonnement mathématique, et permet aux petits modèles de surpasser les grands modèles à moindre coût d'inférence. ScoreFlow a été développé par des équipes de l'Université de Chicago, de l'Université de Princeton et de l'Université d'Oxford.

Caractéristiques et fonctionnalités de ScoreFlow

• Optimisation efficace : utilise une technique d'optimisation par gradient en espace continu pour améliorer les performances du modèle.

• Optimisation des préférences : combinée à Score-DPO, une variante de la méthode d'optimisation directe des préférences qui prend en compte les retours quantitatifs pour optimiser les sorties du modèle.

• Avantage des petits modèles : aide les petits modèles à surpasser les grands modèles en termes de performances, réduisant ainsi les coûts d'inférence.

• Support multi-tâches : couvre divers scénarios d'application tels que la question-réponse, la programmation et le raisonnement mathématique.

Résultats expérimentaux

• Sur six benchmarks différents (incluant la question-réponse, le codage et le raisonnement mathématique), ScoreFlow a obtenu une amélioration de 8,2 % par rapport aux baselines existantes.

• ScoreFlow permet également aux modèles plus petits de surpasser les modèles plus grands à moindre coût d'inférence.

Cas d'utilisation de ScoreFlow

• Systèmes de question-réponse : améliore la précision et l'efficacité des modèles de question-réponse.

• Assistance à la programmation : optimise les modèles de génération de code pour améliorer l'efficacité de la programmation.

• Raisonnement mathématique : renforce les performances du modèle dans la résolution de problèmes mathématiques.

• Collaboration multi-agents : optimise les flux de travail multi-agents pour améliorer l'efficacité globale des tâches.

Comment utiliser ScoreFlow

Préparation matérielle : nécessite 80-90 Go de mémoire vidéo (VRAM).

Configuration de l'environnement :

• Créez un nouvel environnement virtuel avec conda et installez les dépendances nécessaires.

• Téléchargez les jeux de données et décompressez-les dans le répertoire du projet.

Processus d'optimisation :

• Améliorez progressivement les performances en optimisant le modèle de manière itérative.

• Utilisez les scripts generate.py et evaluate.py pour l'optimisation.

• Le processus d'optimisation peut être ajusté en augmentant le nombre d'itérations.

Inférence :

• Exécutez l'inférence sur le jeu de test pour évaluer les performances finales du modèle.

Projet Github :https://github.com/Gen-Verse/ScoreFlow