Kiln AI : outil IA pour le fine-tuning de LLM, la génération de données synthétiques et la collaboration sur les jeux de données 181

Kiln ai est un outil IA open source qui permet le fine-tuning de grands modèles de langage (LLM), la génération de données synthétiques et la collaboration sur des jeux de données. Il offre une interface intuitive et prend en charge les systèmes Windows, MacOS et Linux. Les utilisateurs peuvent affiner divers modèles et les déployer automatiquement sans aucune ligne de code.

Kiln AI prend également en charge deepseek (j'ai déployé localement un deepseek-r1:14b via ollama) et j'ai effectué un petit test. Pour quelqu'un comme moi qui a besoin de distiller localement de grands modèles de langage pour le développement et la recherche, Kiln AI est tout simplement un outil « miraculeux ».

Fonctionnalités de Kiln AI :

• Fine-tuning sans code : Kiln AI permet aux utilisateurs d'affiner les modèles via une interface simple. Les utilisateurs peuvent choisir le modèle approprié, tel que GPT-4o, la série Llama, etc., et configurer les paramètres pour le fine-tuning.

• Construction de jeux de données : Kiln AI aide les utilisateurs à construire et itérer des jeux de données. Les utilisateurs peuvent saisir leurs propres sources de données, et l'outil améliorera la qualité et la diversité des données afin d'optimiser l'entraînement.

• Génération de données synthétiques : L'outil peut générer automatiquement des données synthétiques pour soutenir l'entraînement des modèles, réduisant ainsi les coûts d'annotation, particulièrement utile en cas de données rares.

• Collaboration en équipe : Contrôle de version des jeux de données IA basé sur Git. Une interface utilisateur intuitive vous permet de collaborer facilement avec les équipes QA, PM et les experts métier sur des données structurées.

• Génération de prompts : Génère automatiquement des prompts à partir de vos données, y compris des chaînes de pensée, des exemples few-shot et multi-exemples.

• Prise en charge étendue des modèles et fournisseurs : Compatible avec Ollama, OpenAI, OpenRouter, Fireworks, Groq, AWS, etc.

Modèles et fournisseurs pris en charge

• Compatible avec toute API compatible OpenAI, y compris Ollama, OpenAI, OpenRouter, Fireworks, Groq et AWS.

• Vaste bibliothèque de modèles : Prend en charge GPT, Llama, Claude, Gemini, Mistral, Gemma et Phi.

Comment utiliser Kiln AI pour la construction de jeux de données et l'optimisation des modèles ?

1. Télécharger et installer Kiln AI :

• Rendez-vous sur la page GitHub de Kiln AI et téléchargez le package d'installation correspondant à votre système d'exploitation.

• Suivez les instructions de l'assistant d'installation pour terminer le processus.

2. Lancer l'application Kiln AI :

• Une fois l'installation terminée, lancez l'application Kiln AI. Une interface utilisateur intuitive s'affichera.

3. Créer une nouvelle tâche :

• Dans l'interface de Kiln AI, cliquez sur le bouton « Créer une nouvelle tâche ». Cela vous guidera vers l'étape de définition de la tâche et de fixation des objectifs.

• Saisissez le nom de la tâche, sa description ainsi que toute exigence spécifique en matière d'entrées et de sorties.

4. Générer les données d'entraînement :

• Utilisez les outils de visualisation interactifs fournis par Kiln AI pour générer les données d'entraînement. Vous pouvez générer des données synthétiques de haute qualité grâce à des techniques telles que les arborescences thématiques, les prompts multi-exemples et le chain-of-thought.

• Lors de la génération des données, veillez à leur diversité et à leur exactitude.

5. Sélectionner et affiner le modèle :

• Dans Kiln AI, vous pouvez choisir parmi plusieurs modèles pré-entraînés à affiner, notamment Llama, GPT-4o, Mixtral, etc.

• Configurez les paramètres de fine-tuning, tels que la répartition entre jeu d'entraînement et jeu de validation, puis lancez la tâche de fine-tuning.

6. Déployer et utiliser le modèle :

• Une fois le fine-tuning terminé, Kiln AI déploie automatiquement le modèle. Vous pouvez tester et appeler directement le modèle affiné depuis l'interface.

• Si nécessaire, vous pouvez également intégrer le modèle à d'autres systèmes ou applications via une API.

7. Collaboration en équipe et contrôle de version :

• Kiln AI prend en charge le contrôle de version basé sur Git, facilitant la collaboration entre les membres de l'équipe sur les jeux de données et les modèles.

• Vous pouvez utiliser l'interface de Kiln AI ou les outils en ligne de commande pour la gestion des versions et la collaboration.

Adresse du dépôt GitHub : https://github.com/Kiln-AI/Kiln