Spécialiser sans tout réécrire.
LoRA (Low-Rank Adaptation) n’entraîne pas le modèle entier : il ajoute de petits adaptateurs légers, greffés sur le modèle de base qui reste inchangé. On obtient un modèle spécialisé sur vos données pour une fraction du coût et du temps d’un entraînement complet — et les adaptateurs se mettent à jour facilement.
LoRA, sur un modèle quantisé.
QLoRA applique la même idée que LoRA, mais sur un modèle quantisé — c’est-à-dire compressé pour occuper moins de mémoire. Résultat : un fine-tuning possible sur du matériel plus modeste, avec une perte de qualité en général minime. C’est souvent le meilleur compromis pour spécialiser de grands modèles en local.
En un mot : la mémoire.
LoRA et QLoRA produisent tous deux des adaptateurs légers. La différence tient à la quantisation : QLoRA réduit fortement la mémoire nécessaire, ce qui permet de fine-tuner de plus grands modèles sur un même GPU, à moindre coût. LoRA reste pertinent quand la mémoire n’est pas la contrainte et que l’on vise la qualité maximale par adaptateur.
LoRA, QLoRA et fine-tuning complet.
| LoRA | QLoRA | Fine-tuning complet | |
|---|---|---|---|
| Principe | Adaptateurs légers greffés sur le modèle | Idem, mais sur un modèle quantisé | Ré-entraîne tous les poids |
| Mémoire GPU | Réduite | Fortement réduite | Élevée |
| Coût | Faible | Le plus faible | Élevé |
| Qualité | Très bonne | Très bonne (perte minime) | Maximale |
| Matériel requis | Modéré | Le plus accessible | Important |
Le fine-tuning de LLM, de bout en bout →
On choisit selon votre matériel.
En pratique : QLoRA quand on veut spécialiser un grand modèle sur du matériel accessible, au meilleur coût — le choix par défaut le plus fréquent. LoRA quand la mémoire n’est pas limitante. Fine-tuning complet réservé aux cas où la spécialisation par adaptateurs ne suffit pas. Nous déterminons la bonne approche selon vos données, votre serveur et votre objectif.
Exemple : fine-tuning de Mistral →
LoRA vs QLoRA : vos questions.
Quelle est la différence entre LoRA et QLoRA ?
LoRA entraîne de petits adaptateurs greffés sur le modèle, sans toucher au modèle de base. QLoRA fait la même chose sur un modèle quantisé (compressé) : même résultat avec une empreinte mémoire nettement réduite, donc davantage de modèles sur un même GPU.
QLoRA dégrade-t-il la qualité ?
La perte est en général minime pour un gain mémoire important. Pour la plupart des cas d’entreprise, QLoRA offre un excellent compromis qualité/coût.
LoRA/QLoRA ou fine-tuning complet ?
Le fine-tuning complet ré-entraîne l’ensemble des poids : le plus puissant, mais coûteux et lourd. LoRA/QLoRA suffit dans la grande majorité des cas, pour une fraction du coût et du temps.
Peut-on mettre à jour un adaptateur ?
Oui. Les adaptateurs sont légers : on les réentraîne quand vos données évoluent, sans repartir de zéro.
Sur quels modèles ?
Sur des modèles à poids ouverts — Mistral, Llama, Qwen, Gemma — que l’on fine-tune et déploie sur votre propre infrastructure.