Qwen3.8-27B en 8 à 12 Go : trois façons de faire tourner un agent sur un PC
Saluki, OrcaSAQ et Swift compressent ou raccourcissent le même modèle socle. Tour d'horizon de ce que chacun sacrifie, et d'une licence à lire avant de déployer.
Avec 17 400 likes et 6,8 millions de téléchargements, Qwen3.8-27B est le modèle socle de la rentrée. En BF16 il pèse 54 Go, hors de portée d'un PC. Trois dérivés apparus ces dix derniers jours visent le même objectif : garder ses capacités d'agent (appel d'outils, mode réflexion, long contexte) dans un format qui tient sur une carte grand public.
Saluki : 7,9 Go, le plus petit
Underdog-Saluki-27B-1.0 (Conway Research) ramène le modèle à 7,9 Go en quantisation IQ2 avec entraînement, en annonçant l'appel d'outils intact. C'est le choix pour une carte de 8 Go ou un portable. Le prix se paie en finesse de raisonnement sur les tâches longues, ce que la fiche ne cache pas.
OrcaSAQ-2 : 12,3 Go, le plus fidèle
OrcaSAQ-2-27B applique une quantisation mixte à 3,21 bits par poids en moyenne : 12,3 Go, contexte de 262 000 tokens, appel d'outils et mode réflexion conservés, licence Apache 2.0. La fiche annonce une perplexité à +0,02 % du BF16 et un SWE-bench Verified à 70. Ces chiffres sont auto-déclarés, mais l'ordre de grandeur est cohérent avec ce que fait ISTA-DASLab sur le même modèle. Sur une carte de 16 Go, c'est l'option à essayer en premier pour un agent local.
Swift : moins de réflexion, pas moins de poids
Swift-Qwen3.8-27b ne compresse pas : c'est un adaptateur LoRA qui pénalise les marqueurs de « sur-réflexion ». Résultat annoncé : 58 % de tokens de réflexion en moins, une vitesse multipliée par 1,95, et une qualité stable sauf sur AIME (98,7 à 94). Une version GGUF existe. Attention à la licence : « Swift Open License v1.0 », gratuite sous un million de dollars de chiffre d'affaires annuel, licence Enterprise au-delà. Pour un usage en entreprise, ce n'est pas un modèle ouvert au sens habituel.
Lequel choisir
| Dérivé | Poids | Ce qu'il garde | Licence |
|---|---|---|---|
| Saluki | 7,9 Go | Appel d'outils | Ouverte |
| OrcaSAQ-2 | 12,3 Go | Outils, réflexion, 262 k de contexte | Apache 2.0 |
| Swift | Comme l'original (GGUF disponibles) | Tout, en réfléchissant moins | Sous conditions de CA |
La tendance de fond est claire : la quantisation sous 3 bits avec entraînement devient la norme du local, et Qwen3.8-27B en est la plateforme. Prochaine étape à surveiller : les mêmes techniques appliquées aux modèles de 9 B, qui tiendraient alors en moins de 4 Go.