Vérificateur d'IA locale

Ce sont des niveaux de quantification — le nombre de bits utilisés pour stocker chaque poids du modèle. Q4 réduit un modèle à environ un quart de sa taille complète avec une légère perte de qualité ; FP16 offre la qualité maximale à taille maximale. La plupart des utilisateurs en local choisissent Q4 ou Q8 pour économiser la mémoire.

Les Mac Apple Silicon partagent un seul pool de mémoire unifiée entre CPU et GPU : un MacBook de 32 Go peut donc accélérer sur GPU des modèles qui exigeraient une carte graphique dédiée de 24 Go sur PC.

Non — les modèles hébergés de pointe restent nettement plus performants. Mais un modèle local de 7B à 13B gère bien le résumé, la rédaction et l'aide au code, ne coûte rien par token, fonctionne hors ligne et garde vos données sensibles sur votre machine.

Ce sont des chiffres indicatifs pour des moteurs de type llama.cpp, surcharge d'exécution typique incluse. Les contextes longs, les gros batchs et chaque moteur spécifique font varier la consommation réelle — considérez un verdict vert limite comme un « peut-être ».