La génération d'images par LLM est juste à un niveau vraiment très bon, même en local, sur un GPU de 16 Go de VRAM... De beaux fonds d'écran en prévision de la période automnale approchante 😁 #Hymenara https://t.co/kQkZ8rusjZ
Sujets repérés · Modèles & recherche · Infra & self-host
Qwen-Image-2.1 tourne sur une Intel Arc Pro B70. Une image toutes les 52 secondes avec une très bonne qualité, et vous avez même la retouche ainsi que le support de la transparence. Cela vous tente ? Ce n'était pas acquis au lancement du projet. ComfyUI annonce le support natif https://t.co/WIe403J8vD
Publication avec citation · Modèles & recherche · Infra & self-host
Presque 6 Go… 7,2 en Q2. Intéressant sur des GPU contraints en VRAM. 80 tok/s en génération et 3000 en prefill sur une 4090, par exemple. Sur Mac, le format GGUF est aussi dispo : #LocalAI
Deux GPU Intel Arc Pro B70 32 Go, même base, mais ça ne fonctionne pas comme espéré. La carte mère MSI B860-P n’a pas les lignes PCIe nécessaires pour les faire marcher de concert. On tourne donc en dégradé, oneCCL patché. Max : 75,4 tok/s / code debug 52,4 / prose EN 37,1 / https://t.co/R026UWJLjE
Une seule carte, une Intel Arc Pro B70 avec 32 Go de VRAM entièrement dédiée à notre bench. Plateforme Ubuntu 26 et vLLM XPU compilé (pas de docker). J'ai reproduit mes benchs au plafond de 230 W : max à 89 tok/s, 62 tok/s en debug de code python, 44 en prose EN, 47 en prose FR. https://t.co/tGdCCmlia0