Skip to content
LE LAB X

Resources

All topics

Infrastructure & self-hosting

Local machines, deployments, data and stacks you keep under control.

2 articles7 signals

Articles

Signals

DumbleD@dumblebackdoor

DumbleD

@dumblebackdoor

Spotted topics · Infrastructure & self-hosting

Chauffe plat ou vraie fontaine à tokens ? La suite au prochain épisode 😏 @IntelFrance @fragtalife 🙏 #LocalAI https://t.co/fXrqxRhuzd

  • Infrastructure & self-hosting
DumbleD

@dumblebackdoor

Spotted topics · Infrastructure & self-hosting

Une seule carte, une Intel Arc Pro B70 avec 32 Go de VRAM entièrement dédiée à notre bench. Plateforme Ubuntu 26 et vLLM XPU compilé (pas de docker). J'ai reproduit mes benchs au plafond de 230 W : max à 89 tok/s, 62 tok/s en debug de code python, 44 en prose EN, 47 en prose FR. https://t.co/tGdCCmlia0

  • Infrastructure & self-hosting
DumbleD

@dumblebackdoor

Spotted topics · Infrastructure & self-hosting

Deux GPU Intel Arc Pro B70 32 Go, même base, mais ça ne fonctionne pas comme espéré. La carte mère MSI B860-P n’a pas les lignes PCIe nécessaires pour les faire marcher de concert. On tourne donc en dégradé, oneCCL patché. Max : 75,4 tok/s / code debug 52,4 / prose EN 37,1 / https://t.co/R026UWJLjE

  • Infrastructure & self-hosting
DumbleD

@dumblebackdoor

Publication with a quote · Models & research · Infrastructure & self-hosting

Presque 6 Go… 7,2 en Q2. Intéressant sur des GPU contraints en VRAM. 80 tok/s en génération et 3000 en prefill sur une 4090, par exemple. Sur Mac, le format GGUF est aussi dispo : #LocalAI

  • Models & research
  • Infrastructure & self-hosting
DumbleD

@dumblebackdoor

Spotted topics · Models & research · Infrastructure & self-hosting

Qwen-Image-2.1 tourne sur une Intel Arc Pro B70. Une image toutes les 52 secondes avec une très bonne qualité, et vous avez même la retouche ainsi que le support de la transparence. Cela vous tente ? Ce n'était pas acquis au lancement du projet. ComfyUI annonce le support natif https://t.co/WIe403J8vD

  • Models & research
  • Infrastructure & self-hosting
DumbleD

@dumblebackdoor

Publication with a quote · Infrastructure & self-hosting

Alors ça c’est une bonne nouvelle ! Un projet à suivre de près, tellement important et passionnant.

  • Infrastructure & self-hosting
DumbleD

@dumblebackdoor

Spotted topics · Infrastructure & self-hosting

La génération d'images par LLM est juste à un niveau vraiment très bon, même en local, sur un GPU de 16 Go de VRAM... De beaux fonds d'écran en prévision de la période automnale approchante 😁 #Hymenara https://t.co/kQkZ8rusjZ

  • Infrastructure & self-hosting