Aller au contenu
LE LAB X

Ressources

Tous les sujets

Infra & self-host

Machines locales, déploiements, données et stacks que l’on garde sous contrôle.

2 articles7 signaux

Articles

Signaux

DumbleD@dumblebackdoor

DumbleD

@dumblebackdoor

Sujets repérés · Infra & self-host

Chauffe plat ou vraie fontaine à tokens ? La suite au prochain épisode 😏 @IntelFrance @fragtalife 🙏 #LocalAI https://t.co/fXrqxRhuzd

  • Infra & self-host
DumbleD

@dumblebackdoor

Sujets repérés · Infra & self-host

Une seule carte, une Intel Arc Pro B70 avec 32 Go de VRAM entièrement dédiée à notre bench. Plateforme Ubuntu 26 et vLLM XPU compilé (pas de docker). J'ai reproduit mes benchs au plafond de 230 W : max à 89 tok/s, 62 tok/s en debug de code python, 44 en prose EN, 47 en prose FR. https://t.co/tGdCCmlia0

  • Infra & self-host
DumbleD

@dumblebackdoor

Sujets repérés · Infra & self-host

Deux GPU Intel Arc Pro B70 32 Go, même base, mais ça ne fonctionne pas comme espéré. La carte mère MSI B860-P n’a pas les lignes PCIe nécessaires pour les faire marcher de concert. On tourne donc en dégradé, oneCCL patché. Max : 75,4 tok/s / code debug 52,4 / prose EN 37,1 / https://t.co/R026UWJLjE

  • Infra & self-host
DumbleD

@dumblebackdoor

Publication avec citation · Modèles & recherche · Infra & self-host

Presque 6 Go… 7,2 en Q2. Intéressant sur des GPU contraints en VRAM. 80 tok/s en génération et 3000 en prefill sur une 4090, par exemple. Sur Mac, le format GGUF est aussi dispo : #LocalAI

  • Modèles & recherche
  • Infra & self-host
DumbleD

@dumblebackdoor

Sujets repérés · Modèles & recherche · Infra & self-host

Qwen-Image-2.1 tourne sur une Intel Arc Pro B70. Une image toutes les 52 secondes avec une très bonne qualité, et vous avez même la retouche ainsi que le support de la transparence. Cela vous tente ? Ce n'était pas acquis au lancement du projet. ComfyUI annonce le support natif https://t.co/WIe403J8vD

  • Modèles & recherche
  • Infra & self-host
DumbleD

@dumblebackdoor

Publication avec citation · Infra & self-host

Alors ça c’est une bonne nouvelle ! Un projet à suivre de près, tellement important et passionnant.

  • Infra & self-host
DumbleD

@dumblebackdoor

Sujets repérés · Infra & self-host

La génération d'images par LLM est juste à un niveau vraiment très bon, même en local, sur un GPU de 16 Go de VRAM... De beaux fonds d'écran en prévision de la période automnale approchante 😁 #Hymenara https://t.co/kQkZ8rusjZ

  • Infra & self-host