Publication with a quote · Models & research · Infrastructure & self-hosting
Gemma 4 on Intel Arc is now on this version 1.2.0 🎉🎃 Next version will introduce 2x to 2.8x in prefill speed, more than 15k tok/s on the same GPU! @intel @fragtalife #LocalAI
Gemma 4 E4B (NVIDIA Nemotron 3.5 Bolt E4B) now runs on the Intel Arc Pro B70 in #TensorFold main. 4-bit, on one card: 6,772 tok/s prompt, 135.6 tok/s decode. Served chat: 140 / 253 / 426 tok/s at 1 / 2 / 4 streams. Build from main for now; it isn't in a release yet. More prefill
La famille Gemma 4 E4B sur l’Intel Arc B70 ca donnerait dans les 12000 tok/s en prefill à 8k tokens⚡️ Pour faire avaler des tonnes de documents, ça commence à être intéressant 😁 J’attends encore d’autres pistes de perf. Et toujours 1100 tok/s sur 4 flux de code vérifiés bit à
Hi @NVIDIAAIDev @NVIDIAAI , a license question on nvidia/NVIDIA-Nemotron-3.5-Bolt-E4B-4GB-DFlash: the model card says OpenMDW-1.1, but the GGUF metadata (https://t.co/WiseJnxcot) says nvidia-software-and-model-evaluation-license. Which one applies? We'd like to publish results
Gemma 4 E-series groundwork landed on #TensorFold main: • #1400 E4B geometry in the family config • #1401 tensor plan, BF16/8-bit overrides • #1402 per-layer inputs, bit-identical to MLX bf16 at real E4B shapes Thanks @ashxhart for the sharp reviews 🙏 https://t.co/V1nWpiNciV
Le canard parle français 🦆 #Microduck de @pollenrobotics, en simulation pour l’instant : une phrase, et Nemotron Bolt E4B avec notre LoRA décide en ~74 ms sur une Intel Arc B70 (#TensorFold XPU). Le Mac pilote tout depuis une petite console SwiftUI. Prochaine étape : le même https://t.co/QPVqlqzeSA
An #NVIDIA model, on an #Intel GPU, running a #TensorFold engine, piloting a @pollenrobotics duck. This is either the future of physical AI or the start of a very nerdy sitcom 🦆 Yes, I'm porting Bolt E4B to the B70 now 🐤 https://t.co/O9oCKj693K Coin ! #Microduck
Just ordered two @pollenrobotics #microduck 🦆🦆 (yes, after Jensen’s shout-out, I’m clearly not the only one 😁) Plan once they land: let a local LLM powered by #TensorFold on an Intel B70 decide what they do next. Waddle, turn, nod, sit. It picks one, really fast. No cloud, no https://t.co/[redacted]
Would /v1/decisions (label probabilities from one prompt pass, no generation) be useful to you in #TensorFold’s native engine? Working on Flash Next CUDA (DGX Spark) first; the hook would be shared for others models. @IntelAI Arc B70 users, interested too? cc @ashxhart #LocalAI
L’IA nous apporte aussi la transparence sur les décisions et conséquences prises par nos chers élites. Factuel, compréhensible. Désormais tout programme politique proposé ou déjà appliqué peut être synthétisé et exposé de façon claire et limpide. Les masques commencent à
X à enfin fait ce qu’il aurait dû faire depuis le début. Unifier tout leurs abonnement en un seul. Il ne leur manque plus que des vrais models frontières avant de plier le game
L'IA est en train de créer l'âge d'or de l'open source. Reverse engineer des logiciels devient un jeu d'enfants avec les IA, et encore plus avec des outils open source comme qui permettent reverse-engineer des apps ou des jeux facilement. Plus tôt encore