Leset!p · Neue, offene Modellfamilie aus Frankreich: Mistral 3 ist da
Mit Mistral 3 erscheint eine Modellfamilie unter Apache 2.0-Lizenz, die es mit Modellen aus den USA und China aufnehmen soll.
Mistral 3 ist eine multimodale KI-Modellfamilie mit offenen Gewichten. Sie besteht aus drei kleinen (14B, 8B, 3B) und einem großen Modell mit 675 Milliarden (B) Parametern. Ein spezielles, großes Reasoning-Modell soll in Kürze folgen. Da es sich um ein Mixture-of-Experts-Modell handelt, teilen sich die insgesamt 675 Milliarden Parameter auf in jeweils 41B aktive Parameter. Expertenmodelle zeichnen sich dadurch aus, dass immer nur ein Teil von ihnen – der jeweilige Experte auf dem Gebiet – Fragen beantwortet. Das macht sie schneller und kostengünstiger. Trainiert wurde das große Modell auf rund 3000 Nvidia-H200-GPUs.
s3n🧩net wünscht viel Vergnügen
Comments