Neues Sprachmodell GLM-4.5 aus China veröffentlicht
Ein vielversprechendes neues Sprachmodell, GLM-4.5, wurde von dem chinesischen Anbieter Z.ai (ehemals Zhipu) entwickelt und unter der MIT-Lizenz veröffentlicht.
Das GLM-4.5-Modell zeichnet sich durch seine hohe Leistung aus und kann bereits in der kleineren Version effizient auf moderater Hardware betrieben werden. Es kombiniert hybride Eigenschaften, die sowohl Reasoning als auch Non-Reasoning-Ansätze ermöglichen. In einem interessanten Kontrast hat Alibaba mit seinem Modell Qwen einen anderen Ansatz gewählt und die hybriden Funktionen auf verschiedene, spezialisierte Modelle aufgeteilt.
Technische Details zur Architektur
GLM-4.5 hat beeindruckende 335 Milliarden Parameter und verwendet eine Mixture-of-Experts-Architektur. Dabei sind bei der Inferenz nur 32 Milliarden Parameter aktiv, was die Berechnungen und Token-Generierung erheblich beschleunigt. Das Modell setzt 160 Experten ein, wobei gleichzeitig acht sowie ein gemeinsamer Experten aktiv sind. Zusätzlich verfügt es über 96 Attention-Heads und 92 Transformer-Schichten, was es tiefgründiger macht als andere vergleichbare Modelle wie DeepSeek R1 oder Kimi K2.
Z.ai bietet zudem eine reduzierte Version des Modells an, GLM-4.5-Air, die mit 106 Milliarden Parametern weniger leistungsstark, aber mit 12 Milliarden aktivierbaren Parametern auf einer breiteren Hardwarebasis operabel ist. Diese Version kann zum Beispiel auf CPUs mit 64 GByte RAM in einer Vier-Bit-Quantisierung betrieben werden.
Innovativer Trainingsprozess
Der Trainingsprozess wurde von Z.ai mit der neuen „slime“-Methode optimiert, die als Open-Source-Software zugänglich gemacht wurde. Der Ansatz fokussiert sich auf agentenorientiertes Design und implementiert verschiedene Phasen des Reinforcement Learnings, um die Flexibilität und Effizienz des Trainings zu maximieren.
Bislang sind umfangreiche Benchmarks zu GLM-4.5 noch rar. Erste Berichte deuten darauf hin, dass es in der Anwendung von Agenten-KI durchaus mit höheren Modellen konkurrieren kann.
Fazit und Ausblick
Die Veröffentlichung des GLM-4.5-Modells könnte einen bedeutenden Fortschritt im Bereich der Sprachmodelle darstellen, auch wenn die Informationsflut über neuartige Modelle eine Herausforderung für die Marktteilnehmer darstellt. Z.ai und Alibaba haben kürzlich eine Reihe neuer Modelle auf den Markt gebracht, die sich in Leistungsfähigkeit und Effizienz unterscheiden.
Es bleibt abzuwarten, ob GLM-4.5 die Anerkennung erhält, die es verdient. Dennoch zeigen Fortschritte wie der „slime“-Trainingsprozess und die kontinuierlichen Verbesserungen in der Technologie, dass sich die Frequenz neuer und besserer Modelle in naher Zukunft weiter erhöhen wird.
