Kaum eine Entwicklung der letzten Jahre hat die Welt derart überrascht wie die Veröffentlichung von ChatGPT im November 2022, welche in Folge einen weltweiten Boom in der Entwicklung neuer KI-Systeme ausgelöst hat. Der Markt ist sowohl von proprietären als auch von Open Source Sprachmodellen (Large Language Models, LLM) geradezu überschwemmt worden. Angeführt wird die Entwicklung überwiegend von den US-amerikanischen Tech-Konzernen OpenAI, Microsoft, Meta und Google.

Da multimodale Ansätze zunehmend an Bedeutung gewinnen, können mittlerweile auch Audiosignale, Bilder und Videos von den Modellen verarbeitet werden. Der im Februar 2024 vorgestellte Text-zu-Video- Generator SORA beispielsweise wird in Expertenkreisen bereits als das „nächste große Ding“ bezeichnet. Zweifelsohne haben all diese Entwicklungen nicht nur Auswirkungen auf dem zivilen Sektor, sondern bieten gleichermaßen auch Raum für militärische Anwendungen. Entwicklungen und Trends Die weltweite Forschung an und Entwicklung von generativen KI-Systemen ist hochdynamisch. Die besten Köpfe der Welt ringen um technologischen Vorsprung und führende IT-Unternehmen um eine möglichst gute Position am Markt. Das von Microsoft mitfinanzierte Unternehmen OpenAI ist mit seinem KI-Modell GPT 4 derzeit unangefochtener Marktführer.

Andere namhafte IT-Unternehmen investieren Milliarden in die Entwicklung eigener Produkte. Nicht zu vergessen die unzähligen Start-up-Unternehmen, die mit neuen Ansätzen teilweise auch bemerkenswerte Erfolge verbuchen. Im europäischen Raum fällt vor allem das französische Unternehmen Mistral AI auf, dessen offene Sprachmodelle regelmäßig in den Spitzenrängen des Open LLM Leaderboards gelistet werden. Mistrals neuestes Modell soll unter anderem in der Lage sein, die kulturellen Unterschiede und die sprachliche Vielfalt der europäischen Länder zu erfassen. Es beherrscht fließend Englisch, Französisch, Spanisch, Deutsch und Italienisch und soll zudem über ein „tiefes Verständnis von Grammatik und kulturellem Kontext“ verfügen.

Lokaler Betrieb

Neben der Weiterentwicklung von Large Language Modellen (LLM) mit mehreren Hundert Milliarden Parametern wie z. B. ChatGPT etabliert sich zunehmend auch die Entwicklung von sogenannten Small Language Modellen (SLM) mit bis zu zehn Milliarden Parametern. SLM haben den Vorteil, dass sie auch auf Endgeräten ausführbar sind. Je nach Größe dieses Modells kommen leistungsfähige Computer, Laptops, Tablets oder gar Smartphones infrage. LLM dahingegen können nur auf spezialisierten Rechenclustern betrieben und cloudbasiert angeboten werden. Da sowohl das Training dieser Systeme als auch ihr Betrieb spezielle Hardware und viel Energie erfordern, sind sie entsprechend teuer. Dies erklärt unter anderem, wieso neuere Entwicklungen dieser Art oftmals nur kostenpflichtig angeboten werden.

Spezialisierung

Für spezielle Anwendungen entstehen zunehmend spezialisierte Modelle. Dies wird durch sogenanntes Feintuning der Sprachmodelle mit weiteren Daten einer bestimmten Anwendungsdomäne erreicht, wie beispielsweise im Finanz-, Versicherungs- oder Rechtswesen. Regelungen, Gesetze und Vorschriften sind hier so spezifisch, dass sie selbst von den leistungsfähigsten LLM nicht umfassend erfasst werden können. Oftmals sind die für das Training erforderlichen Daten nicht zugänglich oder gar unternehmensspezifisch und damit besonders geschützt. Soll dieses und weiteres Wissen im Sprachmodell verfügbar gemacht werden, muss entsprechend nachtrainiert werden.

Halluzination

Alle am Markt verfügbaren generativen KI-Modelle halluzinieren. Sie geben in ihren Antworten nicht ausschließlich faktenbasiertes Wissen wieder, sondern neigen dazu, Information zu erfinden. Wieso dies geschieht, ist noch nicht gänzlich erforscht. Laienhaft ausgedrückt könnte man sagen, dass sie Zusatzinformation generieren, um eine sprachlich bessere Antwort wiedergeben zu können. Vergleicht man die Modelle der verschiedenen Anbieter, so fällt auf, dass die Neigung zur Halluzination unterschiedlich stark ausgeprägt ist. Man darf vermuten, dass einige Hersteller das Problem bereits besser im Griff haben als andere.

Von Oberstleutnant Thomas Doll, Kommando Streitkräftebasis, und Daniel Kallfass, Airbus Defence and Space

Den kompletten Beitrag lesen Sie in der neuen Ausgabe des HHK!