Aufgrund einer Terminkollision bei Tejas muss das Meetup verschoben werden. Jetzt am 3.11 Unser nächstes Treffen zu Green Software Development behandelt wieder das Thema Green AI Coding. Zu Gast ist Tejas Chopra, der Gründer von Headroom AI - ein Projekt, was gerade durch die Decke geht. Der Kontext: Die Umweltkosten der KI verlagern sich vom Training hin zur Inferenz. Google hat berichtet, dass die Inferenz etwa 60 % seines Energieverbrauchs im Bereich des maschinellen Lernens ausmacht, und Meta hat rund 70 % seiner KI-Rechenkapazität für die Inferenz bereitgestellt. Jedes Token, das ein Agent an ein LLM sendet, kostet Rechenleistung, und Agenten sind verschwenderisch: Sie senden bei jedem Zug aufgeblähte Tool-Ausgaben, Protokolle, Code und den Konversationsverlauf erneut. In diesem Vortrag wird „Headroom“ vorgestellt, eine Open-Source-Schicht zur Kontextkomprimierung, die zwischen Anwendungen und LLM-Anbietern angesiedelt ist. Headroom entfernt redundanten Kontext, bevor dieser das Modell erreicht, und hält Prompt-Präfixe stabil, sodass Anbieter zwischengespeicherte Ergebnisse wiederverwenden können, anstatt sie neu zu berechnen. Das Ergebnis ist die gleiche Aufgabe, die mit weniger Token erledigt wird, was geringere Kosten und weniger Rechenaufwand pro Aufgabe bedeutet. Hinweis: Der Talk ist auf English Das Meetup ist wie immer hybrid, bitte wählt beim RSVP das passende Format (Online oder vor Ort). Agenda 18:00 Einlass & Networking 18:30 Vortrag mit einer kleinen Pause zwischendurch 21:00 Ende & Networking Green Software Development Karlsruhe ist ein unabhängiger Teil der globalen Green Software Foundation Community. Das CyberForum, die Wirtschaftsförderung, die Fairantwortung und der ImpactHub Karlsruhe sorgen für eine Verbreitung des Events im Netzwerk.
