KI-Stammtisch Augsburg
| Goldener Saal
Unternehmensdaten fürs lokale LLM nutzbar machen. Mit GraphRAG, Spring AI und Neo4j
Julius Mischok
CTO | Mischok GmbH
LLMs beeindrucken, doch ohne eine strukturierte Datengrundlage fehlen Nachvollziehbarkeit, Reproduzierbarkeit und Kontrolle. GraphRAG verbindet Retrieval mit einem Wissensgraphen und sorgt so für begründete und reproduzierbare Antworten ohne Halluzinationen. Im Schnelldurchlauf schauen wir uns eine eine Basisimplementierung mit Spring AI und Neo4j an: Von der Faktenerfassung über einfache Text-to-Cypher-Abfragen bis zur Antwortgenerierung mit Belegen.
| Goldener Saal
Lokale LLMs: Was dein Laptop wirklich kann
Philippe Schrettenbrunner
Deputy Head of Cybersecurity | MaibornWolff GmbH
ChatGPT und Claude sind mächtig - aber was, wenn deine Daten zu sensibel für die Cloud sind? Oder die API-Kosten explodieren? Moderne Hardware kann mehr als viele denken: Ein MacBook mit 16GB RAM oder ein Gaming-PC bringen bereits erstaunlich leistungsfähige Open-Source-LLMs zum Laufen. In diesem Vortrag zeige ich live, wie schnell man mit Tools wie Ollama oder LM Studio eigene Sprachmodelle aufsetzt. Wir schauen uns an, was die kryptischen Modellgrößen (3B, 7B, 70B) praktisch bedeuten und wo die Grenzen liegen. Kurzum: Wann lohnen sich lokale LLMs wirklich? Was kosten sie? Und wo sollte man besser bei Cloud-APIs bleiben?
