Ohne Cloud, ohne API-Key – Sprachmodelle mit Python lokal ausführen - Bits&Bytes-Vortrag

In vielen Forschungs- und Lehrkontexten sprechen gewichtige Gründe gegen die Nutzung kommerzieller KI-Cloud-Dienste: schützenswerte Forschungsdaten, personenbezogene Informationen, vertragliche Einschränkungen oder schlicht fehlende Budgets für API-Tokens. Der dieswöchige Bits&Bytes-Vortrag stellt Ollama als schlanke Laufzeitumgebung für lokale, offene Modelle (unter anderem Mistral, Llama usw.) vor und zeigt, wie deren OpenAI-kompatible Schnittstelle aus Python heraus angesprochen wird. An einem kompakten Beispiel wird außerdem die Berechnung von Text-Embeddings und deren Nutzung als Grundlage semantischer Suche demonstriert. Python-Grundkenntnisse sind hilfreich, aber keine Voraussetzung.