Die Europäische Kommission organisiert in Zusammenarbeit mit dem ALT-EDIC und dem European Language Data Space einen Experten-Workshop über die linguistische und kulturelle Evaluierung großer Sprachmodelle (LLMs) mit dem Ziel, die aktuellen Aktivitäten in Europa zu erfassen und einen gemeinsamen Ansatz zu erarbeiten. In diesem Workshop stellen die teilnehmenden Forschungs- und Industriegruppen ihre Aktivitäten, Herausforderungen und Datensätze vor und erläutern, wie sie sich einen gemeinsamen Ansatz vorstellen.
Wenn Sie an relevanten Themen arbeiten und Ihre Erkenntnisse mit anderen teilen möchten, sind Sie herzlich eingeladen, teilzunehmen!
CNECT-LANGTECH
ec [dot] europa [dot] eu (Registrierung via E-Mail)
- großes Sprachmodell
- Mittwoch, 11. Dezember 2024, 09:00 - 13:00 (CET)
- Nur online
Praktische Informationen
- Zeit
- Mittwoch, 11. Dezember 2024, 09:00 - 13:00 (CET)
- Ort
- Nur online
- Sprachen
- Englisch
- Organisatoren
- Europäische Kommission | ALT-EDIC | European Language Data Space
- Teil von
Beschreibung
In Hinblick auf den angekündigten Schwerpunkt des ALT-EDIC auf der Evaluierung von LLMs und Benchmark-Daten ist geplant, die Arbeit in diesem Bereich voranzutreiben und die derzeit beteiligten Akteure in den EU-Mitgliedstaaten zusammenzubringen.
Nach einer kurzen Einführung durch die Europäische Kommission haben die am Workshop teilnehmenden Forschungs- und Industriegruppen die Möglichkeit, kurz ihr Thema vorzustellen und sich dann zu den folgenden Aspekten Erfahrungen und Erkenntnisse auszutauschen:
- Identifizierung, Erstellung und Sammlung von sprach- und kulturspezifischen LLM-Benchmarks in den einzelnen Mitgliedsstaaten
- Kategorisierung von LLM-Evaluierungsdaten
- Entwicklung eines transparenten LLM-Evaluierungsprozesses
- Erstellung gemeinsamer Leitlinien für die Bewertung von LLMs
- Erforschung sprach- und kulturübergreifender Evaluierungen und Benchmarks in ganz Europa
Im Anschluss an die Präsentationen findet eine allgemeine Diskussion statt, in der Vorschläge für ein gemeinsames europäisches Vorgehen unterbreitet werden.
