24. APRIL 2024 UM 18:30 UHR MESZ (UTC+2)
Jordan Kodner (Stony Brook University)
Ist es Sprache oder Aufgabendesign? Neuinterpretation der jüngsten Erfolge von Sprachmodellen beim Lernen von Morphologie und Syntax
Der Erfolg neuronaler Sprachmodelle (LMs) bei einem breiten Spektrum sprachbezogener Aufgaben kann teilweise auf ihre Fähigkeit zurückzuführen sein, menschenähnliche Darstellungen oder ein Verständnis natürlicher Sprachgrammatiken hervorzurufen. Schließlich sind Menschen Sprachenlerner mit dem höchsten Standard. In den letzten Jahren haben Forscher, die sich mit dieser Frage befassen, eine Reihe von Methoden zum Testen der von LMs erlernten Grammatikdarstellungen entwickelt, die im Allgemeinen zu positiven Ergebnissen geführt haben. Solche Studien werde ich in diesem Vortrag kritisch beleuchten. Während moderne LMs eindeutig äußerst beeindruckend sind und offensichtlich oft wichtige Aspekte der Grammatik natürlicher Sprache erfassen, haben die Methoden vieler populärwissenschaftlicher Studien die Kapazitäten von LMs, wenn es um ihre Fähigkeit geht, menschenähnliche Darstellungen zu induzieren, zu Unrecht überschätzt. Ich konzentriere mich auf Fragen hierarchischer syntaktischer Darstellungen und Generalisierung in der Flexionsmorphologie und werde diskutieren, wie unbeabsichtigte Verzerrungen bei der Datenaufteilung, künstliche Trainings- oder Testdaten, übermäßig vereinfachte Bewertungen, schwache oder fehlende Basislinien und fehlerhafte Interpretationen dazu geführt haben, dass die Fähigkeiten von überschätzt werden LMs. Die Schlussfolgerungen dieser Studie sind im Hinblick auf die aktuelle Lage zwar überwiegend negativ, aber auch optimistisch. Durch den Einsatz gründlicherer und strengerer Methoden haben wir ein besseres wissenschaftliches Verständnis der Natur von LMs und Darstellungen der Grammatik entwickelt. Indem wir Schwachstellen aktueller Modelle identifizieren, weisen wir auf Forschungsbereiche hin, in denen größere Verbesserungen erzielt werden können.
So nehmen Sie teil: Nehmen Sie online über Zoom teil (Meeting-ID: 842 8244 2460; Passcode: 678868) oder wählen Sie sich telefonisch ein .
=======
OFAI freut sich, seine Frühjahrsvorlesungsreihe 2024 mit einem vielseitigen Angebot an internen und externen Rednern bekannt zu geben.
Ziel der Vorträge ist es, die Teilnehmer mit den neuesten Forschungsentwicklungen in der KI und verwandten Bereichen vertraut zu machen und neue Kontakte zu Fachleuten aus anderen Bereichen zu knüpfen. Das Hauptthema der aktuellen Serie sind große Sprachmodelle.
Die Vorlesungen finden um 18:30 Uhr Wiener Zeit statt, in der Regel jeden zweiten Mittwoch. Alle Vorlesungen finden online über Zoom statt; Für bestimmte Vorlesungen ist auch eine persönliche Präsenz am OFAI möglich. Die Teilnahme ist öffentlich und kostenfrei. Es ist keine Registrierung erforderlich.
Abonnieren Sie unseren Newsletter oder unseren RSS-Feed oder
setzen Sie ein Lesezeichen auf die Webseite https://www.ofai.at/events/lectures2024spring ,
um weitere Details zu den einzelnen Vorträgen zu erhalten.
===========================
OFAI is proud to present „Is it Language or Task Design? Reinterpreting language models‘ recent successes in morphology and syntax learning“, a talk by Jordan Kodner of Stony Brook University, NY.
The talk is part of OFAI’s 2024 Spring Lecture Series.
Members of the public are cordially invited to attend the talk online via Zoom on Wednesday, 24 April 2024 at 18:30 CEST (UTC+2):
URL: https://us06web.zoom.us/j/84282442460?pwd=NHVhQnJXOVdZTWtNcWNRQllaQWFnQT09
Meeting ID: 842 8244 2460
Passcode: 678868
You can add this event to your calendar.
Talk abstract: The success of neural language models (LMs) on a wide range of language-related tasks may be in part due to their ability to induce human-like representations or understanding of natural language grammars. Humans are, after all, gold-standard language learners. For the past several years, researchers pursuing this question have developed a number of methodologies for testing the grammar representations learned by LMs that have reached generally positive conclusions. I will take a critical look at such studies in this talk. While modern LMs are clearly extremely impressive, and clearly do often capture important aspects of natural language grammars, the methodologies of many popular studies have unfairly overestimated the capacities of LMs when it comes to their ability to induce human-like representations. Focusing on questions of hierarchical syntactic representations and generalization in inflectional morphology, I will discuss how unintended biases in data-splitting, artificial training or test data, overly simplistic evaluations, weak or absent baselines, and faulty interpretations, have conspired to overestimate the abilities of LMs. While the conclusions of this study are largely negative in terms of the current state-of-affairs, they are also optimistic. By employing more thorough and rigorous methodologies, we have developed a better scientific understanding of the nature of LMs and representations of the grammar. In identifying weak points for current models, we point towards research areas where greater improvements may be gained.
Speaker biography: Jordan Kodner is an Assistant Professor in the Stony Brook University Department of Linguistics and an affiliate of the Institute for Advanced Computational Science and Natural Language Processing group. His primary research revolves around computational approaches to child language acquisition and their broader implications. In particular, algorithmic models of grammar acquisition, especially morphology, how those processes drive language variation and change, what insights they provide for low-resource NLP, and what they tell us about the intersection of (low-resource) NLP and cognitive science. In 2020, he received his PhD from the University of Pennsylvania Department of Linguistics, where he worked with Charles Yang and Mitch Marcus. Prior to that, he received a master’s degree from the University of Pennsylvania Department of Computer and Information Science in 2018. From 2013 through 2015, he was an Associate Scientist in the Speech, Language, and Multimedia group at Raytheon BBN Technologies where he worked on defense and medical-related projects.
Copyright © 2024 Austrian Research Institute for Artificial Intelligence (OFAI), All rights reserved.
You are receiving this email because you opted in via our website.
Our mailing address is:
Austrian Research Institute for Artificial Intelligence (OFAI)
Freyung 6/6/7
Vienna 1010
Austria