Eine Übersicht aller Sessions/Sitzungen dieser Veranstaltung. Bitte wählen Sie einen Ort oder ein Datum aus, um nur die betreffenden Sitzungen anzuzeigen. Wählen Sie eine Sitzung aus, um zur Detailanzeige zu gelangen.
Session VI-F: Entwicklung von Erhebungsinstrumenten
Zeit:
Donnerstag, 12.09.2024:
13:30 - 15:30
Chair der Sitzung: Benjamin Gröschl, LMU München
Ort:11/115
Präsentationen
Zur Verwendung sozialer Herkunft als Kontrollvariable in Sekundärdatenanalysen
Benjamin Gröschl
LMU München, Deutschland
Soziale Herkunft ist ein zentrales Konzept der empirischen Bildungsforschung und wird regelmäßig durch die 'BIG 3' – elterliche Bildung, berufliche Position und ökonomische Ressourcen – erfasst. Speziell in Sekundärdatenanalysen großer Erhebungsprogramme wie PISA oder NEPS reduzieren sich mögliche Operationalisierungen auf einzelne sozioökonomische und bildungsbezogene Indikatoren, wie den ISEI oder den Bildungsabschluss der Eltern. Bei dem Versuch, diese gemäß nationalen und internationalen Empfehlungen gemeinsam statistisch zu 'kontrollieren', ergeben sich jedoch in linearen Regressionsmodellen relevante methodische Herausforderungen wie Nichtlinearität, Kollinearität und inkonsistente Varianzannahmen.
Die methodische Diskussion verschiedener theorieadäquater, nichtlinearer Operationalisierungen sozialer Herkunft zeigt mithilfe von NEPS-Daten, wie systematische Residualverzerrungen, die in Kontrollvariablensettings besonders relevant sind, da sie die Basis aller weiteren Berechnungen bilden, um bis zu 90 % reduziert werden können. Darüber hinaus verbessert der Ansatz die Passung zwischen Theorie, Methoden und Daten und führt zu präziseren empirischen Modellen.
ThetaSigma-Ungelöst | Gesucht: Der BIAS zwischen BISTA-Metrik und VERA
Peter Harych, Rico Emmrich
Institut für Schulqualität der Länder Berlin und Brandenburg (ISQ), Deutschland
Die Vergleichsarbeiten (VERA) in der 3. und 8. Jahrgangsstufe sollen Lehrkräften eine kriteriale Bewertung der Leistungen ihrer Schüler*innen liefern. Die vom IQB jährlich neu entwickelten Instrumente werden dazu in einer Pilotierung ca. ein Jahr vor dem Einsatz mit der Berichtsmetrik der Bildungsstandards (BISTA-Metrik) verknüpft.
Über die verschiedenen Fächer und Testdomänen hinweg zeigen die Ergebnisse der VERA-Vollerhebungen im Ländermittel Veränderungen in der jährlichen Leistung, die jene nur alle 5 bzw. 6 Jahre gemessenen Veränderungen beim Bildungstrend deutlich übersteigen. Solche unplausiblen Veränderungen stellt die abnehmende Bildungspraxis vor massive Probleme bei der Interpretation der Ergebnisse.
Die von Harych (2022) vorgelegten Untersuchungen von VERA-Tests in unterschiedlichen Kontexten begründen den Fokus für eine nähere Betrachtung des Prozesses der gemeinsamen Pilotierung und Normierung. Der Vortrag präsentiert einige unplausible Messungen (inkl. aktueller VERA-8-Ergebnisse) sowie Ideen für eine effiziente Untersuchung der Artefakte mit Hilfe von Daten aus dem Bildungstrend und der Pilotierung. Diese sollen im Anschluss diskutieren werden.
Student Engagement: State of the Construct and Development of a German-language Instrument
Laura McCullagh, Stefanie van Ophuysen
Universität Münster, Deutschland
Student Engagement is commonly considered a meta-construct, encompassing students’ behavioural, cognitive and emotional reactions to school (Fredricks et al., 2004). Empirical work suggests that engagement is related to important student-outcomes, such as academic achievement (Wong et al., 2024) and dropout (Archambault et al., 2022). However, much of the available evidence is difficult to integrate (Boekaerts, 2016; Skinner & Raine, 2022), creating a barrier for new researchers entering the field. This is due to the diversity of utilized measurement instruments, which differ widely in the number of postulated engagement dimensions and their operational definitions (Wong & Liem, 2022).
Fredricks (2022) identified 13 recent scales, which are arguably representative of the theoretical differences permeating the literature at large. Based on a qualitative analysis of the items contained therein, a new measure is developed, which aims to avoid the most prevalent pitfalls. Pretest data is presented, examining the initial factorial structure and item-level statistics. Results are discussed in the context of current theoretical debates concerning the conceptualisation(s) of engagement.