Based on a research consensus, elements like content focus, active learning opportunities, and teacher collaboration make teacher Professional Development (PD) interventions effective (see Darling-Hammond et al., 2017; Desimone, 2009 for more). This consensus has been recently scrutinized by a critical review, highlighting that the studies that identified these elements suffer from significant methodological weaknesses and that teacher collaboration, in particular, lacks evidential warrant as an effective PD element (Sims & Fletcher-Wood, 2021). Thus, in the present study, we conduct a systematic review and examine PD collaborative activities and whether these activities have an effect on PD teacher outcomes. With regard to digitization and the fact that PD can be designed as face-to-face or web-based, we further recognize that the effectiveness of teacher collaboration may be subject to the PD format because different PD formats create different learning affordances. For instance, in web-based PD, there are social media discussions and interactive webinars (Quinn et al., 2019), while in face-to-face PD, interpersonal connections and active sharing of knowledge take place, with group dynamics operating more efficiently (Damkuviene et al., 2023; Wlodkowski & Ginsberg, 2017). However, it is still an open question how PD elements (e.g., collaboration) interact with different PD formats (see Capparozza et al., 2023 for more details). Therefore, we will investigate whether web-based and face-to-face PD formats can influence the effectiveness of collaboration in PD differently. The core of the present systematic review is a narrative synthesis (research questions 1-3) of PD studies that employed teacher collaborative activities in face-to-face and web-based contexts. We will refer to theoretical frameworks explaining how collaborative activities produce teacher outcomes in PD and how these outcomes are measured. Depending on the number of suitable studies, we will further conduct a meta-analysis on the effectiveness of PD teacher collaboration (research question 4). In particular, we ask the following research questions:

1) What collaborative activities are featured in PD intervention studies that emphasize teacher collaboration?

2) Are the identified PD collaborative activities in this review based on theoretical frameworks that outline theories of action linking collaborative activities to specific outcomes or empirical research that simply refers to teacher collaboration as an effective PD element?

3) What teacher outcomes are investigated in PD intervention studies that emphasize teacher collaboration?

4a) How do PD collaborative activities impact the identified teacher outcomes?

4b) Do web-based and face-to-face formats differently influence the effectiveness of collaboration in PD?

H1) Based on the above-mentioned literature (Damkuviene et al., 2023; Wlodkowski & Ginsberg, 2017), face-to-face learning formats foster more efficient group dynamics thus, we hypothesize that such PD collaborative activities have a greater effect on the identified teacher outcomes.

Using search strings with keywords relevant to our research questions (e.g., PD, teacher), we conducted a systematic literature search in ERIC, PsycINFO, and Web of Science. We found 1,747 potential studies, which we currently deduplicate using the Rayyan software (Ouzzani et al., 2016). We will screen the remaining studies by title and abstract using an inclusion/exclusion protocol which is based on our research questions. Based on typical systematic review procedures (see Cooper, 2015; Grant and Booth, 2009 for more), the extracted information on PD teacher collaborative activities will be narratively synthesized with tabular accompaniment. The included studies and the adequacy of quantitative information will determine the meta-analytical aggregation and the moderator analysis (research question 4) that we will eventually conduct in R-Studio (Posit team, 2024) with the packages metafor (Viechtbauer, 2010) and clubSandwich (Pustejovsky, 2023). The systematic review is pre-registered at the Open Science Framework (OSF).

Preliminary results on the effectiveness of (web-based/face-to-face) teacher collaboration in PD will be available for the conference.

Offene Bildungsmaterialien (Open Educational Resources, OER) ermöglichen es Lehrkräften durch offene Lizenzen (Bissell, 2009), Unterrichtsmaterialien an die Bedürfnisse ihrer Klassen anzupassen und fördern die Zusammenarbeit zwischen Lehrkräften (Butcher & Wilson-Strydom, 2008; Jensen & Kimmons, 2022). OER ist nicht nur kostengünstiger als traditionelles Unterrichtsmaterial (Wiley et al., 2012), experimentelle Studien zeigen auch, dass zumindest qualitativ hochwertige OER traditionellem Material ebenbürtig sind (z. B. Hilton et al., 2019). Offene Lizenzen von OER erlauben Lehrkräften fünf Aktivitäten: (1) Suchen, Speichern und Erstellen eigener OER, (2) unterrichtliche Nutzung von OER, (3) Anpassung der OER (z. B. zur Differenzierung), (4) Kombination mit anderen Materialien und (5) Teilen von OER mit anderen Lehrkräften (Wiley, o. D..; Wiley & Hilton, 2018).

Nicht OER per se, sondern die Nutzung von OER durch Lehrkräfte hat das Potenzial, die Bildungslandschaft zu verändern und für qualitativ hochwertige Bildung zu sorgen (Mishra, 2017). Deshalb ist das Ziel, durch ein Systematic Review unterstützende und hemmende Faktoren für verschiedene Aktivitäten mit OER wie (1) das Finden, die Speicherung und die Erstellung von OER, (2) die Nutzung von OER im Unterricht, (3) die Bearbeitung, (4) die Kombination mit anderen Materialien sowie (5) das Teilen von OER zu identifizieren.

Das präregistrierte Systematic Review orientiert sich in der Durchführung an den PRISMA-Empfehlungen (Page et al., 2021). Das Ziel der Literaturrecherche und des anschließenden Auswahlprozesses ist die Identifikation von peer-reviewten empirischen Studien in englischer Sprache, in denen unterstützende bzw. hemmende Faktoren für die Nutzung von OER bei berufstätigen Lehrkräften thematisiert wurden. Zunächst wurde in den Datenbanken ERIC, PsycInfo, Scopus, ScienceDirect und Web of Science nach relevanten Studien im Zeitraum 2002 bis 2023 gesucht. Als Suchterm diente dabei eine Kombination aus Suchbegriffen zu Lehrkräften (z. B. teacher) und zu OER (z. B. „open educational resources“). Um eine breite Abdeckung sicherzustellen, wurden die ersten 100 Titel aus Google Scholar ergänzt. Nach der finalen Auswahl relevanter Studien werden durch eine Vorwärts- und Rückwärtssuche Studien ergänzt. In den Suchergebnissen wurden anschließend im webbasierten Tool Rayyan (Ouzzani et al., 2016) Dubletten entfernt und im verbleibenden Korpus von 2910 Suchergebnissen die Titel und Abstracts der Studien durchsucht und alle Ergebnisse, die die Einschlusskriterien erfüllten, noch einmal im Volltext überprüft. Die aufgenommenen Studien werden mit Blick auf die fünf mit OER verknüpften Aktivitäten ausgewertet.

Derzeit läuft der Auswahlprozess der Studien. Auffällig ist eine große Vielfalt von Bildungssystemen, OER-Typen und Studiendesigns. Erste Einblicke in aufgenommene Studien zeigen, dass es Lehrkräften z. T. schwerfällt, hochwertige Materialien zu finden, sie aber gleichzeitig auch auf die Reputation der Quellen achten (z. B. de los Arcos et al., 2016). Für die Bearbeitung motivierend ist z. B. die Möglichkeit zur Differenzierung; Barrieren sind u. a. rechtliche Unklarheiten (z. B. Clements & Pawlowski, 2012). Fortbildungen unterstützen Lehrkräfte darin, OER zu erstellen und zu überarbeiten (z. B. Maina et al., 2020; Tang et al., 2020). In vielen Studien steht die Nutzung von OER im Unterricht im Mittelpunkt, wobei sowohl förderliche Faktoren (z. B. Gestaltung von OER; Cai et al., 2023) als auch hemmende Faktoren (z. B. Unauffindbarkeit von OER; Tang & Bao, 2021) thematisiert werden. Zwar werden OER – u. a. wegen fehlender Unterstützung sowie sprachlichen und kulturellen Barrieren (z. B. Pirkkaleinen et al., 2014) – selten geteilt; teilende Lehrkräfte sehen aber z. B. Vorteile darin, Feedback zu bekommen und anderen mit ihrer Vorarbeit weiterzuhelfen (z. B. Bradley & Vigmo, 2016). Die aus dem Systematic Review gewonnenen Erkenntnisse zeigen auf der einen Seite Perspektiven für weitere Forschung über OER auf. Auf der anderen Seite zeigen die Ergebnisse Handlungsmöglichkeiten z. B. für Personen aus der Bildungsadministration, Fortbildende und Lehrkräfte auf, um OER stärker in der schulischen Bildung zu verankern.

In den letzten Jahren hat die Förderung digitalisierungsbezogener Kompetenzen in der Lehrkräfteaus- und -fortbildung zunehmend an Bedeutung gewonnen (Diepolder et al., 2021; van Ackeren et al., 2019). Bislang werden zur Erfassung von Kompetenzen im Rahmen der Evaluation von Fortbildungen häufig Selbsteinschätzungsinstrumente eingesetzt (Lachner et al., 2021). Es wird jedoch kritisiert, dass diese von der Fähigkeit der Lehrkräfte abhängen, ihr Wissen richtig einzuschätzen, und daher zu Verzerrungen neigen (Claro et al., 2024; Kopcha & Sullivan, 2007). Entsprechend zeigt sich über verschiedene Fachgebiete hinweg nur eine mäßige Korrelation zwischen selbstberichteten Fähigkeiten und objektiven Leistungsmaßen (Zell & Krizan, 2014). Selbsteinschätzungen wurden deshalb als schlechter Indikator für die Unterrichtsqualität beschrieben (von Kotzebue, 2022). Daher ist es wichtig, auch andere Testinstrumente zur Erfassung digitalisierungsbezogener Kompetenzen von Lehrkräften zu nutzen.

In diesem Beitrag wird der Arbeitsstand eines Rapid Reviews vorgestellt, das die Erstellung einer narrativen Synthese zum Ziel hat, die sowohl Forschende als auch Lehrkräftebildende im Kompetenzverbund lernen:digital und darüber hinaus bei der Auswahl geeigneter Testinstrumente unterstützt. In einer Übersicht werden verfügbare, nicht auf Selbsteinschätzungen beruhende Testinstrumente zur Erhebung digitalisierungsbezogener Kompetenzen von (angehenden) Lehrkräften dargestellt. Zusätzlich werden ihre theoretischen Grundlagen, strukturellen und psychometrischen Eigenschaften zusammengefasst, sodass die vielfältigen Erkenntnisse und entwickelten Erhebungsinstrumente aus der Forschung für die digitale Transformation in der (Fortbildungs-)Praxis leichter nutzbar gemacht werden.

Die geplante narrative Synthese beantwortet die folgenden drei Forschungsfragen:

1) Welche Instrumente zur Erhebung der digitalisierungsbezogenen Kompetenzen von (angehenden) Lehrkräften, die nicht auf Selbsteinschätzungen beruhen, sind derzeit verfügbar?

2) Welche theoretischen Hintergründe, Operationalisierungen und Kontextualisierungen der digitalisierungsbezogenen Kompetenzen von (angehenden) Lehrkräften werden in diesen Instrumenten verwendet?

3) Welche strukturellen (d. h. Instrumententyp, Antwortformat, Umfang) und psychometrischen Eigenschaften besitzen diese Instrumente?

Zur Beantwortung der Forschungsfragen und mit Blick auf die Bedarfe des Kompetenzverbunds lernen:digital wird ein Rapid Review als ressourcenschonende, strikte und transparente Form der Forschungssynthese für bestimme Stakeholder durchgeführt (Hamel et al., 2020). Ein Rapid Review erlaubt einerseits die gewünschte schnelle Bereitstellung einer Instrumentenübersicht und andererseits den Einbezug relevanter Stakeholder, wie Forschenden und Lehrkräftebildenden des Kompetenzverbunds. Da bei Rapid Reviews jedoch ein erhöhtes Risiko für Verzerrungen besteht (Garrity et al., 2024), ist die Transparenz getroffener Entscheidungen besonders wichtig, weswegen das vorgestellte Rapid Review bei OSF präregistriert wurde (Authors, 2024).

Für eine zielgerichtete Ausrichtung und Durchführung des Rapid Reviews werden zudem Stakeholder in den Prozess der Konzeptualisierung, der Datenanalyse und ‑auswertung einbezogen. Aktuell ist eine Befragung von Stakeholdern innerhalb des Kompetenzverbunds lernen:digital in Vorbereitung, bei der u. a. die Forschungsfragen und die Kriterien zur Feinkodierung von Volltexten eingeschlossener Artikel zur Diskussion gestellt werden.

Für die Literatursuche wurden die Datenbanken ERIC und PsycInfo mit Hilfe von EBSCOhost nach Artikeln aus Fachzeitschriften mit peer-review Verfahren durchsucht. Die genutzte englischsprachige Syntax kombiniert und nutzt dabei (synonyme) Begriffe zu den vier Bereichen Zielgruppe (Lehrkräfte), Erhebungsinstrumente, Digitalisierungskontext und Zielkonstrukt (Kompetenz).

Nach Ausschluss von Duplikaten wurden 2874 Artikel in das Screening von Titeln und Abstracts aufgenommen. Zum Zeitpunkt der Beitragseinreichung wurden 10 % der Artikel bereits nach Titel und Abstract begutachtet, wobei die prozentuale Interrater-Übereinstimmung 86 % betrug.

Die Befragung der Stakeholder steht unmittelbar bevor, sodass auf der Tagung neben den vorläufigen Ergebnissen der Feinkodierung von Volltexten eingeschlossener Artikel die Ergebnisse der Befragung präsentiert werden können. Vor Abschluss des Rapid Reviews soll die Tagung genutzt werden, um die Instrumenten-Übersicht vorzustellen und zu diskutieren, um so die Perspektive der Tagungsteilnehmenden einzuholen. Im Sinne eines Rapid Reviews sollen die Rückmeldungen für eine möglichst adressatengerechte und zielführende Aufbereitung der Ergebnisse genutzt werden.

Durch die angestrebte Übersicht über verfügbare Instrumente zur Erfassung digitalisierungsbezogener Kompetenzen von Lehrkräften, die nicht auf Selbsteinschätzungen beruhen, schafft das vorgestellte Rapid Review eine wichtige Voraussetzung für die wissenschaftlich fundierte und evidenzbasierte digitale Transformation von Schule und Lehrkräftebildung.