Konfiguration der Begutachtungsfunktionen

1. Fragestellungen als Hilfe zur Vorbereitung der Konfiguration

• Wie sollen Gutachter für Ihre Veranstaltung rekrutiert werden? Haben die Gutachter bereits zugesagt oder sollen sie zunächst eingeladen werden?
• Wie viele Gutachter werden pro Einreichung mindestens benötigt?
• Welche Phasen hat Ihr Begutachtungsprozess und wie lange dauern diese jeweils?
• Soll ein Einfachblind- oder Doppelblind-Begutachtungsprozess erfolgen?
• Ist ein offener Begutachtungsprozess ohne Anonymisierung vorgesehen?
• Wie viele Einreichungen wollen Sie für Ihre Veranstaltung annehmen?
• Welche Begutachtungskriterien sollen Anwendung finden?
• Wie sollen die einzelnen Kriterien gewichtet werden?
• Welche Gründe sollen eine Ablehnung eines Beitrages rechtfertigen?
• Welche Kriterien sollen einen Interessenkonflikt (Conflict of Interest, COI) begründen?
• Sollen Gutachter die Möglichkeit erhalten, die Beurteilung eines Beitrages zu verweigern?
• Sollen nur Abstracts oder hochgeladene Full-Paper Manuskripte begutachtet werden?
• Benötigen Sie einen zweiphasigen Begutachtungsprozess? (Weitere Informationen hierzu finden Sie im Support Forum.).
• Welche Details der Begutachtungsergebnisse sollen den Autoren mitgeteilt werden? Sollen schriftliche Kommentare und/oder Punktebewertungen mitgeteilt werden?
• Soll es eine Erwiderungsphase (Rebuttal) für Autoren geben, in der diese die von Gutachtern vorgenommenen Bewertungen kommentieren können (entweder nur textlich oder mit einer eigenen Bewertung jedes Gutachtens)?
• Gibt es eine Phase für das Einreichen der Endversion, in der Autoren eine überarbeitete finale Version ihres angenommenen Beitrages unter Berücksichtigung der Gutachterkommentare hochladen können?
• Soll Autoren die Möglichkeit gegeben werden, die erhaltenen Gutachten einzeln zu bewerten?

2. Der Ablauf des Begutachtungsprozesses aus Gutachtersicht

Kurzer Überblick

Die Durchführung des Begutachtungsprozesses in ConfTool ist für die Gutachter einfach.

Zunächst benötigen alle Gutachter ein Benutzerkonto, damit sie am Begutachtungsprozess teilnehmen können. Die Organisatoren können damit die Einreichungen den Gutachtern zuweisen und die Gutachter haben über ihr Benutzerkonto Zugriff auf die ihnen zur Beurteilung zugewiesenen Einreichungen.

Die Benutzerkonten mit der Benutzerrolle “Gutachter” können manuell im Backend erstellt werden. Eine weitere Möglichkeit ist der Import von Benutzern mit Hilfe der ConfTool Import-Funktion. Hierzu erstellen Sie einfach in Excel eine Liste mit Vor- und Zunamen sowie E-Mail-Anschriften aller Gutachter und folgen dann den Anweisungen zum Import von Benutzern. Falls die Gutachter ihre Teilnahme noch nicht bestätigt haben, können Sie auch zunächst Einladungen mit Hilfe der Einladungsfunktion von ConfTool Pro versenden.

Als nächstes erfolgt die Beitragszuweisung an die Gutachter. Dieses kann entweder automatisch oder manuell erfolgen.

Anschließend können Sie die Begutachtungsphase aktivieren.

Informieren Sie nun die Gutachter mit Hilfe der Serien-E-Mail Funktion darüber, dass der Begutachtungsprozess beginnen kann.

Das Benutzerkonto für Gutachter

Wenn sich Gutachter in ihr Benutzerkonto einloggen, sehen sie auf der dargestellten Übersichtsseite mindestens zwei Abschnitte. Alle Optionen, die für den Begutachtungsprozess benötigt werden, finden sie im Abschnitt „Sie wurden als Gutachter nominiert. Sie haben momentan folgende Möglichkeiten:“ (siehe Abbildung 2).

4. Überblick über die Konfigurationsmöglichkeiten

Sie finden die meisten Optionen im Abschnitt “Einstellungen für die Beitrags- und Gutachtenverwaltung des ConfTools”. Wenn Sie die einzelnen Konferenztracks/Beitragstypen konfigurieren, finden Sie dort weitere, spezifische Optionen (siehe Abbildung 3).

Lassen Sie uns mit den Haupteinstellungen für die Begutachtungsfunktionen beginnen:
Überblick => Einstellungen => Haupteinstellungen für die Begutachtungsfunktionen
(Overview => Settings => Main Setting for Paper Reviewing)

Auf dieser Seite können allgemeine Einstellungen, wie Deadlines, Zugriffsrechte und Einstellungen zur Anzeige konfiguriert werden. Viele dieser Möglichkeiten werden direkt im Programm bei der entsprechenden Option erläutert. Wir beschränken uns daher im Folgenden nur auf die wichtigsten Einstellungsmöglichkeiten.

Einstellungen zur Anzeige

Im Abschnitt “Einstellungen zur Anzeige” können Sie einen kurzen einführenden Text für die Seite “Gutachten eingeben und bearbeiten” eingeben. Dieser Text wird den Gutachtern bei Aufruf dieser Seite oberhalb der Liste der zu begutachtenden Beiträge angezeigt. Aus praktischen Gründen empfehlen wir, diesen begleitenden Text möglichst kurz zu halten. Wenn Sie den Gutachtern weiterführende Erläuterungen geben möchten, ist es sinnvoll, in diesem kurzen Text einen Link auf eine externe Seite einzufügen, auf der Sie dann ausführliche Erklärungen präsentieren.

Im folgenden Abschnitt “Begutachtungsphase für eingereichte Beiträge” wird das Begutachtungsmodul durch Setzen eines Häkchens in der Checkbox “Modul aktivieren” eingeschaltet. Nach der Aktivierung steht die Option “Datum für Beginn und Ende angeben” zur Verfügung. Hier geben Sie bitte die entsprechenden Daten ein, so dass die Begutachtungsphase automatisch zu den jeweiligen Terminen anfängt bzw. endet (siehe Abbildung 4).

Begutachtungsoptionen

Fahren wir mit dem Bereich „Optionen für den Begutachtungsprozess“ fort. Hier stehen Ihnen für die Option “Methode zur Identifizierung von Interessenkonflikten” zwei Einstellungen zur Verfügung, mit denen ConfTool potentielle Interessenkonflikte zwischen den Autoren eines Beitrages und ihren möglichen Gutachtern erkennen soll. Das System gleicht – je nach Auswahl der Methode – verschiedene Parameter ab: Grundsätzlich vergleicht es die E-Mail Adressen von Autoren und Co-Autoren mit denen der Gutachter, optional auch die Organisationszugehörigkeiten von Autoren und Gutachtern sowie die Domain-Namen der E-Mail-Anschriften. Eine Warnung (siehe Abbildung 5) erfolgt, wenn hierbei Übereinstimmungen identifiziert werden.

Die beiden nächsten Optionen „Meta-Gutachten aktivieren“ und „Experten-Gutachten aktivieren“ sind nahezu identisch. Wenn eine dieser Optionen (oder beide gleichzeitig) aktiviert werden, stehen Ihnen die Status “Meta-Gutachter” und “Experten-Gutachter” zur Verfügung. Gutachter mit diesem Status erhalten Lesezugang zu allen weiteren Gutachten der Ihnen zugewiesenen Beiträge und können die anderen Gutachter per E-Mail und die ConfTool-Nachrichtenfunktion kontaktieren, um sie z. B. an Fristen zu erinnern. Zudem können Meta- oder Experten-Gutachter die verschiedenen Begutachtungsergebnisse in ihrem eigenen Gutachten zusammenfassen.

Falls Sie jedem Gutachter eine größere Anzahl an Gutachten zuweisen möchten, schalten Sie bitte die Option “Filterfunktion für die Gutachter aktivieren” ein. Gutachter können nun auf der Seite "Gutachten bearbeiten" nach Tracks/Beitragstyp sowie nach noch unerledigten Gutachten filtern.

In einigen Fällen erweist sich die Option “Gutachten abschließen (finalisieren)?” als praktisch. Ist sie aktiviert, können die Gutachter ihre Gutachten nach Speicherung der Endversion nicht mehr überarbeiten. Ist die Option deaktiviert, können alle Gutachten bis zur Deadline aktualisiert werden.

Sollen Gutachter die Beurteilung eines ihnen zugewiesenen Beitrags verweigern dürfen, so aktivieren Sie die nun folgende Option “Haben Gutachter die Möglichkeit, die Beurteilung eines Beitrages zu verweigern?”. Der Gutachter muss dann einen Grund für seine Ablehnung angeben, und die Vorsitzenden werden per E-Mail über die Verweigerung informiert.

Eine neue Option zur Verwaltung der Ablehnungsgründe einer Begutachtung finden Sie  nun unter folgendem Pfad:
Übersicht => Einstellungen => Verwalten der Gründe für die Verweigerung einer Begutachtung

Für den Fall, dass Ihre Gutachter Zugriff zu den von Autoren hochgeladenen PDF-Dateien erhalten sollen, so lässt sich durch Aktivierung der Option “Wasserzeichen im Hintergrund von PDF Downloads einfügen?” automatisch ein Wasserzeichen "Nur für Gutachtenzwecke" im Hintergrund aller Seiten der von Gutachtern heruntergeladenen PDF-Dateien einfügen.

Durch Aktivierung der Option „Dateienübertragung für Gutachter“ können Sie den Gutachtern erlauben, eine Datei für jede von ihnen zu begutachtende Einreichung hochzuladen. Diese Funktion ist hilfreich, wenn Sie möchten, dass die Gutachter als Ergänzung zu ihrer Begutachtung im ConfTool-System eine Datei mit Kommentaren und Feedback für die Autoren bereitstellen. (Weitere Informationen hierzu finden Sie im Support Forum.)

Im Unterabschnitt “Auswahl der Review-Anzahl” können Sie Ihren Gutachtern / PK-Mitgliedern die Möglichkeit geben, eine maximale Anzahl an Gutachten anzugeben, die sie durchführen wollen. Definieren Sie hierzu bitte einen Auswahlbereich (mindestens/maximal) und geben Sie unter “Anzahl der Gutachten pro Person” die vorgegebene Maximalzahl ein. Diese Anzahl wird während des automatischen Zuweisungsprozesses (wenn möglich) berücksichtigt und den Chairs für den manuellen Zuweisungsprozess angezeigt. Bitte aktivieren Sie die Phase im nächsten Menüpunkt “Gutachter können ihre thematischen Prioritäten auswählen” und geben Sie dort einen Start- sowie einen Endtermin für diese Phase ein, damit Gutachter die maximale Anzahl an Gutachten angeben können (siehe Abbildung 6).

5. Gutachter können ihre thematischen Prioritäten auswählen

Im nächsten Bereich “Gutachter können ihre thematischen Prioritäten auswählen” können Sie festlegen, ob Gutachter / PK-Mitglieder oder auch alle Benutzer ihre bevorzugten Themen auswählen können. Die Angabe von thematischen Prioritäten erleichtert die Zuweisung geeigneter Beiträge zu den Gutachtern. Bitte aktivieren Sie die Phase und definieren Sie ein Start- und Enddatum. Mit der Option „Auswahl der thematischen Prioritäten“ können Sie festlegen, welche Benutzergruppen die thematischen Prioritäten wählen können. Wird die Option “Überprüfe die Auswahl der Themen beim Login” aktiviert, erfolgt eine automatische Weiterleitung beim Login von Gutachtern / PK-Mitgliedern direkt zur Auswahl der thematischen Prioritäten immer dann, wenn diese ihre Fachgebiete noch nicht ausgewählt haben (siehe Abbildung 7).

6. Gebotsphase: Gutachter können ihre Gebote für bevorzugte Beiträge abgeben

Bei der Organisation von Konferenzen kann es sinnvoll sein, eine Phase einzufügen, während der Gutachter die von ihnen bevorzugten Einreichungen auswählen und potentiellen Interessenkonflikte angeben können (Diese Auswahl steht zur Verfügung: bevorzugt - gerne - keine Angabe - ungerne – Konflikt). Die Einstellungen hierfür werden im Abschnitt “Gebotsphase: Gutachter können ihre Gebote für bevorzugte Beiträge abgeben” vorgenommen. Wiederum muss dieses Modul aktiviert und ein Datum für Beginn und Ende der Phase eingegeben werden. Wählen Sie anschließend unter “Anzahl der möglichen Gebote für "gewünschte" Beiträge” die maximale Anzahl an Beiträgen aus, die ein Gutachter als “bevorzugt” auswählen kann (siehe Abbildung 8). Die Gebotsphase kann außerdem für jeden Beitragstypen / Track separat aktiviert werden. Gebote vereinfachen auf diese Weise weiter die Zuweisung von Einreichungen an geeignete Gutachter unter Berücksichtigung eventueller Interessenkonflikte.

7. Erwiderungen für Autoren (“Rebuttal”)

Bei einigen Konferenzen wird es den Autoren ermöglicht, eine Erwiderung auf die von Gutachtern abgegebenen Bewertungen zu geben. Die Erwiderung erfolgt pro Einreichung und gesammelt für alle Gutachten zu der Einreichung, d. h. Autoren können keine individuellen Erwiderungen auf einzelne Gutachten erstellen. Eine Erwiderung wird daher auch allen Gutachtern ihrer Einreichung angezeigt. Die Gutachter können bzw. sollen dann gegebenenfalls ihr Originalgutachten noch einmal unter Berücksichtigung der Autorenkommentare überarbeiten. Schalten Sie die Option „Erwiderungen für Autoren (‚Rebuttal‘) aktivieren“ ein. Unter „Maximale Länge der Erwiderungen“ können Sie die Anzahl an Wörtern festlegen, aus der eine Erwiderung maximal bestehen darf. Vergessen Sie nicht, diese Phase zu aktivieren und bestimmen Sie auch hier wieder ein Datum für Beginn und ein Ende. (siehe Abbildung 9). Gutachter und PK-Mitglieder können die Autorenerwiderungen im Online-Forum (sofern es aktiviert ist, siehe unten) und auf der Seite „Details zum Beitrag“ einer jeden Einreichung einsehen; Administratoren haben zusätzlich die Möglichkeit, alle Beiträge inklusive Gutachten und Autorenerwiderungen als Excel-Datei zu exportieren.

8. Aktiviere die Bewertung von Gutachten durch die Autoren

Eine ähnliche Funktion können Sie mit der Option “Aktiviere die Bewertung von Gutachten durch die Autoren” einstellen. Sie ermöglicht es Autoren, jedes Gutachten einzeln zu bewerten. Aktivieren Sie das Modul und legen Sie ein Datum für Beginn und Ende dieser Phase fest. Gutachter / PK-Mitglieder können die von den Autoren vergebenen Bewertungen im Online-Forum (hierfür muss es aktiviert sein, siehe unten) und auf den Detailseiten zu den einzelnen Beiträgen einsehen. Die Angaben der Autoren können helfen, die Qualität von Gutachten bzw. die Arbeit der Gutachter besser einzuschätzen (siehe Abbildung 10).

Bitte konfigurieren Sie die einzelnen Elemente Ihrer Seite zur Gutachtenbewertung unter:
Übersicht => Einstellungen => Verwalte Elemente des Formulars für die Bewertung von Gutachten durch die Autoren
(Overview => Settings => Manage Elements of the Review Rating Form for Authors)

Sie können nun Kategorien für das Formular zur Bewertung von Gutachtern erstellen und die vorgegebenen Kategorien aktivieren oder deaktivieren. Für die Option “Punkteschema für alle Bewertungen” bestimmen Sie die Punktzahl, die ein Gutachten mindestens bzw. maximal erreichen kann. Im nächsten Abschnitt “Textfelder des Formulars für die Bewertung von Gutachten” können Sie festlegen, ob ein Teil der Kommentare an die Gutachter weitergeleitet werden und ein anderer Teil nur an die Mitglieder des Programmkomitees (nicht sichtbar für die Gutachter) gehen soll. Schließlich wählen Sie bitte noch eine geeignete Einstellung für “Sichtbarkeit der Ergebnisse der Bewertung von Gutachten” und legen Sie damit fest, welche Teile der Bewertung durch die Autoren den Gutachtern angezeigt werden sollen.

9. Einstellungen für die Diskussion im Online-Forum

Im Abschnitt “Einstellungen für die Diskussion im Online-Forum” finden Sie die Optionen einer Online-Diskussionsplattform, auf der die Mitglieder des Programmkomitees alle Einreichungen und die Gutachten anderer Experten einsehen und anderen Mitgliedern ihre Einschätzung zu einzelnen Beiträgen als Bewertungsempfehlung schriftlich mitteilen können. Um dieses Modul zu nutzen, aktivieren Sie es bitte und setzen Sie wieder ein Datum für Beginn und Ende dieser Phase. Sie können pro Beitragstyp/Track separat festlegen, ob eine Diskussion über die Beiträge im Online-Forum möglich sein soll. Mit der Option “Zugriff der Gutachter zu den Gutachten von Co-Rezensenten? / Zugriff der Gutachter auf das Online-Forum?” können Sie auch Gutachtern den Zugriff zu den anderen Gutachten desselben Beitrages und darüber hinaus zum Online-Forum erlauben, allerdings beschränkt auf die Beiträge, die sie selbst begutachten. Mit der Option “Zeige die Namen der Verfasser der Nachrichten an.” können Sie festlegen, welche Benutzergruppen Zugriff auf die Namen der Verfasser von Nachrichten im Forum haben sollen. Falls die von den Autoren hochgeladenen Dateien wichtig für die Diskussionen im Online-Forum sind, dann aktivieren Sie bitte die Option „Zugriff auf die eingereichten Dateien im Online-Forum?“. Wenn die PK-Mitglieder außerdem über das Online-Formular Zugriff auf die Erwiderungen (Rebuttals) und die Bewertung der Gutachten durch die Autoren haben sollen, dann aktivieren Sie bitte die Option „Erwiderungen und/oder Bewertungen von Gutachten im Online-Forum des Programmkomitees verfügbar?“. Diese zusätzlichen Informationen können den PK-Mitgliedern dabei helfen, die bestmögliche Entscheidung zu treffen (siehe Abbildung 11).

Das Online-Forum lässt sich auch für einen anderen Zweck einsetzen: Als Diskussionsplattform über die angenommenen Vorträge, die bereits Sitzungen des Konferenzprogramms im ConfTool zugewiesen wurden. PK-Mitglieder können dann im Forum interne Kommentare über die Präsentationen verfassen und diese allen anderen PK-Mitgliedern zur Verfügung stellen. Aktivieren Sie für diese Funktion die Option „Verknüpfe das Konferenzprogramm mit dem Online-Forum“. Bitte beachten Sie: Es ist ratsam, die Optionen "Eine Bewertungen mit jeder Nachricht im Forum abgeben" und "Diskussion beenden, sobald eine Entscheidung gefällt wurde" zu deaktivieren wenn Sie diese Funktion einsetzen.

Sofern die Option “Eine Bewertungen mit jeder Nachricht im Forum abgeben” aktiviert ist, müssen die PK-Mitglieder begleitend zu jeder von ihnen verfassten Nachricht auch eine Bewertung zum Beitrag ("Annehmen!", "Eher annehmen", "Keine Wertung", "Eher ablehnen", "Ablehnen!") abgeben (siehe Abbildung 12). Die gemittelten Bewertungsergebnisse dienen als Entscheidungshilfe und sind auf der folgenden Seite einsehbar (siehe Abbildung 13):
Übersicht => Beiträge und Gutachten verwalten => Ergebnisse des Begutachtungsprozesses und Entscheidung über die Annahme
(Overview => Submissions & Reviews => Results of the Reviewing Procedure & Decision About Acceptance)

Die Option “Diskussion beenden, sobald eine Entscheidung gefällt wurde” beendet die Online-Diskussion über einen Beitrag, sobald der Annahmestatus von “Offen” auf einen anderen Annahmestatus geändert wurde, für den die Einstellung "Zeige Ergebnis" aktiviert ist.

10. Die Ergebnisse des Begutachtungsprozesses sind für die Autoren einsehbar

Im letzten Abschnitt “Die Ergebnisse des Begutachtungsprozesses sind für die Autoren einsehbar” legen Sie fest, ab wann die Autoren Zugriff zu den Begutachtungsergebnissen Ihrer Einreichungen haben sollen. Hierbei muss zuvor der Annahmestatus von “Offen” auf einen anderen Status gesetzt werden, für den die Option "Zeige Ergebnis" aktiviert ist. Aktivieren Sie dann die Phase und legen Sie ein Datum für Beginn und Ende fest (siehe Abbildung 14).

11. Konfiguration der Begutachtungsoptionen von ConfTool Pro

Sie können weitere Optionen für den Begutachtungsprozess und das bevorzugte Begutachtungsformular pro Beitragstyp / Konferenztrack festlegen (siehe Abbildung 15). Gehen Sie hierzu auf:
Übersicht => Einstellungen => Beitragstypen / Konferenztracks verwalten 
…, um Ihre(n) Beitragstyp(en) / Konferenztrack(s) zu bearbeiten.

Scrollen Sie nach unten zum Abschnitt „Optionen für den Begutachtungsprozess“. Über die Option „Gutachten abgeben und bearbeiten“ können Sie die Begutachung für einen bestimmte Beitragstyp / Konferenztrack vollständig deaktivieren. Sie können für diese Option aus drei Einstellungen auswählen:

• Begutachtung deaktivieren: Ist diese Einstellung aktiv, werden alle Begutachtungsoptionen für diesen Track entfernt und bereits bestehende Gutachten vor Autoren und Gutachtern verborgen. 
• Begutachtung schließen: Gutachter können zugewiesen werden. Zuweisungen werden den Gutachtern (noch) nicht angezeigt. Sie können nur bereits vollständig abgeschlossene Gutachten einsehen.
• Begutachtung aktivieren: Gutachter können zugewiesen werden. Sie könne auf die zugewiesenen Einreichungen zugreifen und Gutachten einreichen, wenn die Begutachtungsphase aktiviert ist.

Über die Option „Doppelblind-Begutachtungen“ („Double Blind Reviews“) können Sie die Namen der Autoren vor den Gutachtern ausblenden. Bitte beachten Sie aber, dass dies (natürlich) keine Autoreninformationen aus dem Inhalt der eingereichten Dateien entfernt. Nur die Dateinamen werden anonymisiert.

Ist bei der Option „Review-Ergebnis“ die Checkbox ausgewählt, werden den Autoren die vollständigen Details der Gutachten angezeigt. Entfernen Sie den Haken für die Checkbox, wird den Autoren nur der Annahmestatus ohne die Kommentare der Gutachter angezeigt. Hinweis: Zur Anzeige der Review-Ergebnisse muss die entsprechende Phase muss aktiviert sein, und ein Annahmestatus gewählt werden, für den die Option „Zeige Ergebnis“ aktiviert ist.

Die Option „Gebote für bevorzugte Gutachten abgeben“ kann für jeden Beitragstyp / Konferenztrack separat aktiviert oder deaktiviert werden. Das Modul für Gebote der bevorzugten Gutachten muss zudem aktiviert und die Phase eingeschaltet sein (wie weiter oben in dieser Anleitung beschrieben):
Übersicht => Einstellungen => Haupteinstellung für die Begutachtungsfunktionen

Das „Online-Forum für das Programmkomitee“ kann auch für jeden Einreichungstyp / Track separat aktiviert oder deaktiviert werden. Das entsprechende Modul für Gebote der bevorzugten Gutachten muss ebenfalls aktiviert und die Phase eingeschaltet sein (wie weiter oben in dieser Anleitung beschrieben):
Übersicht => Einstellungen => Haupteinstellung für die Begutachtungsfunktionen

Im Abschnitt „Weitere Einstellungen“ können Sie für die Option „Name der Klasse für Einreichungen“ definieren, welches Bewertungsformular für den entsprechenden Beitragstyp / Konferenztrack verwendet werden soll. Das System stellt vier Standard-Begutachtungsformulare zur Verfügung, aus denen Sie wählen können. In der Regel können Sie die „Default_Form“ beibehalten. Weitere Informationen finden Sie hier: Konfiguration der Begutachtungsoptionen in ConfTool Pro. Falls wir für Sie ein individuelles Begutachtungsformular entwickelt haben, finden Sie auch hier den entsprechenden „Namen der Klasse für das Review-Formular für diesen Beitragstyp“ (siehe Abbildung 15).