Zusammenfassung

Der vorliegende Antrag auf Förderung im Rahmen einer Sachbeihilfe beschäftigt sich mit der Validierung und Entwicklung prädiktiver Ratingverfahren unter Zuhilfenahme eines theoretischen Simulations-Frameworks. Ausgangspunkt des Antrags ist eine Netzwerkstruktur bestehend aus Akteuren (Knoten) und paarweisen Vergleichen (Kanten). Jedem der Akteure soll dabei ein Rating zugewiesen werden, während die paarweisen Vergleiche Rückschlüsse über die Qualität der Akteure erlauben. Das Rating ist als prädiktiv zu bezeichnen, da aus ihm immer zugleich eine Vorhersage für die Ergebnisse von neu hinzukommenden paarweisen Vergleichen ableitbar sein soll. Das Forschungsvorhaben zielt dabei auf zwei zentrale methodische Probleme in der Vali-dierung von prädiktiven Ratings und Vorhersagemodellen ab, denen bisher wenig Beachtung geschenkt wird: Die Bewertung von prädiktiven Ratings an sich und die Unterschiede zwischen Genauigkeit und Profitabilität von Vorhersagemodellen. Bei der Erstellung von prädiktiven Ratings ist zu keinem Zeitpunkt eindeutig ablesbar wie das theoretisch korrekte Rating gewesen wäre. Eine Bewertung kann dementsprechend in praktischen Anwendungen nur indirekt erfolgen. Gleiches gilt für die Wahrscheinlichkeitsverteilung eines vorherzusagenden Ereignisses, die auch im Nachhinein nicht direkt beobachtbar ist und dementsprechend die Bewertung der Vorhersage erschwert. Problematisch ist zudem wenn Wettquoten zur Validierung von Vorhersagemodellen genutzt werden. In diesem Fall sind zwar die Wettquoten an sich bekannt, die Vorhersagefehler des Buchmachers allerdings unbekannt. Das Zusammenspiel zwischen Vorhersagefehlern des Modells und des Buchmachers können allerdings erhebliche Auswirkung auf die Bewertung haben. Beide Schwierigkeiten lassen sich durch Nutzung eines theoretischen Simulations-Frameworks lösen, indem Testdaten (d.h. Netzwerke, tatsächliche Ratings und Zufallsprozesse) modelliert und simuliert werden. Anhand dieser Daten lassen sich dann prädiktive Ratingverfahren und daraus abgeleitete Vorhersagen exakter bewerten. Ein weiteres Ziel des Antrags ist es ausgehend von der Validierung existierender Ratingverfahren und unter Nutzung des Simulations-Frameworks neuartige, verbesserte Ratingverfahren unter Ausnutzung der Netzwerkstruktur zu entwickeln.Als Anwendungsbezug des Antrags dient der Sportkontext, bei dem im Rahmen von sportlichen Wettkämpfen natürlicherweise Netzwerke aus Akteuren (Mannschaften oder Spieler) und paarweisen Vergleichen (Wettkämpfe) entstehen und in dem die Suche nach einem geeigneten Rating allgegenwärtig ist. In Folge des medialen und öffentlichen Interesses und der daraus resultierenden großen Menge an einfach und frei zugänglichen Daten, bietet der Sportkontext ein ideales Forschungsumfeld. Eine bestmögliche Übertragbarkeit auf andere Anwendungsgebiete wird explizit angestrebt, Datensätze aus anderen Anwendungsgebieten sind allerdings nicht Teil dieses Forschungsvorhabens.
(DFG- Projektnummer 432919559)

Zusammenfassung

The present research proposal investigates the validation and development of predictive ratings by means of using a theoretical simulation framework. Starting point is a network comprised of actors (vertices) and pairwise comparisons (edges). A rating is supposed to be attached to every actor while the results of pairwise comparisons yield conclusions about the quality of the actors. The rating can be characterized as predictive, as forecasts for the results of new pairwise comparisons should be obtainable from the rating. The research project deals with two central (but mostly neglected) methodological issues in validating predictive ratings and forecasting models: The validation of predictive ratings itself and the differences between accuracy and profitability of forecasting models. When estimating predictive ratings the underlying true rating is never observable. In practical applications a validation can thus only be made indirectly. The same is true for the true probability distribution of a forecasted event, as it is never observable and complicates the validation of the forecast. A further issue is the validation of forecasts based on betting odds. In this case, the betting odds are known, but the forecasting errors of the bookmaker are unknown. However, the interaction of forecasting errors of bookmaker and forecasting model can have serious consequences with regard to the validation. Both problems can be resolved by using test data (i.e. networks, true ratings, and random processes) that have been modelled and simulated. With this data predictive ratings and forecasts can be validated in a more accurate way. A further aim of this research application is to use the simulation framework in order to develop innovative rating procedures that make use of the specific network structure and thus could have a higher accuracy.In sports, networks of actors (teams or players) and pairwise comparisons (competitions) naturally emerge and the search for a rating is omnipresent. Thus, sports events are a suitable field of application with reference to this project. Media and public interest, as well as the large amount of easily accessible data, makes sports an ideal research environment. The transferability to further fields of application is explicitly intended, however, no datasets from other fields of application are within the scope of this research project.