Hakuna Matata Arena

Ich hab in den letzten Tagen ein kleines ASB-Datenspielerei-Projekt angefangen und wollte das, bevor ich damit größer weitermache, einmal hier in der Kabine vorstellen. Mich hat interessiert, wie sich die Aktivität in den einzelnen Vereinsforen über die Jahre entwickelt hat – also ganz simpel: Wie viele Beiträge wurden pro Monat im jeweiligen Vereinsforum geschrieben? Als ersten Test habe ich dafür das SV-Ried-Forum genommen. Wie ich die Daten ermittle Ich habe dafür einen kleinen Crawler in PowerShell geschrieben. Der geht zunächst die Threadübersichten des jeweiligen Vereinsforums durch, sammelt die Threads und ruft anschließend die einzelnen Threadseiten auf. Bei der Erstellung des Crawlers habe ich mir von ChatGPT helfen lassen. Ich habe mich dabei bewusst für PowerShell entschieden, weil das die einzige Skriptsprache ist, die ich wirklich beherrsche und in der ich den erzeugten Code fachlich sauber reviewen, debuggen und bei Bedarf selbst umbauen kann. Das Script habe ich daher nicht einfach ungeprüft übernommen, sondern selbst kontrolliert, getestet und an mehreren Stellen angepasst bzw. Fehler korrigiert. Falls ihr auf technischer Seite nachvollziehen wollt, welche Requests von mir stammen: Der Crawler meldet sich mit folgendem User-Agent: Mozilla/5.0 (compatible; ASB-SVR-MonthlyStats/1.0; PowerShell) Ich versuche also ausdrücklich nicht, den Crawler als normalen Browser zu tarnen. Zusätzlich schreibt das Script jeden Seitenaufruf sowie erkannte Threads, Seiten und Posts in eine lokale Logdatei. Einen kurzen Auszug daraus packe ich zur Nachvollziehbarkeit ebenfalls in einen Spoiler: Von den Beiträgen speichere ich dabei bewusst keine Inhalte und keine Usernamen. Relevant sind für die Auswertung im Wesentlichen nur: Thread-ID Post-ID Datum/Uhrzeit des Posts daraus abgeleitet der jeweilige Monat Anschließend werden einfach alle Posts eines Monats zusammengezählt. Damit lässt sich dann beispielsweise darstellen, wie sich die Aktivität des Ried-Forums seit den Anfangsjahren des ASB entwickelt hat und welche Ausschläge es in besonders ereignisreichen Zeiten gab. Bevor ich das auf alle Vereine loslasse wollte ich aber vor allem einmal bei euch nachfragen, ob so etwas überhaupt erwünscht bzw. interessant ist. Mein eigentliches Ziel wäre nämlich, dieselbe Auswertung für alle Vereinsforen zu machen und daraus später Vergleichsgrafiken zu bauen. Also beispielsweise: Aktivität der einzelnen Vereinsforen über die Jahre Entwicklung des gesamten Bundesliga-Bereichs besonders aktive Monate/Jahre Wachstum bzw. Rückgang einzelner Communities möglicherweise Vergleiche rund um Auf-/Abstiege, Europacup-Zeiten, Meisterschaften usw. Da kommen allerdings ziemlich viele Seiten zusammen. Deshalb auch eine Frage an die technische Seite des ASB: Ich drossle den Crawler derzeit absichtlich ziemlich stark. Zwischen den einzelnen Seitenaufrufen liegen etwa 1 bis 2 Sekunden, und der tatsächliche Traffic liegt bei mir momentan nur ungefähr bei 200 Kbit/s. Das sollte für einen Server dieser Größenordnung eigentlich sehr überschaubar sein, aber ich möchte da keine Annahmen treffen. Ist diese Art des Crawlings für euch grundsätzlich okay? Und falls ja: Darf ich etwas aggressiver crawlen, oder soll ich bei dieser sehr konservativen Geschwindigkeit bleiben? Für das Ried Forum habe ich ca. 6h benötigt, das Rapid Forum alleine würde wohl bei ca. 60h liegen und alle Verein der Bundesliga zusammen bei etwa 10 Tagen. Wenn sich das etwas verkürzen ließe würde ich mich freuen. Aber zuerst würde mich generell interessieren, was ihr davon haltet: Ist eine Auswertung über alle Vereinsforen etwas, das euch bzw. die Community interessieren würde? Und gibt es noch Kennzahlen oder Vergleiche, die ihr dabei spannend fändet? Als ersten Eindruck hier einmal die Auswertung des SV-Ried-Forums: PS: Ja, ein simples T-SQL-SELECT auf einem DB-Dump wäre vermutlich deutlich eleganter gewesen. Aber euch direkt nach einem Dump der ASB-Datenbank zu fragen, brachte ich dann doch nicht übers Herz. PPS: Wenn die Auswertung einmal abgeschlossen ist, lege ich die zugrunde liegenden Daten natürlich offen. Wer selbst damit herumspielen, eigene Auswertungen bauen oder andere Visualisierungen ausprobieren möchte, kann die CSVs gerne haben. PPPS: Soweit ich das nachvollziehen konnte, verstößt der Crawler gegen keine der veröffentlichten Boardregeln. Ich habe mir außerdem eure robots.txt angesehen und die dort (sehr schwammig) gesetzten Vorgaben beim Crawling versucht zu berücksichtigen. Edit: Formatierung & Fehler korrigiert

Das ist ja echtes feines r/dataisugly Material

Videowand zufällig schwarz weil sich wer verdrückt hat, oder ded? Ledbanden auch. Ich glaub da hats was.

Nach dem wascher schauts im Stadion nach vernünftigen Bedingungen aus. Die Zuschauer fehlen halt noch

Vorne hui, hinten pfui

Man Kann diesen Thread hier schließen und dort weitermachen:

Tja

War draussen

Ich dachte es ist jetzt völlig wurscht ob Absicht oder nicht -> Hand am Ball in der Box = Elfer oder täusch ich mich?

Mal schauen wie viele Tore wir heue noch sehen werden, und in welcher Verteilung

Kein Abseits? Kein Check? YAAAAH A geh

Was zum?

Weiß nicht ob das schon fertig ist. Ich schätze da gibt's morgen einen Lokalaugenschein. Jedenfalls solls modular sein. Bei euch kommt wohl die große Version zum Einsatz. Gegen Hartberg eher die kleine Version.

Soße: https://www.svried.at/news/svr-baustellen-tagebuch-spielbetrieb-waehrend-der-umbau-arbeiten/