Die Aktivität der ASB-Vereinsforen seit 2003

[Hakuna Matata Arena]

Ich hab in den letzten Tagen ein kleines ASB-Datenspielerei-Projekt angefangen und wollte das, bevor ich damit größer weitermache, einmal hier in der Kabine vorstellen.

Mich hat interessiert, wie sich die Aktivität in den einzelnen Vereinsforen über die Jahre entwickelt hat – also ganz simpel:

Wie viele Beiträge wurden pro Monat im jeweiligen Vereinsforum geschrieben?

Als ersten Test habe ich dafür das SV-Ried-Forum genommen.

 

Wie ich die Daten ermittle

Ich habe dafür einen kleinen Crawler in PowerShell geschrieben. Der geht zunächst die Threadübersichten des jeweiligen Vereinsforums durch, sammelt die Threads und ruft anschließend die einzelnen Threadseiten auf.

Bei der Erstellung des Crawlers habe ich mir von ChatGPT helfen lassen. Ich habe mich dabei bewusst für PowerShell entschieden, weil das die einzige Skriptsprache ist, die ich wirklich beherrsche und in der ich den erzeugten Code fachlich sauber reviewen, debuggen und bei Bedarf selbst umbauen kann. Das Script habe ich daher nicht einfach ungeprüft übernommen, sondern selbst kontrolliert, getestet und an mehreren Stellen angepasst bzw. Fehler korrigiert.

Falls ihr auf technischer Seite nachvollziehen wollt, welche Requests von mir stammen: Der Crawler meldet sich mit folgendem User-Agent:

Mozilla/5.0 (compatible; ASB-SVR-MonthlyStats/1.0; PowerShell)

Ich versuche also ausdrücklich nicht, den Crawler als normalen Browser zu tarnen. Zusätzlich schreibt das Script jeden Seitenaufruf sowie erkannte Threads, Seiten und Posts in eine lokale Logdatei. Einen kurzen Auszug daraus packe ich zur Nachvollziehbarkeit ebenfalls in einen Spoiler:

Spoiler

[Beachtet dass die Logzeiten um -9h verschoben sind da ich vergessen habe in meiner VM die Zeitzone anzupassen. 12:00:00 im Log ist 21:00:00 Österreichische Sommerzeit.]

2026-08-28 11:59:31 [INFO] [1316/2116] Topic 83383 wird gelesen: https://www.austriansoccerboard.at/topic/83383-2-neuverpflichtung-thomas-hinum/
2026-08-28 11:59:31 [INFO] GET https://www.austriansoccerboard.at/topic/83383-2-neuverpflichtung-thomas-hinum/
2026-08-28 11:59:32 [INFO] Topic 83383: 2 Seiten; davon werden 2 gelesen.
2026-08-28 11:59:32 [INFO] Topic 83383 Seite 1/2: 15 Posts erkannt, 15 neu.
2026-08-28 11:59:32 [INFO] GET https://www.austriansoccerboard.at/topic/83383-2-neuverpflichtung-thomas-hinum/page/2/
2026-08-28 11:59:34 [INFO] Topic 83383 Seite 2/2: 12 Posts erkannt, 12 neu.
2026-08-28 11:59:34 [INFO] Topic 83383 vollständig abgeschlossen.
2026-08-28 11:59:34 [INFO] [1317/2116] Topic 83536 wird gelesen: https://www.austriansoccerboard.at/topic/83536-woher-kommen-die-svr-anhänger-aus-dem-asb/
2026-08-28 11:59:34 [INFO] GET https://www.austriansoccerboard.at/topic/83536-woher-kommen-die-svr-anhänger-aus-dem-asb/
2026-08-28 11:59:35 [INFO] Topic 83536: 2 Seiten; davon werden 2 gelesen.
2026-08-28 11:59:35 [INFO] Topic 83536 Seite 1/2: 15 Posts erkannt, 15 neu.
2026-08-28 11:59:35 [INFO] GET https://www.austriansoccerboard.at/topic/83536-woher-kommen-die-svr-anhänger-aus-dem-asb/page/2/
2026-08-28 11:59:37 [INFO] Topic 83536 Seite 2/2: 15 Posts erkannt, 15 neu.
2026-08-28 11:59:37 [INFO] Topic 83536 vollständig abgeschlossen.
2026-08-28 11:59:37 [INFO] [1318/2116] Topic 83538 wird gelesen: https://www.austriansoccerboard.at/topic/83538-kader-und-spielplan/
2026-08-28 11:59:37 [INFO] GET https://www.austriansoccerboard.at/topic/83538-kader-und-spielplan/
2026-08-28 11:59:38 [INFO] Topic 83538: 1 Seiten; davon werden 1 gelesen.
2026-08-28 11:59:38 [INFO] Topic 83538 Seite 1/1: 1 Posts erkannt, 1 neu.
2026-08-28 11:59:38 [INFO] Topic 83538 vollständig abgeschlossen.

 

Von den Beiträgen speichere ich dabei bewusst keine Inhalte und keine Usernamen.

Relevant sind für die Auswertung im Wesentlichen nur:

Thread-ID
Post-ID
Datum/Uhrzeit des Posts
daraus abgeleitet der jeweilige Monat

Anschließend werden einfach alle Posts eines Monats zusammengezählt.

Damit lässt sich dann beispielsweise darstellen, wie sich die Aktivität des Ried-Forums seit den Anfangsjahren des ASB entwickelt hat und welche Ausschläge es in besonders ereignisreichen Zeiten gab.

Bevor ich das auf alle Vereine loslasse wollte ich aber vor allem einmal bei euch nachfragen, ob so etwas überhaupt erwünscht bzw. interessant ist.

Mein eigentliches Ziel wäre nämlich, dieselbe Auswertung für alle Vereinsforen zu machen und daraus später Vergleichsgrafiken zu bauen. Also beispielsweise:

Aktivität der einzelnen Vereinsforen über die Jahre
Entwicklung des gesamten Bundesliga-Bereichs
besonders aktive Monate/Jahre
Wachstum bzw. Rückgang einzelner Communities
möglicherweise Vergleiche rund um Auf-/Abstiege, Europacup-Zeiten, Meisterschaften usw.

Da kommen allerdings ziemlich viele Seiten zusammen.

 

Deshalb auch eine Frage an die technische Seite des ASB:

Ich drossle den Crawler derzeit absichtlich ziemlich stark. Zwischen den einzelnen Seitenaufrufen liegen etwa 1 bis 2 Sekunden, und der tatsächliche Traffic liegt bei mir momentan nur ungefähr bei 200 Kbit/s.

Das sollte für einen Server dieser Größenordnung eigentlich sehr überschaubar sein, aber ich möchte da keine Annahmen treffen.

Ist diese Art des Crawlings für euch grundsätzlich okay?

Und falls ja: Darf ich etwas aggressiver crawlen, oder soll ich bei dieser sehr konservativen Geschwindigkeit bleiben? Für das Ried Forum habe ich ca. 6h benötigt, das Rapid Forum alleine würde wohl bei ca. 60h liegen und alle Verein der Bundesliga zusammen bei etwa 10 Tagen. Wenn sich das etwas verkürzen ließe würde ich mich freuen.

Aber zuerst würde mich generell interessieren, was ihr davon haltet:

Ist eine Auswertung über alle Vereinsforen etwas, das euch bzw. die Community interessieren würde?

Und gibt es noch Kennzahlen oder Vergleiche, die ihr dabei spannend fändet?

 

Als ersten Eindruck hier einmal die Auswertung des SV-Ried-Forums:

Spoiler

 

 

 

 

PS: Ja, ein simples T-SQL-SELECT auf einem DB-Dump wäre vermutlich deutlich eleganter gewesen. Aber euch direkt nach einem Dump der ASB-Datenbank zu fragen, brachte ich dann doch nicht übers Herz. 

PPS: Wenn die Auswertung einmal abgeschlossen ist, lege ich die zugrunde liegenden Daten natürlich offen. Wer selbst damit herumspielen, eigene Auswertungen bauen oder andere Visualisierungen ausprobieren möchte, kann die CSVs gerne haben.

PPPS: Soweit ich das nachvollziehen konnte, verstößt der Crawler gegen keine der veröffentlichten Boardregeln. Ich habe mir außerdem eure robots.txt angesehen und die dort (sehr schwammig) gesetzten Vorgaben beim Crawling versucht zu berücksichtigen.

 

Edit: Formatierung & Fehler korrigiert

bearbeitet vor 11 Stunden von Hakuna Matata Arena