Die Aktivität der ASB-Vereinsforen seit 2003

[Hakuna Matata Arena]

Ich hab in den letzten Tagen ein kleines ASB-Datenspielerei-Projekt angefangen und wollte das, bevor ich damit größer weitermache, einmal hier in der Kabine vorstellen.

Mich hat interessiert, wie sich die Aktivität in den einzelnen Vereinsforen über die Jahre entwickelt hat – also ganz simpel:

Wie viele Beiträge wurden pro Monat im jeweiligen Vereinsforum geschrieben?

Als ersten Test habe ich dafür das SV-Ried-Forum genommen.

 

Wie ich die Daten ermittle

Ich habe dafür einen kleinen Crawler in PowerShell geschrieben. Der geht zunächst die Threadübersichten des jeweiligen Vereinsforums durch, sammelt die Threads und ruft anschließend die einzelnen Threadseiten auf.

Bei der Erstellung des Crawlers habe ich mir von ChatGPT helfen lassen. Ich habe mich dabei bewusst für PowerShell entschieden, weil das die einzige Skriptsprache ist, die ich wirklich beherrsche und in der ich den erzeugten Code fachlich sauber reviewen, debuggen und bei Bedarf selbst umbauen kann. Das Script habe ich daher nicht einfach ungeprüft übernommen, sondern selbst kontrolliert, getestet und an mehreren Stellen angepasst bzw. Fehler korrigiert.

Falls ihr auf technischer Seite nachvollziehen wollt, welche Requests von mir stammen: Der Crawler meldet sich mit folgendem User-Agent:

Mozilla/5.0 (compatible; ASB-SVR-MonthlyStats/1.0; PowerShell)

Ich versuche also ausdrücklich nicht, den Crawler als normalen Browser zu tarnen. Zusätzlich schreibt das Script jeden Seitenaufruf sowie erkannte Threads, Seiten und Posts in eine lokale Logdatei. Einen kurzen Auszug daraus packe ich zur Nachvollziehbarkeit ebenfalls in einen Spoiler:

Spoiler

[Beachtet dass die Logzeiten um -9h verschoben sind da ich vergessen habe in meiner VM die Zeitzone anzupassen. 12:00:00 im Log ist 21:00:00 Österreichische Sommerzeit.]

2026-08-28 11:59:31 [INFO] [1316/2116] Topic 83383 wird gelesen: https://www.austriansoccerboard.at/topic/83383-2-neuverpflichtung-thomas-hinum/
2026-08-28 11:59:31 [INFO] GET https://www.austriansoccerboard.at/topic/83383-2-neuverpflichtung-thomas-hinum/
2026-08-28 11:59:32 [INFO] Topic 83383: 2 Seiten; davon werden 2 gelesen.
2026-08-28 11:59:32 [INFO] Topic 83383 Seite 1/2: 15 Posts erkannt, 15 neu.
2026-08-28 11:59:32 [INFO] GET https://www.austriansoccerboard.at/topic/83383-2-neuverpflichtung-thomas-hinum/page/2/
2026-08-28 11:59:34 [INFO] Topic 83383 Seite 2/2: 12 Posts erkannt, 12 neu.
2026-08-28 11:59:34 [INFO] Topic 83383 vollständig abgeschlossen.
2026-08-28 11:59:34 [INFO] [1317/2116] Topic 83536 wird gelesen: https://www.austriansoccerboard.at/topic/83536-woher-kommen-die-svr-anhänger-aus-dem-asb/
2026-08-28 11:59:34 [INFO] GET https://www.austriansoccerboard.at/topic/83536-woher-kommen-die-svr-anhänger-aus-dem-asb/
2026-08-28 11:59:35 [INFO] Topic 83536: 2 Seiten; davon werden 2 gelesen.
2026-08-28 11:59:35 [INFO] Topic 83536 Seite 1/2: 15 Posts erkannt, 15 neu.
2026-08-28 11:59:35 [INFO] GET https://www.austriansoccerboard.at/topic/83536-woher-kommen-die-svr-anhänger-aus-dem-asb/page/2/
2026-08-28 11:59:37 [INFO] Topic 83536 Seite 2/2: 15 Posts erkannt, 15 neu.
2026-08-28 11:59:37 [INFO] Topic 83536 vollständig abgeschlossen.
2026-08-28 11:59:37 [INFO] [1318/2116] Topic 83538 wird gelesen: https://www.austriansoccerboard.at/topic/83538-kader-und-spielplan/
2026-08-28 11:59:37 [INFO] GET https://www.austriansoccerboard.at/topic/83538-kader-und-spielplan/
2026-08-28 11:59:38 [INFO] Topic 83538: 1 Seiten; davon werden 1 gelesen.
2026-08-28 11:59:38 [INFO] Topic 83538 Seite 1/1: 1 Posts erkannt, 1 neu.
2026-08-28 11:59:38 [INFO] Topic 83538 vollständig abgeschlossen.

 

Von den Beiträgen speichere ich dabei bewusst keine Inhalte und keine Usernamen.

Relevant sind für die Auswertung im Wesentlichen nur:

Thread-ID
Post-ID
Datum/Uhrzeit des Posts
daraus abgeleitet der jeweilige Monat

Anschließend werden einfach alle Posts eines Monats zusammengezählt.

Damit lässt sich dann beispielsweise darstellen, wie sich die Aktivität des Ried-Forums seit den Anfangsjahren des ASB entwickelt hat und welche Ausschläge es in besonders ereignisreichen Zeiten gab.

Bevor ich das auf alle Vereine loslasse wollte ich aber vor allem einmal bei euch nachfragen, ob so etwas überhaupt erwünscht bzw. interessant ist.

Mein eigentliches Ziel wäre nämlich, dieselbe Auswertung für alle Vereinsforen zu machen und daraus später Vergleichsgrafiken zu bauen. Also beispielsweise:

Aktivität der einzelnen Vereinsforen über die Jahre
Entwicklung des gesamten Bundesliga-Bereichs
besonders aktive Monate/Jahre
Wachstum bzw. Rückgang einzelner Communities
möglicherweise Vergleiche rund um Auf-/Abstiege, Europacup-Zeiten, Meisterschaften usw.

Da kommen allerdings ziemlich viele Seiten zusammen.

 

Deshalb auch eine Frage an die technische Seite des ASB:

Ich drossle den Crawler derzeit absichtlich ziemlich stark. Zwischen den einzelnen Seitenaufrufen liegen etwa 1 bis 2 Sekunden, und der tatsächliche Traffic liegt bei mir momentan nur ungefähr bei 200 Kbit/s.

Das sollte für einen Server dieser Größenordnung eigentlich sehr überschaubar sein, aber ich möchte da keine Annahmen treffen.

Ist diese Art des Crawlings für euch grundsätzlich okay?

Und falls ja: Darf ich etwas aggressiver crawlen, oder soll ich bei dieser sehr konservativen Geschwindigkeit bleiben? Für das Ried Forum habe ich ca. 6h benötigt, das Rapid Forum alleine würde wohl bei ca. 60h liegen und alle Verein der Bundesliga zusammen bei etwa 10 Tagen. Wenn sich das etwas verkürzen ließe würde ich mich freuen.

Aber zuerst würde mich generell interessieren, was ihr davon haltet:

Ist eine Auswertung über alle Vereinsforen etwas, das euch bzw. die Community interessieren würde?

Und gibt es noch Kennzahlen oder Vergleiche, die ihr dabei spannend fändet?

 

Als ersten Eindruck hier einmal die Auswertung des SV-Ried-Forums:

Spoiler

 

 

 

 

PS: Ja, ein simples T-SQL-SELECT auf einem DB-Dump wäre vermutlich deutlich eleganter gewesen. Aber euch direkt nach einem Dump der ASB-Datenbank zu fragen, brachte ich dann doch nicht übers Herz. 

PPS: Wenn die Auswertung einmal abgeschlossen ist, lege ich die zugrunde liegenden Daten natürlich offen. Wer selbst damit herumspielen, eigene Auswertungen bauen oder andere Visualisierungen ausprobieren möchte, kann die CSVs gerne haben.

PPPS: Soweit ich das nachvollziehen konnte, verstößt der Crawler gegen keine der veröffentlichten Boardregeln. Ich habe mir außerdem eure robots.txt angesehen und die dort (sehr schwammig) gesetzten Vorgaben beim Crawling versucht zu berücksichtigen.

 

Edit: Formatierung & Fehler korrigiert

bearbeitet 29. August von Hakuna Matata Arena

[Hakuna Matata Arena]

Ich tagge mal @Dannyo

Da ich bisher keine Rückmeldung bekommen habe (abgesehen von einem Haufen Likes, danke dafür), würde ich das Projekt jetzt gerne weiterlaufen lassen. Ich gebe euch aber noch etwas Vorlauf: Wenn bis Mittwochabend (09.09.) niemand Einwände hat, starte ich den Crawl der restlichen Bundesliga-Vereinsforen mit einer leicht erhöhten Kadenz.

Ich werde dabei weiterhin bewusst moderat bleiben. Der Crawler verwendet nach wie vor einen eindeutig erkennbaren User-Agent (Mozilla/5.0 (compatible; ASB-MonthlyStats/2.0; PowerShell)) , arbeitet sequenziell und reagiert bei HTTP 429 bzw. Serverfehlern mit entsprechendem Backoff. 

Falls das von eurer Seite nicht erwünscht ist oder ihr mir eine konkrete maximale Request-Rate / Mindestpause vorgeben möchtet: Ein kurzes „Stop“ bzw. eine Vorgabe reicht völlig, dann richte ich mich selbstverständlich danach.

Wenn ich bis Mittwochabend nichts höre, gehe ich davon aus, dass gegen den beschriebenen Crawl vorerst nichts spricht, und lasse ihn anlaufen.  

[MarioAUT]

kannst du bitte den blau weiss channel auch dazunehmen?

[Hakuna Matata Arena]

MarioAUT schrieb vor 18 Minuten:

kannst du bitte den blau weiss channel auch dazunehmen?

Wenn die buli Vereine fertig sind mach ich mich an die restlichen Clubs. Der Aufwand ist dort viel geringer. Bitte um etwas Geduld 

[floma]

@Hakuna Matata Arena Kannst du mir mal ein Screen für Altach schicken? Das wäre super. 

[Hakuna Matata Arena]

floma schrieb vor 6 Stunden:

@Hakuna Matata Arena Kannst du mir mal ein Screen für Altach schicken? Das wäre super. 

Da musst du dich noch ein paar Tage gedulden. Der Crawl läuft grad durch einen dieser 12K Seiten Monsterthreads im Austria Channel  

[Hakuna Matata Arena]

floma schrieb am 13.9.2026 um 14:14 :

@Hakuna Matata Arena Kannst du mir mal ein Screen für Altach schicken? Das wäre super. 

Sneak Peak:

 

geglättet (12 Monate)

 

Raw:

 

[floma]

Hakuna Matata Arena schrieb vor 8 Minuten:

Sneak Peak:

 

geglättet (12 Monate)

 

Raw:

 

Mega, Danke!

[Hakuna Matata Arena]

Kleiner genereller Teaser. Bitte um feedback.

 

 

[MarioAUT]

gibts hier neuigkeiten? finde das sehr interessant

[Petroleum]

Der geschlossene Rückzug der Bullen