Spieglein, Spieglein an der Wand

Die letzten Ausgaben von CRE scheinen recht gut angekommen zu sein, zumindest kann ich auf den üblichen Rückkanälen eine Menge Aktivität und Wohlmeinendes wahrnehmen. Auch die Serverbelastung spricht ein deutliches Bild: nach Veröffentlichung einer neuen Ausgabe ist der Uplink (leider) für ein, zwei Tage zu 100% ausgelastet.

Komischerweise kann ich das aber derzeit in meinen Statistiken so recht nicht wiederfinden. Die Nachfrage nach den wohldiskutierten Folgen ist auf dem Papier eher mager. Die Zahlen verhalten sich irgendwie komisch.

Der Grund liegt auf der Hand: da der mir seit Monaten zugesicherte Gigabit-Uplink bis zum heutigen Tage immer noch nicht da ist und ich für eine geordnete BitTorrent-Lösung zu wenig Zeit und bislang auch noch kein schlüssiges Setup gefunden habe hat sich bei den Hörern eine rege Mirror- und BitTorrent-Aktivität breitgemacht.

Das Problem: für mich sieht es so aus, als ob das Interesse an CRE nachlässt, was frustrierend wäre. Ich bin mir allerdings ziemlich sicher, dass dem nicht so ist. Nachdem ich gestern mal einen Blick auf den Traffic auch nur EINES dieses Mirrors werfen durfte, ist mir recht klar, wo der Hase im Pfeffer liegt.

Nun werdet ihr natürlich wieder aus Euren Löchern kommen und mir erklären, dass man das ja im Internet sowieso nicht im Griff hat und überhaupt ist das ja alles CC-Material und ich sollte mal nicht so einen zugekniffenen Arsch haben und was nicht alles. Das ist natürlich alles richtig, aber mir ist das ziemlich egal. Es ist nun mal so so, dass ich aus den Download-Zahlen einen nicht unerheblichen Teil an implizitem Feedback ableite und daran unter anderem messe, welche Themen ankommen und welche nicht. Das System steht derzeit auf wackeligen Füßen.

Daher wäre ich Euch verbunden, wenn diejenigen, die in größerem Stile CRE-Mirrors betreiben und halbwegs signifikanten Traffic beobachten, mir vorzugsweise wöchentlich HTTP Logfiles mit den Zugriffen auf die Dateien zukommen lassen. Natürlich nur mit genau den relevanten Files, ohne IP-Adressen und meinetwegen auch sonst keinen Daten. Hauptsache Datum, URL und übertragene Bytes sind drin und ich bin glücklich. Wer da was für mich hat, möge sich an tim at pritlove punkt org wenden. Vielen Dank. Weitermachen.

37 Gedanken zu „Spieglein, Spieglein an der Wand

  1. Hey Tim,
    ich find deinen Ansatz gut, denn er beschneidet die Mirrors nicht. Denn irgendwie ist man ja schlussendlich froh einen zu haben damit man auch seine Folge in annehmbarer Geschwindigkeit bekommt.
    Aber wie wäre es ein CDN aufzubauen mit den Mirrorbetreibern?
    Dann behältst du immer deine Zahlen und musst sie nicht aus den Mails fischen und für die Mirrorbetreiber dürfte es keinen Unterschied machen.
    Dafür hat aber der Hörer eine zentrale Anlaufstelle.

  2. Ich und viele andere Hörer fänden die Downloadzahlen bestimmt auch interessant. Gibt es eine Möglichkeit an die Zahlen der letzten Sendungen zu gelangen? Oder ist das geheim.

  3. die uhr auf deinem blog (server) geht falsch.
    das mit dem cdn find ich ne super idee.. vor allem, weil bittorrent wird wohl in naher zukunft (wegen deiner knappen zeit) nicht zustande kommen..
    ebenfalls weitermachen :D

  4. Auf die Problematik kommt man so als “Ich hab den Feed und höre eh alles früher oder später”-Hörer gar nicht von alleine :D.
    Überrascht mich dass das nicht sowieso den Großteil ausmacht, aber kam ja schon öfter auf dass einzelne Folgen stark hervorstechen.

  5. Finds ja komisch, dass die Downloadzahlen bei Podcasts so stark schwanken. Die werden doch geladen, bevor die Leute eine Meinung über die Sendung haben und bei Podcasts ists doch eh ein Abo, oder ist das irgendwie kurzsichtig?

    Mag an den Mirrors immer nicht, dass die nicht auf den Feed mit “allen” Episoden verweisen. So genug gemeckert, ausserdem: Warten steigert die Vorfreude ;)

  6. Soweit verständlich.
    Was ich mich die ganze Zeit frage ist, warum nicht zumindest das BitTorrent Problem “outsourcen”. Zumindest ein Angebot dafür liegt, meines Wissens nach, seit letzter Woche unbeantwortet in deiner Inbox.
    Einen Tracker aufzusetzen, der die Statistik liefert ist nicht das große Problem und WebSeeds um die anfängliche Verteilung zu übernehmen gibt es auch bereits.

    Ich biete seit Folge 145 Torrents an, auch per Feed, alles voll per Skript automatisiert. Logfile bekommst du gleich per Mail. Sind allerdings nur die HTTP-logs für die .torrent-dateien, da im Moment noch openbittorrent.org als Tracker benutzt wird. Eine eigene Lösung ist aber in Arbeit (siehe Hinweis auf die Mail in deiner Inbox weiter oben).

  7. Gibt es denn irgendwo eine Liste von Mirrors, die man auch per Feed erreichen kann? Ich bekomme zunehmend das Problem, dass bei neuen Ausgaben von CRE, MM und NSFW gerade noch 10 bis 15 kB/s erreicht werden und mein Podcatcher dann oft auch einfach mit einem Timeout abbricht und ich die Folge nur bekomme, indem ich einen Download-Manager verwende und den Server mit haufenweise paralleler Anfragen zudonnere. Damit ist natürlich niemandem geholfen und bei jedem anderen Podcast hätte ich schon längst aufgegeben.

    Unter diesen Umständen ist es natürlich verständlich, dass Leute zunehmend auf Mirrors ausweichen. Es währe wahrscheinlich wirklich nicht schlecht, ein eigenes CDN zu erstellen, wenn der Gigabit-Uplink noch lange auf sich warten lässt.

  8. Ich frage mich wie du aus den Downloadzahlen einen Indikator für die Beliebtheit des Themas ableiten willst.

    1. ländt mein iTunes sowieso einfach alles runter. Ich habe noch 5861 ungehörte Podcasts.

    2. der Titel vieler CRE Folgen ist nicht aussagekräftig. “Internetwolke” hatte mich erst nicht interessiert, habe dann aber doch reingehört und gemerkt dass es nicht um Cloundcomputing geht. “Piraten” wollte ich erst auch gar nicht hören, weil ich keine Lust auf politische Themen hatte… usw.

    3. runterladen ist ja nicht gleich anhören und ist nicht gleich zuende hören und ist nicht gleich gut finden!

    Ich würde ein Bewertungssystem im Stile von “gefällt mir” oder Sternen den einzig praktikablen Ansatz finden. Vielleicht könnte ja jemand ein Skript schreiben dass die iTunes-Bewertungs-Sterne zurück an den Feed-Anbieter schickt?

  9. Sehe das ähnlich wie @chris. Aber natürlich kann man an den Downloadzahlen die Tendenz von neuen Hörern ableiten, mehr neue Podcastabonennten, mehr Traffic. Die Mirrors verfälschen diese Bild.

    Man könnte doch den Traffic auf die Mirror verbannen und die Hits der Downloads zählen indem man HTTP redirect benutzt: z.B. analog http://chaosradio.ccc.de/cre149.html?mirror=http://mirror.example.com/cre149.html

    Macht dies Sourceforge nicht ähnlich?

  10. Ich für meinen Teil höre CRE und CR immer über den Webplayer. Ich weiß nicht inwieweit deine Statistiken das erfassen.
    Wie wäre es mit einem Bewertungssystem a la Küchenradio?

  11. Gute Themen werden auch später noch runtergeladen haben also longtail, außerdem wird verstärkt zu ihnen verlinkt, so das auch einmal “gasthörer” den traffic hochtreiben.

    Ein Bewertungssystem (neben der möglichkeit der comments im blog) wäre tatsächlich mal ne nette sache, nach dem motto:
    Moderation 1-5 sterne
    gastwissen 1-5 sterne
    gesamt 1-5 sterne
    evtl anmerkungsbox: “gute atmosphäre blabla”

    Das problem ist das damit aber auch nur die erreicht werden die auch jetzt schon kommentieren und sich gehör verschaffen.

    Möglichkeit wäre auch halbjährlich im Podcast oder im extrabeitrag nochmals expliziter zu feedback aufzurufen, damit auch die sich aml melden die den hinweis auf den blog ect sonst ignorieren.

  12. Ich halte den CDN Vorschlag für eine sehr gute Idee und würde da auch mitwirken.

    Auch wenn es jetzt wieder ein wenig Offtopic geht: Mit dem Bitsundso CDN das die Jungs sich da zusammen gezimmert haben bekomme ich immer mehr Lust auf ein allgemeines deutsches Podcast CDN.

  13. @Chris:
    zu 2.: Warum Titel? Wie wärs mit Description lesen? CRE hat wohl den besten Description-Text den ich bei Podcasts kenne. Sehr ausführlich und voll von nützlichen Links.

    zu 3.: Es ist nicht gleich, aber es korreliert. Die relativen Zahlen zw. den Episoden geben dann guten Aufschluss über die Beliebtheit.

  14. Spreche nur für mich: die letzten drei oder vier Folgen CRE habe ich auf die Mirrors in den Blogkommentaren zurückgegriffen.

    Deutet das Gemeckere bezüglich der Downloadrate nicht eher darauf hin, dass dein CRE beliebter denn je ist, soweit sich die traditionelle Bandbreite nicht geändert hat?

    Wann gibt es wieder NSFW?

  15. we’ve only logs for the last 30 Day, older ones are not relevant enough to the Traffik are consumed by others on our hosts *.basedrive.org has an avarage traffic from about 2,7TB a month an /podcasts/chaosradio on e.g. mirrors.basedrive.org or cache.basedrive.org since 29/01/2010 114,3GB Total Traffic by 310 hosted files!

  16. @Zero: Könntest Du den URL des Torrent-Feeds hier posten? Ich finde Deine Idee super und würde den Feed gern mit meinem Miro Player abonnieren. Das Du Tim die Logs übermitteln willst macht die Idee noch besser. Insgesamt ist der Einwand aber berechtigt, ob die Logfiles wirklich sinnvoll auszuwerten sind. Denn sie bilden nicht wirklich die Nutzerakzeptanz ab, sondern vielmehr das Verhalten unzähliger automatischer Podcatcher. Bei mir ist es bspw. mit iTunes so, dass dieses dutzende Downloadversuche unternimmt, nur um dieselbe Datei zu laden. Da mit Logfiles auch nicht erkannt werden kann, ob bspw. der Podcast auch komplett gehört oder wieder gelöscht wird, stellen Logfiles m.E. einen trügerischen Erkenntnisgewinn dar…

  17. Wie bereits erwähnt, dauert das Laden von neuen Ausgaben recht lange. Daher nutze ich neuerdings den Proxy meines Providers. Damit geht’s richtig schnell.
    Ich weiß allerdings nicht, ob sich ein Download über’n Proxy-Server in Deinen Download-Zahlen niederschlägt.

  18. Ich hatte auch die Idee, einen Java Applet basierten Torrentloader zu entwickeln und den auf der Website anzubieten. Dem könnte man ja auch die direkten Mirros beibringen. Ziel des ganzen sollte sein, dass dieser Loader die Statistik übernimmt und die an das Mutterschiff funkt.

    Das löst aber nur den Usecase, wenn man die Podcasts direkt von der Website laden möchte.
    Das schön in ein Podcastsprogramm eurer Wahl zu zwängen wär nochmal ein anderes Problem.

    Falls sich paar Leute finden würden um Tim zu helfen, ich wär dabei. Ich guck hier einfachmal öfter vorbei :)

  19. Kann mIch Zero nur anschließen. Statistiken sind wie ein Teilzeugniss deiner Arbeit für dich. Dennoch denke ich, dass sich grade in dieser Community schnell viele helfende Hände finden werden. Z.b. Einen privaten Tracker bzw. ein paar Seeder wird sich auch sicher volontär finden u. wenn ich selbst ‘ne kleine Büchse mit Bsd+opentracker da hinstelle soll. Aber wie gesagt, der Aufwand wird sich denk’ ich in Grenzen halten, aber die Kommunikation u. Koordination dessen kann dir ja keiner abnehmen. D.h. du sagst einmal tracker, 15 min. später warten wahrscheinlich 25 Tracker auf Torrent-Hashes von dir.

  20. @stackevil ich denke das Problem liegt nicht in der Lastenverteilung, sondern eher in einem hohen Peak bei z.B. Neuerscheinungen..

  21. @HeinzEins da hilft ihm aber n 1zelner server mit 1gbit auch nix wenn der dann 1h überrannt wird das löst das problem nur in stücken & man denke auch an die hardware die da läuft platten i/o pingpong iss nicht schön wenn er metalinks einbinden würd via mirrorbrain hätt er auch seine stats beisammen

  22. Warum denn nicht einfach mal bei den Bits und So Jungs nachfragen. Die haben ihren Kram doch jetzt gut am laufen. Solange die CRE und Mobilemacs Sendungen nicht parallel zu BUS und GUS erscheinen würde das deren Serverinfrastruktur doch schön auslasten und würde außerhalb der Peaks auch genutzt werden.

  23. @Tim
    Warum verteilst du die Podcast nicht über einen eigenen Opentracker und sorgst mithilfe von Webseed dafür dass die Dateien mehr oder weniger immer verfügbar sind?

  24. @Jens Gibolde: Im Prinzip will ich genau das tun, habe aber bisher noch keinen BitTorrent Client gefunden, der sich so konfigurieren lässt, dass er beliebige Dateien in mehreren Ordnern (!), die in einer Datei aufgeführt sind, automatisch seeded.

    Der Teufel steckt im Detail. Der Tracker läuft bereits.

  25. @Tim
    Ich verstehe dich leider nicht. Sinn des Webseedes ist ja das man eben nur einen httpd als seeder braucht. Wenn da ein “/” in der url stört könntest du den doch mit modrewrite entfernen.

    Oder geht es um die Erzeugung der .torrent Dateien? Das könnte doch schlimstenfalls php on-fly-machen.

  26. @Jens Gibolde: Ich weiß nicht, wie viel Erfahrung Du damit gesammelt hast, aber meiner Kenntnis nach setzt ein Webseed die Installation eines speziellen Servers voraus, da die Clients nicht einfach HTTP und Ranges verwenden. Die Clients unterscheiden sich auch: nicht alle unterstützen das Feature.

    Erzeugung der torrent-files ist noch das geringste Problem.

  27. http://bittorrent.org/beps/bep_0019.html sagt:
    Changes are only needed in BitTorrent clients. No changes to trackers, HTTP, or FTP servers are needed. No scripts are needed on the HTTP or FTP server.

    Ich dachte Http1.1 kann das. Aber ich muss zugeben dass weder mein aktueller client es unterstützt noch das ich mich wirklich damit befasst habe. War nur so eine Idee.

  28. Hey Tim, wie wärs, wenn du eine Seite aufmachst, auf der die Mirrors zu finden sind?
    Jeder, der interesse daran hat, Mirror zu spielen kann sich dann bei dir melden.

    Übrigens hab ich noch freie Kapazitäten auf meinen Servern und würde mich auch anbieten, Mirror zu spielen. Die Serverlogs würdest du automatisiert jede Woche von meinem Mailservercluster bekommen…

    Danke für deine Produktion!

  29. noch ein kleiner Nachschlag.

    Bin die Comments noch mal durchgegangen und habe die Idee des CDN entdeckt.
    Hätte mein Podcast ein ähnlich großes Format wie deine(r) würde ich auf das CDN setzen.
    Hier biete ich dir wieder an, meine freien Serverkapazitäten anzubieten…

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.