Usenet?

Was ist das Usenet eigentlich?

 

Das Usenet ist das Netzwerk der News-Server und zugleich das Netzwerk der User.

Es ist also ein User Netzwerk. Darin unterscheidet es sich ganz erheblich von allen Formen des World Wide Web.

 

Natürlich gibt es auch im World Wide Web diverse Plattformen für User, insbesondere die Foren, die eigentlich eine Miniaturnachbildung des Usenet darstellen.

 

Doch ein Webforum ist auf einem zentralen Webserver gehostet und ist nur solange erreichbar, wie es auf dem Webserver verfügbar ist. Für das Schreiben in einem Forum können Einschränkungen vorgesehen sein. Ein Forum kann auch erst nach Anmeldung überhaupt sichtbar werden. Ganz anders das Usenet.

 

Im Usenet gibt es keine zentrale Instanz

Die Besonderheit des Usenet ist, dass es keinen zentralen Server und keine zentrale Administration gibt. Das Usenet entsteht erst durch den Verbund einer unbekannten Zahl von Newsservern, die durch Peering-Abkommen zu einem gewaltigen Netzwerk verbunden sind. Jeder News-Server, der am Usenet teilnimmt, ist durch Peering-Abkommen mit mindestens einem weiteren News-Server verbunden.

 

Das Usenet speichert dezentral auf allen am Usenet teilnehmen News Servern.

Im Usenet werden sämtliche News und Dateien auf sämtlichen am Usenet teilnehmen News Servern zumindest zeitweise gespiegelt. Doch nirgendwo wird das gesamte Usenet gespiegelt. Es gibt vermutlich weit mehr als 200.000 Newsgroups, auch darüber ist keine genaue Zahl bekannt. Welche Newsgroups auf einem News-Server verfügbar sind, hängt von der Einstellung des Newsservers ab. Es liegt also in der Hand des Administrators eines einzelnen Newsservers, an welchen Newsgroups die User dieses Newsservers teilnehmen können.

 

Usenet ist nicht gleich Usenet

Einige News-Server sind so eingestellt, dass sie jede Newsgroup, die von ihren Peering Partnern zum Peering angeboten werden, vollautomatisch übernehmen, andere sind so eingestellt, dass sie nur Newsgroups führen, die innerhalb eines bestimmten Zeitraums mindestens einmal aktiv waren, also tatsächlich auch etwas darin passiert ist und wieder andere sind so eingestellt, dass sämtliche Newsgroups, über die hauptsächlich Binärdateien verbreitet werden, nicht geführt werden und zudem noch Filter für Binärdateien eingebaut werden. Letzteres ist zum Beispiel beim News-Server der Freien Universität Berlin der Fall, der für jeden gegen eine geringe Gebühr zur Verfügung steht.

 

Der oft zitierte Vergleich mit dem schwarzen Brett

Es ist nicht ganz einfach, das Usenet in wenigen Worten zu beschreiben. Oftmals wird ein Vergleich mit einem schwarzen Brett angestellt. Doch dieser Vergleich ist ziemlich falsch. Denn das Wesen eines schwarzen Bretts ist es, das irgendjemand dort eine Nachricht aus hängt und eine Kommunikationsmöglichkeit angibt, sei es eine Telefonnummer, eine E-Mail-Adresse oder sonstige Möglichkeiten einer Kontaktaufnahme. Die Antworten werden auf jeden Fall nicht an das schwarze Brett gehängt. Ganz anders im Usenet. Das einzige, was grundsätzlich auch dort zutrifft, ist, das irgendjemand wie in einem Forum auch, ein neues Thema geöffnet. Und ebenso wie im Forum werden die Antworten dazu in die Newsgroup geschrieben. Sowohl im Usenet als auch in einem Forum kann sich eine Diskussion schließlich soweit verästeln, dass sie mit dem ursprünglichen Thema inzwischen nicht mehr viel zu tun hat. In einem Forum würde in diesem Fall die Diskussion von einem Moderator oder dem Administrator auf mehrere Threads aufgeteilt. Doch von den wenigen moderierten Newsgroups abgesehen, gibt es im Usenet weder Moderatoren noch Administratoren, es ist jedem selbst überlassen, ob und wie er auf einen Beitrag im Usenet antwortet.

 

Im Usenet kann nicht beliebig gelöscht werden

In einem Forum können Beiträge beliebig von einem dazu bevollmächtigten gelöscht werden. Doch eine beliebige Löschung von Beiträgen ist im Usenet nicht möglich. Das wird schon durch die dezentrale Struktur des Usenet und die zeitweise Spiegelung auf einer unbekannten Zahl von Newsservern unmöglich gemacht.

 

Das Usenet ist in hohem Maße zensurresistent.

Die gesamte Struktur des Usenet entstand bereits in den frühen achtziger Jahren, das Usenet war ursprünglich ebenso wie heute ein Webforum zentral administriert. Doch die zentrale Administration hatte auch den Nachteil, den wir auch von Webforen kennen, dass der Administrator und seine Moderatoren nach Belieben zensieren und löschen können. Aus diesem Grund wurde das Usenet auf seine heutige dezentrale Struktur umgestellt. Freie Meinungsäußerung ist nur möglich, wenn niemand die Möglichkeit einer Zensur hat.

 

Das Usenet ist sehr leistungsfähig

Durch die automatische Spiegelung von Dateien sowie das Protokoll des Usenet ist das Usenet insbesondere bei der Verteilung von großen Dateien jedem anderen allgemein gebräuchlichen Protokoll des Internets weit überlegen.

 

Es gibt zwar inzwischen einige Neuentwicklungen, die eine noch schnellere und kostengünstigere Verteilung von Dateien ermöglichen, jedoch gibt es dafür noch keine ausreichende Infrastruktur. Es erstaunt jedoch nicht, dass der größte News-Server-Betreiber der Welt, die amerikanische Firma highwinds, parallel zum Betrieb der News-Server sich in den neuen Technologien stark engagiert.

 

Übrigens, Sie können bei highwinds direkt keinen Usenet Zugang kaufen. Highwinds vertreibt seine Leistungen über eigene Tochterfirmen und Dutzende von Resellern. Viele Usenet Provider, die im deutschen Sprachraum tätig sind, kaufen ihren Traffic ganz oder teilweise bei highwinds ein.

 

Das Usenet hat eine weltweite Akzeptanz

Das Usenet hat bereits eine treue Gemeinde von mehreren Millionen Usern weltweit. Es gibt praktisch keine Universität, die nicht auch einen News-Server betreiben würde. Viele Internetserviceprovider bieten ihren Kunden kostenlos den Zugang zum eigenen News-Server, auf dem allerdings in der Regel nur einige 1000 Text Newsgroups geführt werden.

 

Das Usenet in seiner ganzen Fülle

Wer das Usenet in seiner ganzen Fülle erleben möchte, dem bleibt nichts anderes übrig, als sich einen Zugang bei einem Premium Usenet Provider zu kaufen. Denn nur dort wird das Usenet nicht nach Binärdateien gefiltert, nur dort werden fast alle aktiven Newsgroups angeboten, nur dort gibt es garantiert keine Zensur, weder über die Auswahl von Newsgroups noch durch direkte Zensur auf dem Header-Server.

 

Einiges zur Technik des Usenet

Womit ich bereits beim nächsten Thema bin. Das einzige, was im Usenet insgesamt gemeinsam ist, ist das Protokoll des Usenet, das NNTP. Die Abkürzung steht für Network News Transfer Protocol. Doch jeder News-Server ist nach dem Geschmack seines eigenen Administrators aufgebaut. Es gibt schließlich auch ein gemeinsames E-Mail-Protokoll, doch sehr viele Programme für Abruf, Verwaltung und Versenden von E-Mails, die sich teilweise erheblich unterscheiden und dennoch alle dasselbe möglichen, nämlich E-Mails empfangen und verschicken zu können.

 

Gemeinsam ist praktisch sämtlichen News Servern, dass es eine Trennung in einen Server gibt, auf dem die Header Zeilen einer Nachricht gespeichert werden und einen weiteren Server, der den Body (also die eigentliche Nachricht oder Datei) des Beitrags für den Download bereithält.

 

Jeder Beitrag im Usenet hat eine einmalige Kennzahl

Jeder neue Beitrag, egal ob eine Textdatei oder eine Binärdatei, bekommt vom News-Server, über den der Beitrag hoch geladen wird, einen Header zugewiesen. Das funktioniert ganz ähnlich wie beim E-Mail Protokoll. Beide Protokolle sind nahezu zeitgleich Ende der Siebzigerjahre entstanden. Im Header bekommt jeder neue Beitrag eine einmalige Message ID zugewiesen, über die er einwandfrei identifizierbar ist.

 

Wie funktioniert das beim klassischen Umgang mit dem Usenet?

Im klassischen Umgang mit dem Usenet durch einen User fordert der User über seinen Newsreader aus den Newsgroups, die der User abonniert hat, zunächst einmal die Header vom Server an. Selten für alle abonierten Newsgroups gleichzeitig, sondern für einige ausgewählte Newsgroups, in denen sich der User gerade aktuell orientieren möchte. Mit dem Download der (neuen) Header sieht der User in seinem Newsreader den Betreff, die Größe, das Datum oder Alter des Uploads und den Namen sowie die E-Mail-Adresse des Users, der diesen Upload veranlasst hatte. Wobei inzwischen nur noch in wissenschaftlichen Newsgroups Name und E-Mail-Adresse echt sind. In allen übrigen Newsgroups verwendet man ebenso wie in einem Forum ein Pseudonym und gibt, da eine im Usenet angegebene E-Mail-Adresse vollkommen öffentlich ist, meist auch eine nicht existierende Fantasie E-Mail-Adresse ein.

 

Anhand dieser Betreffzeilen fordert der User anschließend einzelne Beiträge, seien es Textbeiträge oder Binärdateien vom News-Server an. Diese Anfrage wird direkt an den Bodyserver gerichtet.

 

Im weiteren Vorgehen unterscheiden sich die News-Server erheblich.

 

News-Server, die generell den Body einer Nachricht unmittelbar nach dem Peering der Header vom Ursprungsserver anfordern, liefern darauf hin entweder den Body aus oder geben die Meldung zurück "article not on server". Das trifft auf sämtliche News-Server zu, die wegen ihrer besonders langen Retention jeden Body speichern müssen, um auch dann innerhalb ihrer Retention den Body ausliefern zu können, wenn er wegen kürzerer Retention auf dem Ursprungsserver bereits gelöscht wurde.

 

Anders hingegen ein News-Server, der, um Speicherkapazitäten zu sparen, den Body einer Nachricht erst vom Ursprungsserver anfordert, wenn dieser erstmalig von einem User verlangt wird. Der überprüft zunächst einmal, ob der Body bereits vorliegt und liefert ihn anschließend aus oder er fordert stattdessen den Body vom Ursprungsserver an.

 

News-Server, die nicht über die gewaltigen Speicherkapazitäten verfügen, die eine vollständige Spiegelung des Usenet über einen längeren Zeitraum ermöglichen würden, haben oft auch noch zusätzliche Abkommen mit den Betreibern anderen News-Server. Ist der Body auf dem eigenen Bodyserver noch nicht gespeichert und auf dem Ursprungsserver bereits wegen überschreiten der Retention gelöscht, erfolgt in diesem Fall eine Anfrage an den Partner, der eine wesentlich längere Retention als der eigene Server hat. Ist dort der Body noch verfügbar, dann wird er von dort angefordert und an den User ausgeliefert.

 

Darauf bezieht sich auch die Werbung mancher Usenet Provider mit 98% oder 99% Completeness. Denn natürlich kann die Auslieferung des Bodys innerhalb der Speicherungsdauer des Newsservers nur garantiert werden, wenn der Body auf dem eigenen News-Server gespeichert wurde oder zumindest ein Abkommen mit einem zuverlässigen News-Server geschlossen wurde, der sämtliche Bodys innerhalb seiner Retention spiegelt.

 

Wie funktioniert es beim alternativen modernen Umgang?

Inzwischen gibt es eine ganze Reihe Usenet Anbieter, die den klassischen Umgang mit dem Usenet durch eine Alternative ausgetauscht haben. Den Vorreiter dazu machte die Firma Usenext. Doch inzwischen sind auch von etlichen anderen Anbietern ähnliche Modelle am Markt.

 

Usenet Clients statt Newsreader

Statt dem Download der Header auf den News Reader des Users erhält der User stattdessen Zugang mit einem speziellen Client zu einer internen Suchmaschine des Usenet Anbieters. Wie auch beim klassischen Umgang wählt der User dazu einige Newsgroups aus, in denen er sich orientieren und aus denen er etwas herunterladen möchte, doch er bekommt keinen Überblick über den Inhalt dieser Newsgroups, sondern er kann stattdessen mit der Suchfunktion diese Newsgroups nach bestimmten Begriffen in der Betreffzeile durchsuchen. Anschließend fordert er den Download an.

 

Das Ganze wird noch ergänzt durch verschiedene Zusatzfunktionen, die über weitere, vom Usenet unabhängige Server zur Verfügung gestellt werden. Sei es die Thumbnail Vorschau von Bildern im Usenet, sei es eine Kommentar- oder gar Umbenenn-Funktion auf dem Indexing Server, der die Suche ermöglicht, sei es eine Bewertung oder ein Chat, mit dem sich die User ebenso wie bei einer sonstigen webbasierten Chat-Funktion unterhalten können.

 

Die weitere Alternative: Usenet Suchmaschinen

Längst wurden auch spezielle Suchmaschinen für das Usenet entwickelt, die über eine ganz normale Webseite ähnlich wie Google bedient werden können. Diese Suchmaschinen haben gegenüber dem Client von Usenext und ähnlichen Anbietern einen erheblichen Vorteil, denn sie durchsuchen nicht nur die Newsgroups, die der User als seine persönlichen TopTen ausgewählt hat, sondern meist mehr als 1000 Newsgroups gleichzeitig. Diese Newsgroups decken den beliebtesten Bereich innerhalb der mehr als 5000 Newsgroups der alt.binaries Hierarchie weit gehend ab.

 

Der Nachteil einer externen Suchmaschine für das Usenet besteht lediglich in einer kleinen Unbequemlichkeit. Eine Suchfunktion, die im Client oder auch in einem Newsreader integriert ist, erlaubt den unmittelbaren Download eines gefundenen Suchergebnisses. Doch zwischen einer webbasierten Usenet Suchmaschine und dem News Reader gibt es keine Verbindung. Stattdessen erstellt die Usenetsuchmaschine für den News Reader eine spezielle Datei, eine NZB, die die Downloadanweisungen für den News Reader enthält. Wird diese Datei in den News Reader importiert beziehungsweise gleich im Browser geöffnet, dann fordert der Newsreader aufgrund der Anweisungen in der Datei die entsprechenden Beiträge vom News-Server an.

 

Der Vorteil einer externen Suchmaschine besteht in ihrer kostenlosen Nutzbarkeit, von einigen wenigen kostenpflichtigen Usenet Suchmaschinen abgesehen, die gegen ein kleines Entgelt auch einen erheblichen Zusatznutzen bieten.

 

Warum Usenetsuchmaschinen jede Zensur unterlaufen würden

Der Administrator eines Newsservers könnte prinzipiell auf dem Headerserver seines Newsservers diverse Filterfunktionen einbauen, die bei bestimmten Begriffen in einer Betreffzeile diesen Header löschen. Das ist verschiedentlich im Zusammenhang mit Löschungsbegehren der Musikindustrie so gehandhabt worden. Doch das Löschen auf dem Header Server bewirkt lediglich, dass der gelöschte Header vom User nicht mehr abrufbar ist.

 

Beim Anfordern eines Downloads über eine NZB erfolgt dieselbe Prozedur wie beim anfordern eines Downloads aus dem eigenen Newsreader durch den Doppelklick auf eine Betreffzeile. Die Anfrage wird direkt an den Bodyserver gerichtet. Der überprüft nun wieder wie schon oben beschrieben, ob der Artikel auf dem Server bereits gespeichert wurde oder vom Ursprungsserver beziehungsweise dem Vertragspartner angefordert werden muss. Ist er bei einer dieser drei Stationen noch erhältlich, wird der Artikel auch ausgeliefert.

 

Dasselbe passiert natürlich auch, wenn ein Header Update bereits vor der Löschung beziehungsweise Filterung eines bestimmten Headers erfolgt war, denn es gibt keinen Befehl an einen Newsreader, um Header, die auf dem News-Server selbst gelöscht wurden, in der Datenbank des Newsreaders ebenfalls zu löschen.

 

Zum Schluss noch ein weiterer Unterschied zwischen Usenet und World Wide Web wie auch zwischen den einzelnen Newsservern.

Im World Wide Web ist eine Webseite beziehungsweise ein Downloadangebot erreichbar, solange es auf dem Server gehostet ist. Dort kann es auch jederzeit geändert werden.

Im Usenet ist ein Beitrag abhängig von der Retention eines Usenet Providers abrufbar, soweit die Newsgroup überhaupt geführt wird. Die Retention bedeutet die Speicherungszeit auf dem News-Server. Eine nachträgliche Änderung eines Beitrags ist im Usenet ausgeschlossen. Ebenso die Löschung durch den User, der den Beitrag in das Usenet hoch geladen hatte. Mit dem Upload über seinen News-Server hat der Uploader keinerlei Kontrollmöglichkeiten mehr über seinen Beitrag.

 

Jede Binärdatei wird nach überschreiten der Retention vollautomatisch auf dem News-Server wieder gelöscht. Bei Textdateien gilt es inzwischen nicht mehr für alle News-Server, einige News-Server haben inzwischen so gewaltige Speicherkapazitäten, dass sie für Textnachrichten eine "ewige" Retention anbieten, also ältere Nachrichten nicht mehr löschen.

 

Warum werden ältere Beiträge im Usenet wieder gelöscht?

Die Löschung von Binärdateien nach überschreiten der Retention wird jedem schnell einleuchten, der sich den täglichen Uploadtraffic des Usenet vor Augen hält. In das Usenet werden bereits seit Anfang des Jahres täglich im Durchschnitt mehr als fünf Terabyte neue Beiträge in Form von mehr als 12 Millionen neuer Message IDs hochgeladen. Bei einer Speicherungszeit, wie sie noch vor zwei Jahren als das Maximum erschien, nämlich 100 Tagen, muss der News-Server bereits mehr als 500 Terabyte (das sind 500 x 1000, also 500.000 GB) speichern können. Je mehr die Retention ausgebaut wird bei gleichzeitig wachsendem Traffic, umso größer müssen die Speicherkapazitäten des News-Servers sein. Bei der inzwischen von einigen Usenet Providern erreichten Retention von um die 400 Tagen bedeutet das eine Speicherkapazität von fünf Terabyte täglicher Upload mal 400 Tage Retention, also 2000 Terabyte oder in Gigabyte ausgedrückt, 2.000.000 GB.

 

Ist das Usenet inzwischen veraltet?

Ebenso könnte ich fragen, ob das E-Mail-Protokoll inzwischen veraltet ist. Oder ob HTML und sein zu Grunde liegendes Protokoll, das HTTP inzwischen veraltet sind.

Alle drei Protokolle können nur Zeichen aus der ASCII Zeichenkette verarbeiten und benutzen ein 7 Bit Protokoll.

 

Das Web wurde Grafik fähig, weil durch Verlinkung (das Image Tag) Grafiken in eine Webseite eingebunden werden können. Es wurde multimediafähig, weil durch Java Skript auch Multimediainhalte in eine Webseite eingebunden werden können.

 

Das E-Mail-Protokoll ebenso wie das Usenet können Grafiken und andere Binärdateien nicht direkt darstellen. Binärdateien bestehen aus einer 8 Bit Zeichenkette, Textdateien kommen mit 7 Bit aus. Wer seine E-Mails als reine Textdateien versendet, weiß auch, dass sämtliche Binärdateien, insbesondere eben auch Grafiken, einer E-Mail lediglich als Attachment angefügt werden können. Oder man weicht auf die HTML E-Mail aus, in der Grafiken als Link eingebunden werden. Dann muss jedoch die Grafik selbst auch auf einem Webserver zum Abruf bereit liegen.

 

Doch anders als beim HTTP beziehungsweise bei einer E-Mail können im Usenet natürlich Binärdateien nicht durch eine externe Verlinkung oder durch einen binären Anhang zugänglich gemacht werden. Stattdessen müssen die Binärdateien selbst als 7 Bit Datei vor dem eigentlichen Upload auf dem News-Server vom Upload Programm in einem gebräuchlichen Protokoll, zum Beispiel YEnc codiert werden und nach dem Download durch den News Reader wieder decodiert werden.

Dadurch wird eine Binärdatei auch geringfügig größer als ursprünglich, die Codierung fordert ihren Preis in längeren Zeichenketten.

 

Modernere Technologien arbeiten von vornherein mit einem 8 Bit Protokoll und haben deshalb keine Kodierungsschwierigkeiten mehr mit Binärdateien. Doch außer dem kodieren und dekodieren und der dadurch geringfügig anwachsenden Dateigröße spricht nach wie vor nichts gegen das Usenet.

 

Von den Befürwortern neuerer Technologien als Alternative zum Usenet wird auch noch ins Feld geführt, dass jede größere Binärdatei im Usenet in zahllose kleine Häppchen zerlegt werden muss, die die Administration des Newsservers wie auch den Download etwas verkomplizieren. Denn zulässig sind nur maximal 3000 Zeilen à 124 Zeichen pro einzelner Message ID. Doch dieses Problem wird längst von modernen Newsreadern sowohl für den Download wie auch für den Upload gemeistert. Der einzige Nachteil besteht in einer ziemlich umfangreichen Datenbank sowohl auf dem Headerserver als auch im Newsreader. Ein Nachteil würde sich auch ergeben, wenn ein Newsreader nur eine einzige gleichzeitige Verbindung zum News-Server hätte. Denn in diesem Fall würde sich das Schließen einer Verbindung nach dem Download eines Dateiteils und die Anforderung des nächsten Dateiteils mit seiner eigenen Message ID bremsend bemerkbar machen.

 

Doch trotz dieser scheinbaren Nachteile zeigt das Usenet deutlich, dass es selbst mit riesigen Dateien, wie zum Beispiel hoch auflösenden Videos, deren Dateigröße oft 50 GB deutlich übersteigt, problemlos umgehen kann. Es gibt derzeit keine bereits genügend weit verbreitete Technologie, die dem Usenet Paroli bieten könnte. Auch für so riesige Dateien gilt bei den meisten Angeboten von kommerziellen Usenet Anbietern die Internet Verbindungsgeschwindigkeit als einzige Grenze für das Tempo eines Downloads. Das trifft selbst für tempolimitierte Flatrate Tarife zu, wenn man sich den Tarif passend zu seiner Internet Verbindungsgeschwindigkeit aussucht.