Seit 30 Jahren basiert das World Wide Web auf einem erstaunlich tiefgreifenden Gesellschaftsvertrag: Die meisten Seiten sind für Suchmaschinen kostenlos zugänglich, aber wenn man deren Inhalte verwendet, muss man die Quelle verlinken und ihnen so die gebührende Anerkennung zollen.
In letzter Zeit hat dieser Gesellschaftsvertrag begonnen zu bröckeln. Werkzeuge der künstlichen Intelligenz (KI) durchsuchen Websites nicht, um darauf zu verlinken, sondern um Modelle zu trainieren und Antworten zu generieren (die korrekt sein können oder auch nicht).
Wenn Sie nach etwas suchen, können die Antworten von ChatGPT oder die KI-Übersichten von Google zwar noch Links zu Quellen enthalten, diese sind aber eher eine optionale Ergänzung zur eigentlichen Antwort.
Dies hat eine negative Entwicklung für Website-Betreiber, die Öffentlichkeit und sogar KI-Unternehmen selbst ausgelöst: Da Websites an Traffic (und damit Umsatz) verlieren, blockieren viele KI-gestützte Web-Scraping-Tools. Dadurch hängen KI-Ergebnisse stärker von qualitativ minderwertigen Websites ab (von denen viele ebenfalls KI-generiert sind). Infolgedessen ist es schwieriger denn je, verlässliche Informationen zu finden.
Wie wir hierher gekommen sind
In den Anfängen des World Wide Web einigten sich Suchmaschinen und Content-Ersteller auf das Crawling (die technische Untersuchung einer Website zur Indexierung, damit sie in den Suchergebnissen angezeigt werden kann). Content-Ersteller stellten ihre Websites kostenlos zur Verfügung und erlaubten Suchmaschinen sogar, kurze Textausschnitte zu reproduzieren.
Im Gegenzug stellten Suchmaschinen Links zu den Websites der Content-Ersteller bereit, die von diesem Web-Traffic profitierten. Wenn den Content-Erstellern diese Vereinbarung nicht gefiel, konnten sie mithilfe von Anweisungen in einer Datei namens robots.txt.
Wenn KI-Tools jedoch keinen Web-Traffic mehr generieren, werden Content-Ersteller vom wirtschaftlichen Erfolg ausgeschlossen. Da weitere Kosten verbunden sind, kann KI-Crawling Website-Betreiber Geld kosten, ohne ihnen die Werbeeinnahmen oder andere Einnahmen aus menschlichem Traffic zu bescheren. KI-Crawler durchsuchen Websites zudem tiefer und intensiver als herkömmliche Webcrawler, was diese Kosten noch verstärkt.
Diese Veränderung der Verkehrsmuster ist kein kleines oder hypothetisches Problem. Cloudflare, ein Webhosting- und Serviceunternehmen, das 30 % oder mehr der 10.000 meistbesuchten Websites im Internet verwaltet, schätzt, dass über die Hälfte des gesamten Webverkehrs von KI-Bots verursacht wird.
Ein Teil davon wird von KI-Agenten gesteuert, die direkt von Menschen überwacht werden, der Großteil jedoch von Webcrawlern. Website-Betreiber können mithilfe der robots.txt-Datei KI-Crawler bitten, ihre Seiten nicht zu besuchen – manche KI-Unternehmen ignorieren diese höfliche Bitte.
Sollten die KI-Unternehmen der Bitte nachkommen, könnte dies ein anderes Problem verursachen. Webseiten mit Fehlinformationen werden KI-Crawler deutlich seltener sperren, sodass die KI-Antworten nicht auf qualitativ hochwertigen Quellen basieren.
Was geschieht kurzfristig?
Am Horizont zeichnet sich ein Ereignis ab, das als „Google Zero“ bezeichnet wird – der Tag, an dem der Datenverkehr von Google auf null sinkt. Zwar klicken einige eingefleischte Google-Nutzer (wie einer der Autoren dieses Artikels) vielleicht noch auf die Ergebnisse, um KI-Antworten zu überprüfen, doch dieser Datenverkehr nimmt rapide ab – eine direkte Folge der KI-Zusammenfassungen.
Eine Studie von Wikipedia bestätigt dies: Der Traffic auf der englischsprachigen Version der Website ging nach der Einführung von KI-Zusammenfassungen bei Google in englischer Sprache rapide zurück, und dasselbe Muster zeigte sich auch in anderen Sprachen nach deren Einführung. Für Informationssuchende mag es verlockend erscheinen, nie mehr klicken zu müssen, um eine Antwort zu erhalten, doch die Realität ist komplexer.
Viele Websites blockieren KI-Crawler mittlerweile vollständig. Website-Betreiber, die sich für die Blockierung von KI-Crawlern entscheiden, werden seltener in den Antworten von KI-Übersichten verlinkt, selbst wenn das KI-Tool weiterhin auf die Inhalte zugreifen kann, um seine Antworten zu untermauern (mithilfe einer Technik namens Retrieval-Augmented Generation).
Alternative „Pay-to-Crawl“-Modelle wurden als Möglichkeit zur Vergütung von Content-Erstellern vorgeschlagen, konnten sich aber nicht durchsetzen.
Ab dem 15. Septemberwerden Cloudflare-Websites KI-Crawler standardmäßig auf Seiten blockieren, die Werbung enthalten (und somit den Content-Erstellern Geld einbringen).
Das bedeutet, dass bis zu 30 % der weltweit meistbesuchten Websites nicht mehr in den Zusammenfassungen von Google AI Overviews erscheinen werden. Es bedeutet auch, dass ein Großteil des Trainingsmaterials für KI selbst aus KI-generierten Texten bestehen wird.
Was das für Sie bedeutet
Was bedeutet das also für Ihre Informationssuche? Die Qualität von KI-Zusammenfassungen wird sich wahrscheinlich zumindest kurzfristig verschlechtern, während sich die neuen wirtschaftlichen Gegebenheiten des Internets erst noch klären müssen.
Dies wird aus zwei Gründen geschehen. Erstens werden qualitativ hochwertige Inhalte seltener in diese KI-Zusammenfassungen aufgenommen – eine aktuelle Studie ergab, dass bereits jetzt etwa jede sechste von KI-Suchwerkzeugen verwendete Quelle selbst eine KI-generierte Website ist.
Der zweite Grund ist, dass sich die Leistung von KI-Modellen verschlechtern kann, wenn sie mit immer mehr KI-Texten trainiert werden (ein Phänomen, das als Modellkollaps).
Suchmaschinen, die weniger auf KI setzen, könnten daher zuverlässiger werden. Die Herausforderung besteht darin, eine Suchmaschine zu finden, die keinen KI-basierten Crawler verwendet. Solche Suchmaschinen gibt es: ZDNet empfiehlt Mojeek, PCMag empfiehlt Brave, und Ban the Bots listet mehrere auf, darunter eine speziell für Inhalte kleinerer Anbieter wie Blogs.
Unabhängig von der verwendeten Suchmaschine ist es derzeit am besten, nach unten zu scrollen und auf einige Suchergebnisse zu klicken. Davon profitieren die Ersteller der Inhalte, und Sie erhalten mit größerer Wahrscheinlichkeit genauere Informationen.
Dana McKay, Associate Dean, Interaction, Technology and Information, RMIT University;
Damiano Spina, Senior Lecturer, School of Computing Technologies, RMIT University
Dieser Artikel wurde mit freundlicher Genehmigung von The Conversation unter einer Creative-Commons-Lizenz erneut veröffentlicht. Lesen Sie den Originalartikel.
