Es gibt immer mal wieder Kritik daran, dass man mit seinem Fediverse Account keine Suche über alle Instanzen im Fediverse starten kann.

Diese Kritik möchte ich aufgreifen und hier mit euch zusammen ein Konzept für eine Fediverse-Suchmaschine zu erarbeiten.

Problemstellung
Das Fediverse ist eine dezentrale Struktur, von Plattformen und deren Instanzen, die über das technische Protokoll ActivityPub kommunizieren. Dabei ist es systembedingt so, dass eine Instanz immer nur dann eine Verbindung mit einer anderen Instanz aufbaut, wenn durch die User Interaktionen zwischen den Instanzen ausgelöst werden. Die meisten Instanzen haben also nur Verbindungen zu einer Teilmenge aller Instanzen. Zusätzlich speichert jede Instanz, nur die Kommunikation, die direkt mit ihr stattfindet, also wiederum auch nur eine Teilmenge dessen, was an Inhalten bei den Instanzen steht, mit denen sie verbunden ist. Die Suche einer Instanz liefert deshalb immer nur eine kleine Teilmenge der Inhalte, die im Fediverse veröffentlicht werden.

Lösungsvorschlag
Es wird ein großer Server aufgesetzt, der die Möglichkeiten von ActivityPub und den anderen Fediverse Protokollen voll ausreizt. Dieser Server scannt ständig nach neuen Instanzen im Fediverse und stellt dann von sich aus, selbstständig eine Verbindung zu neu gefundenen Instanzen her. Dann liest er alle verfügbaren öffentlichen Inhalte dieser Instanz aus und speichert diese Daten lokal in einer Datenbank, die mit umfassenden Indizes versehen wird. An diesen Server können dann alle Instanzen im Fediverse eine Suchabfrage abschicken und so ihre User mit einer vollständigen Suchfunktion versorgen.

Offene Punkte

  • Nicht öffentliche Inhalte kann so ein Server nicht durchsuchen.
  • Der Server müsste eigentlich Nachrichten, die auf den Instanzen gelöscht wurden, auch löschen, wie kann das sichergestellt werden?
  • Der Server würde sehr viel Plattenplatz und CPU Leistung für seinen großen Index und die Suchanfragen darauf benötigen, wie soll das finanziert werden?
  • 0xCAFe
    link
    fedilink
    41 year ago

    Dem kann ich ehrlich gesagt nicht viel abgewinnen, weil es wieder eine zentralisierte Komponente einführt. Zudem will ich gar nicht, dass meine Inhalte weit ausserhalb meiner Bubble aufgefunden werden können.

    Es ist ein schwieriges Problem. Denn auch trotz meinen Bedenken sehe ich ein, dass das Fediverse bessere Discovery-Mechanismen braucht.

    Ich würde da aber immer noch einen föderierten Ansatz bevorzugen. Ich habe nicht länger darüber nachgedacht, ich meine aber sowas in der Art von:

    • Benutzer können ihr Profil per Opt-in der FediSearch zur Verfügung stellen. Tun sie das, erstellt ihr Home-Server einen Index aller öffentlichen Posts des Users.
    • Dieser Index wird nun periodisch mit allen Home-Servern die mit dem User verbunden sind, geteilt. Ich würde da Mutuals vorschlagen, das Resultat wäre aber wohl für viele User verwirrend. Deshalb könnte man auch einfach alle Followers nehmen.
    • Suche ich was, kann mein Home-Server alle lokalen und mit meinem Account geteilten Indizes durchsuchen.
    • Um die Reichweite massiv zu erhöhen, können die Indizes auch mit Followern zweiter Ordnung geteilt werden, also allen Followern von allen Followern (natürlich pro Home-Server nur einmal).
    • @dreiwert@szmer.info
      link
      fedilink
      21 year ago

      Finde ich nachvollziehbar, allerdings wie willst Du verhindern, dass Deine Inhalte weit ausserhalb Deiner Bubble aufzufinden sind?

      Mit der naechstbesten SearX-Instanz finde ich auch Inhalte auf Mastodon-Servern, die die Volltextsuche abgeschaltet haben. Insofern koennte man argumentieren, dass diese letztlich eher ihre eigenen Nutzer gaengeln als die Inhalte tatsaechlich vorm Auffinden zu schuetzen.

      Eine Instanz, die Suchen selbst bereitstellt, haette zumindest Einfluss auf deren Ausgestaltung.

      • 0xCAFe
        link
        fedilink
        41 year ago

        Ich will es nicht um jeden Preis verhindern, bzw. wenn ich wollte, würde ich einfach keine public Posts veröffentlichen. Ich will keine zentrale Instanz im Fediverse einführen.

        Ich hab nichts dagegen, wenn jemand eine Fedi-Suchmachine baut. Das alle Instanzen von sich aus an einen zentralen Server reporten, dass finde ich doof.

        • @dreiwert@szmer.info
          link
          fedilink
          21 year ago

          Einen zentralen Server fuer den Zweck finde ich auch problematisch, glaube aber, dass genau das faktisch passieren wuerde, wenn man sich um das Suchen einfach gar nicht kuemmert (macht dann eben irgendein fediverse-externer Akteur ueber Crawling der Web-Schnittstelle).

          Wenn man andererseits innerhalb des Fediverse fuer bessere Suchbarkeit sorgen will, dann wuerden es Effizienzgesichtspunkte gebieten, dass man sowas wie “Hub-Nodes” hat, die fuer mehrere Instanzen das Indexing/Retrieval machen. Jedenfalls legt das die Evolution bisheriger Peer-To-Peer-Netze nahe.

          • 0xCAFe
            link
            fedilink
            21 year ago

            Das seh ich schon eher. Wird aber kompliziert. Opt-in, opt-out? Vielleicht können Server-Admins ein Default setzen, welches von Usern überschrieben werden kann.

            Da muss man einfach sorgfältig darauf achten, eine gewisse Balance zu erreichen. Nicht zu wenige, aber auch nicht zu viele Hubs.

            Persönlich habe ich die Search Engine Indexierung bei meinem Mastodon-Profil ausgeschaltet.

            • @dreiwert@szmer.info
              link
              fedilink
              11 year ago

              Genau. Und welche Knoten sollen ueberhaupt Hubs sein. Einerseits wuerde ich intuitiv sagen, dass Mastodon noch nicht so weit ist, um solches Aushandeln natuerlich abzubilden. Andererseits ist es vielleicht hoechste Eisenbahn, sich mit solchen Fragen auseinanderzusetzen. Dass mit DeepL ein originaer zentralisierter Dienst einen prominenten Platz in Mastodon erhalten hat, habe ich jedenfalls als Weckruf verstanden, dass man sich ueber die Zukunft der dezentralen Natur Gedanken machen sollte.

              • 0xCAFe
                link
                fedilink
                21 year ago

                Ja, das mit Deepl passt mir eigentlich auch nicht (zudem finde ich den Translate-Button nervig). Ich denke, mittel-/längerfristig werde ich nicht bei Mastodon bleiben.

                Und diese Fragen müssen unbedingt durchdacht und diskutiert werden. Es werden sich auch nicht alle einig sein und das stellt definitiv eine Belalstungsprobe für das Fediverse dar.

    • Asiaticus
      link
      fedilink
      2
      edit-2
      1 year ago

      Meine Meinung deckt sich da vollständig mit Deiner. Die Stärke des Fediversums ist gerade sein dezentraler Aufbau. Was meinst Du, warum es in China gerade so gut angenommen wird? Ich weiß ein Lied davon zu singen, wie oft es mir passierte, daß tolle Apps von heute auf morgen nicht mehr funktionierten. Wire Messenger –bumm, weg! Tutanota Mail –bumm, weg! So ging das in einem fort.

      Als dann Jabber aufkam, hatte ich endlich die Möglichkeit, unabgehört und ungebrochen mit meinen Freunden in Deutschland zu kommunizieren.

      Deshalb: da wieder Zentralisierung hineinzubringen … nee, laß man!

      • Helix 🧬
        link
        fedilink
        11 year ago

        Was meinst Du, warum es in China gerade so gut angenommen wird?

        Hast du eine Quelle dazu?

        • Asiaticus
          link
          fedilink
          21 year ago

          Die Android-App Tooot kommt aus China, wenn man sich in den chinesischen Räumen umtut, da ist zurzeit die Hölle los, es gibt Hilfen, wie man seine Kontakte von Weibo → Fediverse übernehmen kann.

          • Helix 🧬
            link
            fedilink
            11 year ago

            1000 aktive Leute in einem Chat können schon “die Hölle los” sein, aber Chinas Population ist etwas größer als das.

    • Don di DislessiaOPM
      link
      fedilink
      11 year ago

      Das was Du nicht willst, macht Google doch schon immer. Alle öffentlichen Post des Fediverse liegen schon lange bei denen im lokalen Index. Oder findest Du nur ganz allgemein die Idee einer zentralen Funktion nicht gut und willst diese Funktion deshalb auf möglichst alle Server verteilen? Das würde dann aber natürlich auch höhere Resurcen bei jeder einzelne Instanz erzeugen, was ich für meine kleine Instanz zum Beispiel direkt als Admin deaktivieren würden.

      • 0xCAFe
        link
        fedilink
        11 year ago

        Ich mag auch Google nicht.

        Um deine Frage zu beantworten: ich finde allgemein die Idee einer zentralen Komponente im Fediverse nicht gut.

        Und ich seh das als Stärke, wenn du als Admin die Suchfunktion für deine kleine Instanz abschalten kannst. Aber auch ein zentralisierter Ansatz wird viel Ressourcen benötien, um alle Instanzen ständig nach Updates zu fragen, nicht?