OpenSearch 3.0 ist da und bringt mehr Leistung und Skalierbarkeit

Knapp 3 Jahre nach Version 2.0 hat das OpenSearch-Projekt im Rahmen der Konferenz OpenSearchCon Europe eine neue Hauptversion der Such- und Analyse-Suite veröffentlicht. Damit gehen eine Reihe von Verbesserungen und auch einige neue Funktionen einher. Den Startschuss für die neue Hauptversion kommt von Apache Lucene. Die bekannte Such-Bibliothek ist eine wichtige Säule von OpenSearch und seit ein paar Monaten in Version 10 verfügbar. Allein der Sprung auf diese neue Version und auf Java 24 verbessert die Suchgeschwindigkeit, verkürzt also die Wartezeit auf Ergebnisse.

Die Netzwerkebene bleibt nicht unberührt. OpenSearch ist ein verteiltes System. Das heißt, es müssen Daten und Informationen hin- und her fließen. Dank der Verwendung von gRPC und protobuf ist Opensearch auch hier schneller geworden. Aufgrund der HTTP/2-Basis beherrscht gRPC Multiplexing und kann bidirektionale Datenströme verarbeiten, über die gleiche TCP-Verbindung also gleichzeitig senden und empfangen. Generell will sich das OpenSearch-Projekt mehr in Richtung Microservice und Cloud-native Computing orientieren. Dazu gehört auch die Weiterentwicklung des “hauseigenen” Kubernetes-Operators.

Auch im Bereich Datenspeicherung geht OpenSearch nun neue Wege. Bislang verfolgte man eher einen monolithischen Ansatz. Der Anwender speist neue Informationen als Gesamtdokument in das System ein. OpenSearch zerlegt dieses und speichert abgeleitete Informationen in den entsprechenden Subsystemen. Damit sind die Daten gewissermaßen redundant gespeichert, in Form des Gesamtdokuments und in den Subsystemen. Ersteres hält OpenSearch jetzt nicht mehr zwingend vor.

Warum? Das Gesamtdokument lässt sich aus den abgeleiteten Informationen in den Subsystemen wiederherstellen, auch Aktualisierungen sind effizienter. Nach dem Zerlegen des Ausgangsdokuments ist stets klar, welche Daten neu sind und welche nicht. Das macht die gesamte Datenverwaltung viel effizienter. Eine ausführliche Liste der Neuerungen ist auf der Webseite des Projekts dokumentiert.

Vom Fork zur Foundation

OpenSearch ging 2021 als Fork von Elasticsearch an den Start, nachdem dies seine Apache-Lizenz abgelegt hatte. Im Herbst 2024 nahm die Linux Foundation das Projekt unter ihre Fittiche. Um OpenSearch, das lange hauptsächlich bei AWS angesiedelt war, hat sich inzwischen ein breites Ökosystem gebildet. Unternehmen wie Eliatra aus Irland bieten etwa eine OpenSearch-Distribution und entsprechende Support-Verträge an, analog zu anderen Unternehmen, die Linux oder Kubernetes als eigene Distribution vertreiben.

In Kooperation mit IONOS gibt es auch DSGVO-konforme Managed-OpenSearch-Angebote. Unter dem Namen NeoNephos-Foundation hatte die Linux Foundation Europe im Frühjahr erst eine neue Organisation gegründet, die sich der Förderung von offenen Technologien und digitaler Souveränität in Europa verschrieben hat.

Kommende Events rund um OpenSearch sind die OpenSearchCon India vom 3. bis zum 4. Juni und die OpenSearchCon North America vom 8. bis zum 10. September.

(ndi)