Analyse der Elastic Workplace Search-Nutzung in einem Kibana-Dashboard – Teil 2

Im ersten Teil dieses Blogposts, der sich auf die Version 7.10 von Elastic Workplace Search bezog, sind wir auf einige der neuen Analytics-Logging-Funktionen eingegangen und haben Ihnen einige mögliche Analyseszenarios vorgestellt. In Version Version 7.11 haben wir Analytics-Felder eingeführt, die neue Möglichkeiten für das Erkunden von Abfrage- und Klickdaten mit hilfreichen Dashboards und Visualisierungen eröffnen.

Wir haben die Ausgabe von Logdaten zu Analytics-Ereignissen so strukturiert, dass sie eine größtmögliche Flexibilität gestatten. Genau so, wie wir eigene Ideen dazu haben, welche Arten von Analysedaten wir für unsere Verwendung von Workplace Search sehen möchten, möchten wir auch Sie in die Lage versetzen, Metriken so aufzuarbeiten, wie Sie es für nötig erachten. Es ist daher ganz in unserem Sinn, wenn Sie die Daten selbst erkunden. In diesem Post werden wir aber einige konkrete Anwendungsfälle und Beispiele dafür vorstellen, was Sie jetzt mit den zusätzlichen Datenpunkten machen können.

Was gibts Neues?

In Version 7.11 haben wir eine Reihe neuer Felder für die Analyse hinzugefügt: 

• Abfrageverfeinerungen
• Abfragefilter
• Abfrage-Hash-Wert
• Dokumenttypen (Abfrage und Klick)
• Abfrage-Feedback-Ereignisse

Im ersten Teil dieses Blogposts haben wir Ihnen gezeigt, wie Sie mit Kibana Lens schnell verschiedene Visualisierungen bewerkstelligen können. In diesem Teil gehen wir noch einen Schritt weiter und beschäftigen uns damit, wie sich aufbauend auf diesen neuen Feldern noch ein paar weitere, anspruchsvollere Visualisierungen erstellen lassen.

Auch hier gilt: Die rohen Analytics-Ereignisdaten können mit dem Indexmuster .ent-search-workplace-search-analytics-ecs-ilm-logs-* gefunden werden. Für ein paar komplexere Abfragen werden wir einen Elasticsearch-Transformationsindex verwenden, um für verschiedene Felder Vorabaggregationen vorzunehmen. Für das Dashboard und die Metriken, die wir unten definiert haben, haben wir eine Transformation erstellt (den Source-Gist gibt es hier), die für jede Abfragesitzung die folgenden Metriken aggregiert:

• eventuelle Abfrageverfeinerungen und deren Zahl
• eventuelle Abfragefilter und deren Zahl
• Gesamtzahl der Klicks in der Abfragesitzung
• Zeitstempel für Start- und Endzeit der Abfragesitzung
• Zeit vom Start der Abfragesitzung bis zum ersten Klick auf Ergebnisse (in Sekunden)

Beim Erstellen und Verwenden von Transformationen gilt es, einige Nachteile zu beachten. Geskriptete Aggregationen Ihrer Daten können in Kombination mit Kibana-Visualisierungen ziemlich ressourcenintensiv sein. Der Grund dafür ist, dass zum Erstellen und Pflegen der Transformationen zusätzliche Rechen- und Speicherressourcen zugewiesen werden. Beim Definieren der Metriken, die Sie für Ihre Nutzung von Workplace Search analysieren möchten, sollten Sie wissen, was am Ende herauskommen soll, und selbst entscheiden, welche und wie viele Transformationen für das Erkunden Ihrer Daten verwendet werden sollen.

Erstellen von Visualisierungen für ein Analyse-Dashboard

Zur Veranschaulichung einiger der neuen Analysen und Metriken, die wir aus den protokollierten Feldern ziehen können, können wir ein Kibana-Dashboard erstellen, das die meisten der durch das Update neu verfügbaren Analytics zeigt:

• Durchschnittliche Klickposition und mittlerer reziproker Rang: der durchschnittliche Rang der Position in den Ergebnissen, auf die geklickt wurde, und als Gegenstück der mittlere reziproke Rang
• Durchschnittliche Dauer zwischen Abfrage und erstem Klick in Sekunden: die Zeit, die zwischen dem Absenden der Abfrage und dem ersten Klick des Nutzers auf ein Ergebnis vergangen ist
• Top-Trigger-Erfolgsrate: die Top-Abfragen, die Trigger produziert haben, definiert durch die Zahl der Klicks
• Top-Klicks nach Dokumenttyp: die Top-Dokumenttypen, auf die geklickt wurde
• Top-Klicks nach Inhaltsquelle: die Top-Inhaltsquellen aus Dokumenten, auf die geklickt wurde
• Meistgeklickte Dokumente nach Inhaltsquelle: die Dokumente, die die meisten Klicks hatten, nach Inhaltsquelle
• Top-Anfragen ohne Klicks: die häufigsten Abfragen, bei denen der Nutzer auf keines der Ergebnisse geklickt hat Diese Analyse hilft herauszufinden, wonach Nutzer suchen, ohne relevante Ergebnisse zu finden. Sie können dann die Abfrageergebnisse entsprechend anpassen oder zusätzliche Inhalte erstellen, um die Lücke zu schließen.

Wir zeigen Ihnen unten, wie Sie im Einzelnen vorgehen müssen. Sollten Sie allerdings eine Starthilfe für die Neuerstellung dieses Dashboards benötigen, können Sie diesen Gist herunterladen und in Kibana importieren.

Durchschnittliche Klickposition und mittlerer reziproker Rang

So erstellen Sie die Metrikansicht in Kibana für die durchschnittliche Klickposition:

• Wählen Sie mit Lens das oben genannte Indexmuster und einen Diagrammtyp mit horizontalen Balken aus.
• Legen Sie als Metrik für die Visualisierung das Feld SearchMetrics.click.result.rank fest.

So erstellen Sie die Metrikvisualisierung für den mittleren reziproken Rang:

• Erstellen Sie mit dem Analytics-Indexmuster eine neue Lens-Metrikvisualisierung.
• Legen Sie als Metrik für die Visualisierung das Feld SearchMetrics.click.result.rank fest.

Durchschnittliche Dauer zwischen Abfrage und erstem Klick in Sekunden

• Erstellen Sie mit der Transformation, die wir oben definiert haben, eine neue Lens-Metrikvisualisierung.
• Legen Sie als Metrik für die Visualisierung das Feld time_to_first_click fest.

Top-Trigger-Erfolgsrate

• Wählen Sie mithilfe von Lens das Transformationsindexmuster und einen Diagrammtyp mit horizontalen Balken aus.
• Legen Sie für das Feld query_refinement_count für den „between“-Filter für „from“ „1“ fest (und lassen Sie das Feld „to“ leer).
• Legen Sie als Feld für die Visualisierung das Feld query_value.keyword fest.

Top-Klicks nach Inhaltsquelle

• Wählen Sie mit Lens das oben genannte Indexmuster und einen Diagrammtyp mit horizontalen Balken aus.
• Ziehen Sie das Feld SearchMetrics.click.result.content_source in den Diagrammbereich.

Top-Klicks nach Dokumenttyp

• Wählen Sie mit Lens das oben genannte Indexmuster und einen Diagrammtyp mit horizontalen Balken aus.
• Ziehen Sie das Feld SearchMetrics.click.result.content_source in den Diagrammbereich.

Meistgeklickte Dokumente nach Inhaltsquelle

• Wählen Sie mit Lens das allgemeine Indexmuster oben und einen Diagrammtyp mit horizontalen gestapelten Balken aus.
• Ziehen Sie das Feld SearchMetrics.click.result.content_source in den Diagrammbereich.
• Ziehen Sie zusätzlich zum Inhaltsquellen-Feld das Feld SearchMetrics.click.result.id in den Diagrammbereich.

Top-Anfragen ohne Klicks

Für die Visualisierung dieser Metrik im Dashboard oben kommt ein Vega-Skript auf der Basis einer angepassten geskripteten Metrikenaggregation zum Einsatz, die es Analysten erlaubt, die Daten in beliebigen Zeitintervallen aufzubereiten, was derzeit in Lens- oder standardisierten Kibana-Visualisierungen, die auf vordefinierten Aggregationstypen basieren, nicht möglich ist. Um die Häufigkeit von Abfragen über den vorgegebenen Zeitbereich zu aggregieren, bei denen es keine zugehörigen Klicks gibt, nutzt die Abfrage eine Skriptmetrik. Anschließend können wir problemlos die Abfragezahlen für die Top‑5-Abfragen grafisch darstellen. Wie oben schon angeklungen ist, ist das Schöne an der Nutzung einer Vega-Visualisierung in diesem Fall, dass wir so auch den globalen Kibana-Zeitstempelbereich als Parameter für die Ergebnisfilterung definieren können.

Das Skript selbst ist zwar nicht sehr komplex, aber für diesen Blogpost dann doch etwas zu groß. Wenn Sie Interesse daran haben, finden Sie hier einen entsprechenden Gist. 

Andere Metriken und Visualisierungen

Für komplexere, aber umso hilfreichere Analytics-Aufgaben können wir zusätzliche Transformationen erstellen. Oder wir können in Kibana ein Canvas-Workpad erstellen, indem wir mit Elasticsearch SQL Daten zu den Indizes und Transformationen abrufen, die wir mit unseren Quelldaten erstellt haben. Wie wir oben beim Diagramm „Top-Abfragen ohne Klicks“ gesehen haben, können diese manuellen Abfragen auch in Vega-Skripts umgewandelt werden, falls Sie sie Ihrem Dashboard hinzufügen müssen.

Unten haben wir ein paar Beispiele für andere interessante Metriken zusammengestellt, die die mit diesem Update verfügbaren neuen Felder nutzen.

Monatliches Interaktionsvolumen

Grundlage für diese Metrik ist das Verhältnis von Klickzahl zur Abfragezahl. Daran lässt sich erkennen, ob die Suchergebnisse für den Nutzer relevant oder zumindest interessant sind. Je höher das Verhältnis von Klicks zu Abfragen ist, desto stärker können wir davon ausgehen, dass die Ergebnisse für die Nutzer, die die Abfragen eingegeben haben, interessant sind.

Diese Metrik beruht auf einem Datumshistogramm und einem Bucket-Skript wie in diesem Gist gezeigt. Sie können diese Abfrage in Ihre Vega-Visualisierung einbauen, um ein Liniendiagramm zu erhalten, das die Interaktion über einen bestimmten Zeitraum (Monat, Woche, frei festlegbarer Zeitraum) zeigt.

Nutzerbindung über einen Zeitraum von n Tagen

Wir können unsere neuen aufgezeichneten Analytics-Ereignisse nutzen, um herauszufinden, wie viele Leute unseren Workspace pro Woche (oder Tag oder Monat) nutzen. Zur grundlegenden Berechnung der Nutzerbindung zählen wir die Zahl eindeutiger Nutzer am Ende des Zeitraums und teilen sie durch die Zahl eindeutiger Nutzer am Anfang des Zeitraums.

Mithilfe der „date_histogram“- und der „moving_fn“-Aggregation können wir eine entsprechende Aggregation erstellen, wie in diesem Gist gezeigt. Auch dies können wir unter Verwendung von Vega in eine Visualisierung verwandeln, die uns anhand eines Liniendiagramms zeigt, wie gut unsere Suche-Instanz in der Lage ist, Nutzer zur Interaktion zu bewegen und sie zu binden.

Fazit

Die von Workplace Search erfassten Analytics-Daten geben Ihnen und Ihren Analysten aufschlussreiche Informationen an die Hand, wie sich Ihre Workplace Search-Instanzen so anpassen lassen, dass sie den Bedürfnissen Ihrer Nutzer gerecht werden. In diesem Blogpost wird zwar auf eine Reihe hilfreicher Anwendungsfälle eingegangen, aber letztlich wissen die Analysten selbst am besten, was sie für ihre Arbeit benötigen. Wir hoffen, dass Ihnen die Tools, die wir Ihnen bereitgestellt haben, dabei helfen zu erreichen, was Sie erreichen möchten.

Das hier Besprochene deckt nur einen Teil der Neuerungen im Bereich der Workplace Search-Analytics ab – es gibt noch Etliches mehr zu entdecken. Wir möchten Sie ermutigen, sich auf Entdeckungstour zu begeben, zu experimentieren und uns Feedback dazu zu geben, was Sie in künftigen Versionen von Workplace Search gern sehen würden.

Workplace Search bietet ein einheitliches Sucherlebnis für die Arbeitsplatz-Tools Ihres Unternehmens, wie etwa Slack, GitHub, Google Drive, Salesforce und mehr. Und ein Großteil der Schlüsselfunktionen in Workplace Search wird kostenlos bereitgestellt. Nutzen Sie unser Angebot, Elastic Workplace Search in der Elastic Cloud kostenlos auszuprobieren, um Ihrem Team ein schnelles und unternehmensweites Sucherlebnis zur Verfügung zu stellen.