Wie man DevOps messbar macht: Teil 1

Wie man DevOps messbar macht: Teil 1

Ein Gastbeitrag von Sacha Labourey, CEO, CloudBees und Nigel Willie, DevOps-Experte

DevOps verspricht Agilität. Nicht nur für IT-Abteilungen, sondern für das gesamte Unternehmen, das entsprechende Prozesse einsetzt. Der Erfolg von DevOps kann jedoch nur beurteilt werden, wenn er sich messen lässt. CloudBees, einer der Experten für DevOps im Unternehmenseinsatz, diskutiert für Trend Report die Kennzahlen, die für DevOps sinnvoll sind – aber keineswegs nur dafür, sondern für die IT-Performance im Allgemeinen.

IT-Abteilungen werden häufig als reine Kostenfaktoren im Unternehmen wahrgenommen, deren Leistung sich nicht messen lässt. Doch das ist schlicht falsch. Die Unternehmens-IT leistet einen sehr wichtigen Beitrag, um Unternehmen erfolgreich zu machen. Und deren Leistung ist durchaus messbar. Dafür sind zunächst vier Kennzahlen von allgemeiner Bedeutung: die Projektdauer für Änderungen an der IT, die Häufigkeit erforderlicher Freigaben, die nötige Zeit für die Wiederherstellung eines Dienstes sowie der Anteil missglückter Umsetzungen von IT-Projekten. Diese vier Faktoren unterstützen das Management dabei, die Performance ihrer IT-Abteilung(en) zu bewerten.

Doch je größer das Unternehmen, umso komplexer und vielzähliger werden unter Umständen diese Indizes. Denn eine größere Zahl an Abteilungen wird möglicherweise zusätzliche oder andere Kennzahlen fordern. Beispielsweise könnte die Geschwindigkeit der Umsetzung neuer IT-Projekte wichtig werden, die Auswirkungen von Änderungen in der IT, die Gesamtkosten eines Projektes, die damit verbundenen Einsparungen und viele weitere Faktoren. Die wichtigsten Kennzahlen sind dabei diejenigen, mit denen sich Ergebnisse messen lassen. Nicht vergessen werden darf, dass es auch eine Reihe untergeordneter Kennzahlen gibt, die diese Ergebnisse beeinflussen.

Definition von Richtlinien

Um die richtigen Kennzahlen zu betrachten, müssten zunächst passende Richtlinien definiert werden. Es soll nicht darum gehen, einen umfassenden Satz von untergeordneten Kennzahlen zu definieren, da viele von ihnen spezifisch für einzelne Umstände oder Unternehmen sind. Vielmehr dienen die folgenden Richtlinien als Hilfe für Unternehmen, wie sie aussagekräftige Kennzahlen über die Leistung ihrer IT-Abteilungen erhalten.

An erster Stelle sollten nur solche Kennzahlen erhoben werden, aus denen sich tatsächlich Handlungsanweisungen für die Beteiligten ableiten lassen. Ist das nicht der Fall, ist die Erhebung für das Unternehmen schlicht überflüssig.

---

Hier geht es direkt zum Teil zwei, der organisatorische Aspekte verdeutlicht

---

Ein zweiter, nicht minder wichtiger Aspekt liegt auf dem Nutzen, den diese Kennzahl für das Unternehmen quantifiziert. Der Nutzen für das Unternehmen steht im Fokus, nicht der Aufwand für die IT-Abteilung. Im Bereich DevOps geht es darum, einen positiven Beitrag zum Geschäftsergebnis zu liefern. Das ist die grundlegende Existenzberechtigung von DevOps. Aber auch in der IT generell gilt: Kennzahlen sind nur dann sinnvoll, wenn sie die Geschäftstätigkeit unterstützen und die Produktivität verbessern. Außerdem sollten verständliche Kennzahlen erhoben werden – die Metriken selbst sind kein Selbstzweck.

Rollenbasierter Ansatz

Zudem müssen diese Indizes in der Regel rollenbasiert sein, etwa der Beitrag zum Geschäftsergebnis für den Vertrieb. Programm-Leads brauchen andere Kennzahlen für die Umsetzung ihrer Programmatiken oder IT-Experten entsprechend technikbezogene Metriken. Die Kennzahlen müssen die Bedürfnisse der jeweiligen Zielgruppe adressieren, statt sie damit zu überfluten. Sinnvoll ist, am Anfang alle Informationen zu sammeln, aus denen sich die entsprechenden Mitarbeiter dann die passenden Daten für ihr persönliches Dashboard zusammenstellen können.

Wichtig ist außerdem, dass die Erfassung der Metriken automatisiert abläuft. Die manuelle Erfassung von Kennzahlen ist zeitaufwändig und steht im Widerspruch zum Ansatz der Grundidee von DevOps, der automatisierten Bereitstellung von Anwendungen. Denn es ist offensichtlich, dass Informationen niemals manuell in Echtzeit abgerufen werden können, so dass sich hier stets eine Post-Mortem- anstelle einer proaktiven technischen Betrachtung ergäbe.

Visualisierte Kennzahlen

Für die Visualisierung der Kennzahlen ist es wichtig, diese auf einem einheitlichen Dashboard zu präsentieren, da Nutzer meist nicht proaktiv nach ihnen suchen werden. Dieses einheitliche Dashboard kann je nach Anwender personalisiert werden, so dass jeder in der Lage ist, alle gewünschten Kennzahlen an einem Ort zu finden.

Für die Kennzahlen selbst gilt: Rohzahlen sind besser als Verhältnis-Kennzahlen – mit Ausnahme der Ausfallrate bei Veränderungen, die schon per Definition eine Relation ist. Besonders gilt dies für Metriken, die sich an Techniker richten. Diese Regel fördert zum einen die ganzheitliche Anwendung dieser Kennzahlen durch die technischen Spezialisten im Team. Zum anderen senkt sie das Risiko, dass der entsprechende Index auf Teamebene verwendet wird, um die Leistung zwischen Teams zu vergleichen – ohne das für diesen Kontext dringend benötigte Verständnis. Ein Beispiel: In den meisten großen Unternehmen wird jährlich über Gehalt und Boni verhandelt. Oftmals nutzt die Unternehmensleitung Verhältnis-Kennzahlen, um die Leistung von Team zu bewerten. Doch 90 Prozent dieser Kennzahlen auf einer vergleichenden Ebene sind bedeutungslos. Durch die Verwendung von Rohzahlen, die das Team selbst einsetzen kann, um seine Leistung zu steuern, kann das Unternehmen hier klare Soll- mit genauso klaren Ist-Zahlen wunderbar vergleichen. Das Risiko, dass Zahlen aus dem Zusammenhang gerissen und für einen bedeutungslosen Vergleich verwendet werden, sinkt dramatisch.

Individuelle Metriken

Jeder Anwendungsfall erfordert seine passende Metrik – manchmal ist es Geschwindigkeit, manchmal Stabilität und Verfügbarkeit. Dieses Prinzip gilt für denjenigen, der aus den Kennzahlen Schlüsse ziehen muss und weniger für den, der die Quelle dieser Daten darstellt. Dieser Faktor darf nicht unterschätzt werden. Denn der primäre Erfolgsindikator ist nicht zwangsläufig für jedes Produkt derselbe.
Insgesamt sind jedoch nicht nur die Kennzahlen wichtig, die bei der Bewertung der IT-Performance von Bedeutung sind. Auch der Erfolg des gesamten Teams spielt eine Rolle. Gerade im Fall von DevOps bedeutet die Förderung einer Kultur der Zusammenarbeit und des Teamworks, gemeinsam Erfolge zu erzielen. So sollte der Fokus entsprechend auf der Anerkennung von Teams und nicht von Einzelpersonen liegen.

Teams zu vergleichen ist jedoch wenig sinnvoll. Wenn verschiedene Teams unterschiedliche Primärkennzahlen haben, hat folglich auch jedes Team unterschiedliche Ziele. Vielmehr sollten die Produktteams, Geschäftseinheiten und andere Entscheider die unterschiedlichen Trends in ihren Teams vergleichen.

Die richtigen Schlüsse ziehen

Auch wenn der direkte Vergleich von Teams in der Regel unpassend ist, dürfen jedoch abweichende Werte in den Kennzahlen keinesfalls ignoriert werden. Kommt es zu Abweichungen so ist der Frage nachzugehen, warum bestimmte Teams entweder deutlich über oder unter den Werten ähnlicher Gruppen liegen. Dies kann oft wichtige Erkenntnisse liefern, die für andere Teams einen Mehrwert darstellen.

Bei der Betrachtung von Prozessen in der IT ist zu beachten, dass die gesamte Messung sich auf den Zeitraum der Nutzung bezieht – beispielsweise „neue Software in Produktion“ und nicht auf den Zeitpunkt der Fertigstellung dieser Software. Das ist dabei der Grundsatz aller Arbeit – es reicht nicht, etwas fertigzustellen, es muss im produktiven Einsatz sein. So liegt erfahrungsgemäß das Augenmerk der ersten Phasen von Projekten aber genau darauf, die Zeit zur Serienreife zu verkürzen. Noch wichtiger ist aber das Messen der Zeit, bis neue Software produktiv genutzt wird.

Abschließend noch ein zusätzlicher Hinweis: Sekundäre Kennzahlen können für mehr Klarheit sorgen, denn die positive Entwicklung eines Index kann unter Umständen negative Auswirkungen auf einen anderen Wert haben. So könnte sich eine Fokussierung auf die Time-to-Market-Metriken negativ auf die Qualität auswirken, weshalb die Schlüsselkennzahlen der IT-Performance beides enthalten. Die Indizes sollten somit stets darauf überprüft werden, ob ihre Verbesserung möglicherweise negative Auswirkungen in anderen Bereichen nach sich zieht. Dazu sollten Trends in diesem entsprechenden Bereich analysiert werden. Diese Beobachtung sollte auch dann erfolgen, wenn sich ein Unternehmen dafür entschieden hat, mit diesen negativen Konsequenzen zu leben.

Weitere Informationen unter:
www.cloudbees.com

Über die Autoren

Sacha Labourey (li.) ist Gründer und CEO des DevOps-Spezialisten CloudBees. Zusammen mit Nigel Willie (re.), DevOps-Experte bei CloudBees, diskutiert er eine Frage, die viele Unternehmen beschäftigt: Wie kann man den Erfolg von DevOps messen?