Indicateurs DevOps pour mesurer le succès de vos processus
Donc, vous avez commencé à adopter DevOps dans votre entreprise. Mais comment savoir si cela améliore réellement vos processus ? Vous devez mesurer le succès d’une manière ou d’une autre, et cela passe par le suivi de certains indicateurs clés DevOps.
Il existe de nombreuses façons d’évaluer la qualité d’un système ou d’une application, mais dans cet article, je vais me concentrer sur les indicateurs clés qui permettent d’évaluer la qualité de vos processus. En suivant ces indicateurs, vous pouvez obtenir une meilleure compréhension de vos points forts et de vos faiblesses, améliorer vos meilleures pratiques DevOps, et utiliser les bons outils et logiciels pour une amélioration continue.
Pourquoi les indicateurs DevOps sont-ils importants ?
Comme vu précédemment, la définition d’objectifs communs et d’indicateurs peut représenter un véritable défi pour les équipes qui mettent en place DevOps dans une entreprise. Sans indicateurs DevOps, il n’y aurait ni tests, ni mesures, donc aucune amélioration du développement. Cela reviendrait à faire des itérations du même logiciel en se basant sur des intuitions et des idées, à les lancer dans l’inconnu, puis à tenter autre chose. Sans retours ni indicateurs de succès produit pour comprendre la performance, il n’y a aucune direction.
Want more from The CTO Club?
Create a free account to finish this piece and join a community of CTOs and engineering leaders sharing real-world frameworks, tools, and insights for designing, deploying, and scaling AI-driven technology.
Have an account? Log In
Par exemple, les départements financiers souhaitent maintenir les coûts aussi bas que possible, alors que les développeurs veulent maximiser les performances. Ces deux objectifs peuvent ne pas être alignés si les risques n’ont pas été évalués et si les équipes ne comprennent pas les objectifs des autres.
Tandis que vos développeurs pourraient choisir de livrer un produit incomplet et d’y revenir plus tard, le coût de cet impact engendre de la dette technique. La mise en œuvre de DevOps permet d’aligner les objectifs et stratégies des deux équipes, et vous pouvez aider vos développeurs à comprendre l’impact financier de leurs décisions techniques.
Ceci n’est qu’un petit aspect de DevOps et de l’importance des indicateurs partagés.
5 indicateurs clés DevOps (DORA)
Mettre en place DevOps et comprendre les cadres fondés sur des principes est une chose, mais ce sont les indicateurs DevOps qui permettent vraiment d’apercevoir les avantages de cette approche collaborative du cycle de vie du développement logiciel. Comme pour la plupart des stratégies d’entreprise, il existe une multitude de métriques que vous pouvez choisir de mesurer pour stimuler la croissance, en fonction de votre secteur, de votre audience et de vos objectifs.
L’équipe DevOps Research and Assessment (DORA) de Google Cloud est l’équipe de recherche la plus ancienne de ce type. Elle a initialement identifié quatre indicateurs majeurs pour mesurer la performance des équipes « élites » en DevOps. Cependant, un cinquième indicateur a depuis été ajouté, et leur analyse en cluster ne détecte désormais que trois niveaux d’équipe DevOps : élevé, moyen et faible, le niveau « élite » appartenant au passé.
1. Fréquence de déploiement (DF)
La DF mesure la fréquence à laquelle vous publiez avec succès en production. Cet indicateur concerne la régularité et constitue un excellent signe d’atteinte des objectifs.
Les équipes jadis classées « élites » mettaient régulièrement en production plusieurs fois par jour, alors que les équipes les moins performantes n’y parvenaient qu’une fois tous les six mois environ.
Améliorer la DF consiste simplement à publier plusieurs mises à jour mineures. L’avantage principal de cette approche est de mettre en évidence les obstacles, goulots d’étranglement ou projets complexes nécessitant une attention particulière. Les grandes équipes peuvent préférer déployer à intervalles réguliers grâce à la mise en place de trains de livraison Agile ; cela aide à éviter l’impression d’être submergé par un rythme élevé et un grand nombre de personnes.
2. Délai d’implémentation des changements (LTC)
Le LTC correspond au temps nécessaire pour qu’un commit atteigne la production. Cet indicateur renseigne sur la réactivité et l’agilité de l’équipe car il mesure la rapidité avec laquelle elle peut répondre aux besoins et demandes des utilisateurs.
L’ancien standard des équipes « élites » visait moins d’une journée pour le LTC, alors que les équipes moins performantes pouvaient prendre plus de six mois. Une faible performance en LTC reflète généralement des processus inefficaces.
Ce résultat peut être amélioré par l’optimisation de vos processus d’automatisation, notamment sur les tests. En renforçant votre pipeline d’intégration continue et de livraison continue (CI/CD), vous pouvez déployer les mises à jour en production plus rapidement. Cependant, il faut veiller à la pérennité de ce rythme : une équipe incapable de soutenir cette cadence accrue risque une mauvaise expérience utilisateur et des failles de sécurité potentielles.
3. Taux d’échec des changements (CFR)
Le CFR (Change Failure Rate) est le pourcentage de déploiements provoquant une défaillance en production. Une défaillance peut être une interruption de service, un retour en arrière ou une dégradation du service. Cette métrique vous montre l'efficacité de votre équipe lors du déploiement des changements.
Les références de performance « élite » sont comprises entre 0 et 15 %, tandis que les performances élevées, moyennes et faibles sont toutes comprises entre 16 et 30 %.
Améliorer le CFR, c'est privilégier la qualité sur la quantité. Les entreprises publient des volumes de changements variés et, de ce fait, rencontrent des nombres de défaillances différents. Cependant, les modifications de la plus haute qualité entraîneront moins d'échecs, que vous déployiez des changements deux fois par an ou deux fois par jour.
4. Temps moyen de rétablissement (MTTR)
Le MTTR correspond au temps que met votre équipe à rétablir le service après une défaillance ou une perturbation. Cette métrique mesure non seulement l'agilité de votre équipe, mais c’est aussi un bon indicateur de la stabilité de votre logiciel.
Si vous visez un niveau « élite », vous devez avoir un MTTR inférieur à une heure. Les équipes peu performantes peuvent mettre plus de six mois.
Vous pouvez améliorer le MTTR en misant sur des livraisons petites et rapides, ce qui facilite la détection et la correction des défaillances. Vous pouvez aussi explorer les feature flags pour donner plus de contrôle à votre équipe — surtout en phase d’expérimentation.
Il reste encore une dernière métrique à aborder.
5. Fiabilité
La cinquième métrique bonus est la fiabilité. Cette métrique a été identifiée plus tard par l’équipe DORA (2021), car on mesurait auparavant la disponibilité en tant que référence pour un logiciel fiable. Cependant, il a été décidé que la fiabilité englobe mieux la disponibilité, la latence, la performance et la scalabilité. C’est essentiellement l’intégration de la mesure de la performance opérationnelle à côté du développement.
Autres métriques DevOps courantes
Durée du cycle
La durée du cycle est le temps total écoulé entre le début d’une tâche et sa livraison finale. En surface, cela mesure la vitesse de travail de votre équipe. Toutefois, il est possible d’analyser cette métrique plus en détail pour identifier les goulets d’étranglement, comme des temps d’attente trop longs ou des demandes de tirage qui traînent.
Un cycle plus court indique un flux de travail efficace, avec moins de blocages et une vitesse de développement accrue.
Comment mesurer la durée du cycle
La durée du cycle est calculée en suivant les horodatages des commits, des fusions de code et des déploiements dans des outils comme GitHub, GitLab ou Jenkins.
Durée du cycle = Heure du déploiement - Heure du commit
Pour améliorer la durée du cycle, les équipes doivent :
- Optimiser les pipelines CI/CD pour intégrer et déployer plus rapidement.
- Automatiser la construction et les tests.
- Améliorer la collaboration entre équipes de développement et d’exploitation.
- Réduire les dépendances entre tâches pour limiter les blocages.
Temps moyen de détection (MTTD)
Il s’agit du temps moyen que met votre équipe à reconnaître une défaillance. Un MTTD faible traduit des systèmes de surveillance et d’alerte efficaces, permettant une réaction rapide aux incidents et à leur résolution.
Comment mesurer le MTTD
Le MTTD peut être mesuré en suivant le temps moyen écoulé entre la survenue d’un incident et sa détection par les outils de monitoring ou les signalements des utilisateurs. Pour le réduire, il faut améliorer la supervision automatisée, affiner les mécanismes d’alerte et assurer une détection proactive des problèmes.
Tests automatisés réussis
Il est important de viser une bonne couverture de tests, en particulier via des tests automatisés. Je parle ici de tests unitaires, d’intégration, d’UI et de bout en bout. Cependant, une bonne couverture ne suffit pas à garantir la qualité du logiciel. Ce qui compte, c’est le pourcentage de ces tests qui réussit.
Bien sûr, l’objectif est d’obtenir un pourcentage de tests réussis aussi proche que possible de 100 %. Le suivi de cette métrique permet également de voir à quelle fréquence les nouveaux développements provoquent l’échec de tests existants.
Comment mesurer le pourcentage de tests automatisés réussis
Le calcul est une simple règle de trois : multipliez le nombre de tests réussis par 100, puis divisez par le nombre total de tests. Vous pouvez obtenir ces informations via l’outil de pipeline qui exécute les builds (Jenkins, Azure DevOps, CircleCI, etc.).
Le nombre peut être un bon indicateur de la qualité du produit. Cependant, cela peut également porter à confusion si vous avez des tests instables ou peu fiables.
Taux d’évasion des défauts
Le taux d’évasion des défauts correspond au nombre de bugs non détectés lors des tests et livrés en production – c’est-à-dire, le nombre de défauts ayant « échappé ». Cette mesure est idéale à suivre si vous souhaitez améliorer vos processus de test et d’automatisation.
Dans un monde utopique, toutes nos applications seraient sans défaut. Mais c’est rarement le cas. Idéalement, les défauts sont identifiés durant les phases de développement et de test du processus DevOps, et non en production.
Cette métrique permet de déterminer l’efficacité de vos processus de tests et la qualité globale de votre programme. Un taux d’évasion élevé suggère que les procédures doivent être améliorées et que davantage d’automatisation est nécessaire, tandis qu’un taux faible (idéalement proche de zéro) implique une application de haute qualité.
Comment mesurer le taux d’évasion des défauts
Pour mesurer cette donnée, vous pouvez utiliser votre outil de suivi des bugs et, pour chaque défaut ouvert, suivre où il a été détecté : lors des tests, en production (ou dans tout autre environnement utilisé, tel que la préproduction ou la recette).
Tickets clients
La satisfaction client est un moteur d’innovation, et pour de bonnes raisons : une expérience utilisateur sans faille constitue un excellent service client et correspond généralement à une croissance des ventes. Ainsi, les tickets clients, notamment lors du processus d’escalade des tickets, sont un très bon indicateur de la réussite de votre transition DevOps.
Les clients ne devraient pas faire office de contrôle qualité en signalant des défauts et bugs. Par conséquent, une baisse du nombre de tickets clients est un bon signe des performances applicatives.
Utilisation du processeur et de la mémoire
Identifie les tendances d’utilisation des ressources.
Temps de réponse
Mesure le temps nécessaire à l’application pour répondre aux requêtes.
Taux d’erreur
Suit le nombre de requêtes échouées au fil du temps.
Débit
Mesure le nombre de requêtes traitées par seconde.
Latence des requêtes API
Mesure le délai entre l’envoi d’une requête et la réception de la réponse.
Performance des requêtes de base de données
Suit les temps d’exécution des requêtes et les éventuels points de congestion.
Analyse du comportement utilisateur
Surveille l’adoption des fonctionnalités et les tendances d’engagement.
Temps moyen entre les défaillances (MTBF)
Le MTBF mesure le temps moyen écoulé entre deux défaillances, arrêts ou incidents système. Cette métrique évalue la fiabilité et la stabilité de vos systèmes logiciels, soulignant l’efficacité de votre maintenance préventive et de vos stratégies de réduction des erreurs.
Temps de mitigation (TTM)
Le temps pris pour corriger un problème une fois détecté correspond au TTM. Cette mesure permet d’évaluer les processus de gestion et de résolution des incidents, en indiquant l’efficacité de vos équipes à traiter et à résoudre les problèmes.
Délai de mise en œuvre des changements (CLT)
Le CLT sert de référence pour le processus de mise en œuvre du changement de bout en bout, englobant le développement, les tests, la relecture et le déploiement. Un CLT plus court signifie des cycles de livraison plus rapides et une plus grande agilité.
Comment définir des KPI avec les métriques DevOps
Maintenant que vous avez une bonne compréhension des métriques à utiliser pour mettre en œuvre et optimiser DevOps dans votre entreprise, vous voudrez vous pencher sur les indicateurs clés de performance (KPI) afin de fixer des objectifs et des repères pour votre équipe.
Métriques VS KPI
Vous vous demandez peut-être quelle est la différence entre métriques et KPI. Une métrique est ce que vous mesurez. Il s'agit d'une mesure quantifiable fournissant des données sur un aspect spécifique de la performance. Toutes les métriques ne sont pas nécessairement liées à des objectifs ou des cibles spécifiques.
Les KPI, en revanche, sont un type de métrique sélectionnée et définie stratégiquement pour refléter les aspects les plus critiques de la performance et des progrès vers les objectifs stratégiques. Les KPI sont généralement liés à des objectifs et comportent souvent des cibles, seuils ou repères à atteindre.
Définir des KPIs pour votre équipe DevOps
La première étape pour définir des KPIs pour votre équipe DevOps consiste à relier les indicateurs DevOps à la stratégie et aux objectifs de votre entreprise. En priorisant les indicateurs essentiels à suivre, vous pouvez commencer à établir des cibles et des références pour une amélioration continue. Le choix des bons indicateurs dépend de la taille de votre entreprise, de votre produit et de votre marché. Concentrez-vous sur ce qui vous apportera les informations les plus exploitables, tout en évitant le piège courant de la surcharge d’indicateurs.
Surveiller vos KPIs est tout aussi important que de les définir. Découvrez des outils de visualisation de données qui permettent à votre équipe d’accéder en temps réel aux données via des tableaux de bord intuitifs. Cela assure une visibilité totale, favorise la responsabilité et permet à tous de travailler ensemble vers des objectifs communs, en alignant les équipes de développement et d’opérations et en favorisant l’adoption et la maturité de DevOps.
En prenant les indicateurs principaux de DORA, on peut observer les références pour chaque métrique selon le niveau des équipes — élite, niveau élevé, moyen ou bas. Ce tableau peut vous aider à fixer les KPIs pour votre propre entreprise, en fonction de ce que vous considérez comme prioritaire.
Lors de la définition de vos KPIs, il est préférable de considérer attentivement votre équipe et votre entreprise sans les comparer à d’autres sociétés. Si l’on prend le CFR comme exemple, la référence reste identique pour les performances élevées, moyennes et basses. Cela dépend fortement de votre fréquence de déploiement, mais l’inverse est également vrai : si votre équipe passe tout son temps à corriger des défaillances, elle consacre moins de temps au développement et à la diffusion de mises à jour. Les KPIs peuvent aussi évoluer à mesure que votre équipe DevOps gagne en maturité. Des processus d’automatisation et de test efficaces devraient naturellement vous permettre de hausser vos objectifs.
Comment utiliser les métriques DevOps pour passer à l’échelle
Avec un marché DevOps mondial qui devrait atteindre 24,71 milliards de dollars d’ici 2027 (soit un taux de croissance annuel de 22,9 %, comparé à une taille de marché de 10,84 milliards de dollars en 2023), prenez cela comme un signe si vous cherchez le meilleur moment pour commencer à l’implanter dans votre entreprise.
DevOps accélère non seulement le développement en réduisant le time-to-market, mais il améliore aussi la collaboration en éliminant les silos, renforce la qualité grâce aux tests et retours continus, et optimise l’utilisation des ressources, ce qui permet de réaliser des économies. Enfin, il est facilement évolutif, soutenant la croissance de l'entreprise vers de nouveaux horizons, avec 83% des décideurs informatiques ayant atteint une plus grande valeur business grâce à la mise en œuvre de DevOps en 2021.
Mesure de la performance et amélioration continue
Surveiller la performance est la clé pour faire évoluer une entreprise qui adopte DevOps. C’est une approche au rythme soutenu avec un flux de production permanent, aussi la mesure et le reporting doivent-ils être tout aussi fréquents. Les métriques DevOps permettent de suivre la performance de vos équipes de développement et de livraison. En quantifiant des aspects clés comme la fréquence de déploiement, le lead time et le taux d’échec des changements, vous pouvez identifier les goulots d’étranglement, les inefficacités et les axes d’amélioration. Cela vous permet d’optimiser souvent les workflows et les processus.
Suivre des indicateurs comme le taux d’échec des changements et le temps moyen de rétablissement vous aide à identifier les tendances afin de détecter tôt les problèmes. Cette approche proactive permet de prendre des mesures correctives et de minimiser l’impact sur les clients, offrant ainsi de la fiabilité — un ingrédient essentiel pour grandir tout en maintenant la qualité.
Enfin, l’utilisation des métriques DevOps permettra de faire évoluer votre équipe DevOps en favorisant une culture d’amélioration continue. Les boucles de rétroaction stimulent l’apprentissage et la progression ; il doit toujours y avoir une ouverture à l’expérimentation de différentes approches.
Quelles métriques DevOps soutiennent la croissance de l’entreprise ?
Lors de la définition des KPIs, la plupart des indicateurs doivent être évalués en interne et orientés vers la croissance, plutôt que comparés à d’autres entreprises ou à des groupes à un niveau de maturité différent.
Par exemple, un faible LTC peut montrer que votre équipe est efficace, mais si elle ne parvient pas à maintenir ce rythme, ce n’est pas durable et cela risque d’altérer l’expérience utilisateur. Cette métrique devrait donc être mesurée dans la durée, plutôt que de viser un KPI identique à une équipe DevOps mature à haute performance, voire élite. Fixer des KPIs pour réduire le LTC d’un mois sur l’autre, par trimestre ou chaque année, témoigne de la progression de votre équipe et de votre entreprise.
Le CFR est un indicateur précieux car tout le monde n'a pas le même nombre d'échecs ou de problèmes, mais en l’exprimant en pourcentage, vous pouvez mesurer le succès de vos déploiements. Votre équipe peut avoir très peu d'échecs si elle publie rarement des changements, mais si chaque mise en production provoque un incident, le CFR sera très élevé. Si vous suivez les pratiques CI/CD, vous pouvez constater un nombre d'échecs plus élevé, mais si votre CFR reste bas, vous aurez un avantage grâce à la rapidité et à la qualité au service de la croissance. Le MTTR doit également être suivi dans le temps pour garantir une croissance régulière.
DORA a constaté que les équipes, quel que soit leur niveau de performance de développement, obtenaient de meilleurs résultats en se concentrant sur la performance opérationnelle. Cela peut signifier la définition de KPIs pour les rapports d’incident ou les tickets ouverts, la disponibilité des applications et leur temps de fonctionnement.
Un nombre élevé de tickets ouverts peut représenter un problème avec la satisfaction de vos clients, mais viser une diminution de ce volume dans le temps reflète une amélioration dans ce domaine. Vous pouvez approfondir en mesurant les temps de réponse et d’attente pour accélérer l’amélioration de cet indicateur.
Le seul indicateur qui fusionne totalement développement et opérations au sein d'une équipe DevOps est le temps de cycle. Cela ouvre la voie à l’instauration d’une culture de feedback et de progrès. À mesure que les autres métriques s’améliorent et que l’automatisation se perfectionne, vous devriez constater une réduction du temps de cycle. Si votre service client est performant et que les échecs de développement sont rares, vous avez trouvé la combinaison gagnante pour développer votre activité.
Dernières réflexions
Comme toute autre méthodologie, DevOps n’est efficace que s’il est mis en œuvre correctement. Et vous ne pourrez pas mesurer son succès sans savoir utiliser les indicateurs DevOps.
Évidemment, mettre en place les indicateurs DevOps comporte ses défis. Cela requiert un esprit stratégique, une culture collaborative et un engagement envers l’amélioration continue. Cependant, les résultats sont des processus et des workflows optimisés sur lesquels bâtir une base solide pour faire évoluer votre entreprise.
Si vous souhaitez rester informé(e) des actualités et articles, abonnez-vous à notre newsletter !
