L’IA dans l’automatisation des tests : voici comment elle fonctionne

L'utilisation de l'intelligence artificielle (IA) dans l'automatisation des tests est la dernière tendance en matière d'assurance qualité. Les tests, en général, et l'automatisation des tests, en particulier, semblent avoir attrapé le virus « tout est meilleur avec l'IA ».

Étant donné que l'IA, l'apprentissage automatique et les réseaux neuronaux sont actuellement au cœur de toutes les attentions, il est peut-être inévitable que l'IA trouve d'une manière ou d'une autre sa place dans l'automatisation des tests.

Contexte de l'automatisation des tests

Je me souviens d'une époque, il y a plusieurs années, où l'automatisation des tests était encore récente, et où l'une de mes équipes d'assurance qualité travaillait sur un projet pour un grand client. Il s'agissait d'une application mobile comptant des millions d'utilisateurs et suivant des cycles de mise en production mensuels. L'équipe d'assurance qualité était généralement détendue pendant les deux premières semaines du cycle, puis travaillait frénétiquement jusqu'à la mise en production — l'un des effets secondaires particuliers du développement logiciel agile dont on ne parle pas dans les gros titres !

Finalement, l'un des responsables de l'assurance qualité, lassé de rester les bras croisés pendant ces deux semaines peu chargées, a commencé à travailler sur une structure d'automatisation des tests. Il a rédigé quelques scripts de test en Ruby avec Selenium / Appium et Jenkins pour constituer un pipeline rudimentaire, comprenant de jolis rapports avec des indicateurs rouges / jaunes / verts signalant l'échec ou la réussite des tests.

Il a réussi à mettre cela en œuvre sur quelques cycles de mise en production. C'est alors que nous l'avons présenté à notre directeur de la qualité, qui l'a proposé à nos clients et les a suffisamment enthousiasmés pour qu'ils acceptent de payer pour des tests automatisés en tant que sous-projet. Nous étions aux anges, à la pointe de la technologie !

Être à la pointe de la technologie a toutefois pris un nouveau sens quelques mois plus tard, lorsque nous avons découvert cette vérité fondamentale sur l'automatisation des tests avec laquelle tout ingénieur en automatisation de l'assurance qualité digne de ce nom se débat aujourd'hui :

Pourquoi est-ce que je dis cela ? Parce que, très vite, nous nous sommes sentis comme Alice au pays du Mordor, courant comme des fous avec la Reine rouge :

Nous venions de découvrir la froide réalité du piège de l'automatisation des tests : l'un de nos ingénieurs en assurance qualité devait maintenir la suite d'automatisation à jour avec l'application presque à chaque cycle de mise en production, car les changements arrivaient rapidement et en grand nombre !

Un simple changement de nom de champ, et nos tests logiciels automatisés se retrouvaient au fond du terrier proverbial. Le début d'une nouvelle mise en production était particulièrement problématique, car l'équipe de développement logiciel ajoutait une quantité considérable de nouvelles fonctionnalités.

L'automatisation des tests n'a pas fondamentalement changé depuis, car elle nécessite toujours une surveillance et une maintenance continues. La moindre possibilité d'amélioration spectaculaire de l'approche et de sa mise en œuvre n'est apparue qu'avec les progrès récents des capacités de l'IA.

Le battage médiatique autour de l'IA face à la réalité

La technologie de l'IA, dans sa forme actuelle, consiste principalement à utiliser des algorithmes d'apprentissage automatique pour entraîner des modèles avec des volumes de données relativement importants, puis à utiliser ces modèles entraînés pour faire des prédictions ou générer un résultat souhaité. Presque toutes les applications de l'IA correspondent à cette description, certes très simplifiée. En ce qui nous concerne, toutefois, la question essentielle est la suivante :

L'IA sera-t-elle réellement capable de contribuer à générer et à mettre à jour automatiquement des cas de test ? De trouver des bogues ? D'améliorer la couverture du code ?

La réponse à cette question est loin d'être claire pour le moment, car nous sommes au sommet du cycle de battage médiatique autour de l'IA. Un domaine particulier, l'apprentissage profond, a suscité une grande partie de cet enthousiasme.

Ce que je trouve le plus intéressant dans ce graphique, c'est ceci :

Si Siri est censé avoir dépassé la courbe du battage médiatique, alors nous sommes encore bien loin du Kansas, Dorothy !

Je veux dire, je connais beaucoup de gens qui doivent se répéter pour que Siri comprenne ce qu'ils disent (sans vouloir offenser les fans de Siri. Vraiment 😉).

La courbe du battage médiatique nous montre qu’il existe un grand enthousiasme autour du potentiel de l’IA, qui retombe avant que tout le monde ne passe au fonctionnement courant et habituel de l’entreprise. En termes simples, voici ce que dit le graphique sophistiqué de Gartner :

Cependant, même si nous sommes encore loin de la singularité, l’IA dans sa forme actuelle possède toujours le potentiel d’améliorer considérablement l’automatisation des tests.

Comment l’apprentissage automatique produit-il des tests automatisés ?

1. Entraînement : lors de la phase d’entraînement, le modèle d’apprentissage automatique doit être entraîné sur un ensemble de données propre à l’organisation, comprenant notamment la base de code, l’interface de l’application, les journaux, les cas de test et même les documents de spécifications. L’absence d’un ensemble de données d’entraînement suffisamment volumineux peut réduire l’efficacité de l’algorithme.
   
   Certains outils disposent de modèles préentraînés qui sont mis à jour grâce à un apprentissage continu pour des applications spécifiques telles que les tests d’interface utilisateur, afin que l’apprentissage généralisé puisse être utilisé dans une organisation donnée.
   
   
2. Génération de la sortie / du résultat : selon le cas d’utilisation, le modèle génère des cas de test, vérifie les cas de test existants en termes de couverture du code, d’exhaustivité et de précision, et effectue même des tests. Dans tous les cas, un testeur doit vérifier la sortie générée afin de la valider et de s’assurer qu’elle est exploitable.
   
   Si l’on utilise l’analogie des voitures autonomes, les résultats s’apparentent davantage à une assistance à la conduite qu’à une véritable voiture sans conducteur.
   
   
3. Amélioration continue : plus une organisation utilise régulièrement l’outil, plus les données d’entraînement augmentent, ce qui peut accroître la précision et l’efficacité des réseaux déjà entraînés. En bref, le système d’IA continue d’apprendre et de s’améliorer.

Les algorithmes d’apprentissage automatique révolutionnent l’automatisation des tests. Pour trouver des outils qui intègrent ces algorithmes avancés, consultez notre guide des meilleurs outils de test logiciel

Applications de l’IA dans l’automatisation des tests

Examinons de plus près certaines applications de l’IA dans l’automatisation des tests, notamment les tests unitaires, les tests d’interface utilisateur, les tests d’API et la maintenance d’une suite de tests automatisés.

Créer et mettre à jour les tests unitaires

Les tests unitaires, souvent utilisés dans le cadre des tests continus, de l’intégration continue / de la livraison continue (CI / CD) au sein du DevOps, peuvent être une véritable plaie dans la… ceinture d’astéroïdes.

En règle générale, les développeurs consacrent beaucoup de temps à rédiger et à maintenir les tests unitaires, ce qui est loin d’être aussi amusant que d’écrire le code de l’application. Dans ce cas, les produits fondés sur l’IA destinés à créer automatiquement des tests unitaires peuvent être utiles, en particulier pour les organisations qui prévoient d’introduire les tests unitaires tard dans le cycle de vie du produit.

Avantages :

• Les tests unitaires automatisés fondés sur l’IA constituent une avancée considérable par rapport à la génération automatisée de tests unitaires basée sur des modèles et utilisant une analyse statique ou dynamique. Les tests ainsi générés sont du véritable code, et non de simples squelettes.
  
• Les tests unitaires fondés sur l’IA peuvent être générés très rapidement, ce qui est utile pour une base de code existante volumineuse.
  
• Les développeurs ont simplement besoin de modifier les tests et peuvent mettre en place relativement rapidement la suite de tests de régression unitaires.

Limitations :

• Les tests unitaires générés par l’IA ne font que refléter le code sur lequel ils sont fondés. Ils ne peuvent pas encore deviner la fonctionnalité prévue du code. Si le code ne se comporte pas comme prévu, le test unitaire généré pour ce code reflétera ce comportement imprévu.
  
  C’est un inconvénient important, car tout l’objectif des tests unitaires est d’imposer et de vérifier un contrat implicite ou explicite.
  
• Les tests unitaires générés à l’aide de l’apprentissage automatique peuvent interrompre des tests unitaires existants et fonctionnels, et il appartient au développeur de veiller à ce que cela ne se produise pas.
  
• Les développeurs doivent eux-mêmes écrire les tests correspondant à une logique métier complexe.

Tests automatisés de l’interface utilisateur 

C'est un domaine où l'IA commence à montrer tout son potentiel. Dans les tests d'interface utilisateur basés sur l'IA, les outils d'automatisation des tests analysent le DOM et le code associé afin de déterminer les propriétés des objets. Ils utilisent également des techniques de reconnaissance d'image pour naviguer dans l'application et vérifier visuellement les objets et les éléments de l'interface utilisateur afin de créer des tests d'interface utilisateur.

De plus, les systèmes de test basés sur l'IA utilisent des tests exploratoires pour détecter les bogues ou les variations dans l'interface utilisateur de l'application et générer des captures d'écran qui seront ensuite vérifiées par un ingénieur qualité. De même, les aspects visuels du système testé (SUT), tels que la mise en page, la taille et la couleur, peuvent être vérifiés.

Avantages :

• Les tests automatisés de l'interface utilisateur peuvent entraîner une augmentation de la couverture du code.
  
• Les écarts mineurs dans l'interface utilisateur n'entraînent pas l'échec de la suite de tests. Les modèles d'IA peuvent les gérer.

Limitations :

• Pour toute application moderne, le nombre de plateformes, de versions d'applications et de versions de navigateurs est élevé. On ne sait pas clairement dans quelle mesure l'automatisation de l'interface utilisateur basée sur l'IA fonctionne dans ces conditions. Cependant, les outils de test dans le cloud peuvent exécuter les tests en parallèle ; il s'agit donc d'un domaine intéressant à suivre !

Utiliser l'IA pour faciliter les tests d'API

Même sans IA, l'automatisation des tests d'API est une tâche non triviale, car elle nécessite de comprendre l'API, puis de mettre en place des tests pour une multitude de scénarios afin de garantir une couverture suffisamment étendue et approfondie.

Les outils actuels d'automatisation des tests d'API, tels que Tricentis et SoapUI, enregistrent les activités et le trafic des API afin de les analyser et de créer des tests. Cependant, la modification et la mise à jour des tests obligent les testeurs à se plonger dans les moindres détails des appels REST et des paramètres, puis à mettre à jour la suite de tests d'API.

Les outils d'automatisation des tests d'API basés sur l'IA tentent d'atténuer ce problème en examinant le trafic et en identifiant les modèles et les connexions entre les appels d'API, en les regroupant efficacement par scénario. Ces outils utilisent également les tests existants pour apprendre les relations entre les API, s'en servent pour comprendre les changements apportés aux API, puis mettent à jour les tests existants ou créent de nouveaux tests basés sur des scénarios. 

Avantages :

• Pour les testeurs débutants ou ceux qui n'ont pas d'expérience en programmation, cela pourrait être très utile pour leur permettre de « démarrer sur les chapeaux de roues ».
  
  Une fois encore, la gestion des changements serait considérablement facilitée, étant donné qu'au moins une partie des modifications d'API pourrait être prise en charge par un outil d'automatisation basé sur l'IA.

Limitations :

• De manière générale, les tests d'API sont difficiles à mettre en place, et peu d'outils proposent des fonctionnalités basées sur l'apprentissage automatique dans ce domaine. Ceux qui en proposent semblent disposer de fonctionnalités assez rudimentaires.

Maintenance des tests automatisés

Les outils basés sur l'IA peuvent évaluer les modifications apportées au code et corriger plusieurs tests existants qui ne sont plus cohérents avec ces modifications, en particulier lorsque celles-ci ne sont pas trop complexes. Les mises à jour des éléments de l'interface utilisateur, des noms de champs et autres éléments similaires ne doivent plus nécessairement entraîner l'échec de la suite de tests.

Certains outils d'IA surveillent les tests en cours d'exécution et essaient des variantes modifiées pour les tests ayant échoué, en choisissant les éléments de l'interface utilisateur les plus adaptés. Ils peuvent également vérifier la couverture des tests et combler les lacunes si nécessaire. 

Génération de données de test basée sur l'IA

La génération de données de test est un autre domaine prometteur pour les modèles d'IA. L'apprentissage automatique peut facilement générer des ensembles de données, tels que des photographies et des informations de profil personnel comme l'âge et le poids, à partir de modèles d'apprentissage automatique entraînés à l'aide d'ensembles de données de production existants.

De cette manière, les données de test générées sont très similaires aux données de production, ce qui est idéal pour les utiliser dans les tests logiciels. Le modèle d'apprentissage automatique qui génère les données est appelé réseau antagoniste génératif (GAN).

Outils d'automatisation des tests qui utilisent l'apprentissage automatique

Découvrez les outils ci-dessous si vous recherchez des logiciels qui utilisent l'apprentissage automatique pour effectuer et suivre des tests automatisés. Nombre d'entre eux proposent des options à code source ouvert ou sans code pour répondre aux besoins de votre équipe de test.

• Applitools Eyes
• Functionize
• Mabl
• Parasoft SOAtest
• Testim.io

Conclusion

L’intelligence artificielle a eu un impact considérable sur les outils et les méthodes de test, et en particulier sur l’automatisation des tests. Un aperçu des outils actuels mettant en avant l’IA montre que, bien que de nombreuses nouvelles fonctionnalités soient ajoutées, plusieurs d’entre elles sont encore en cours de maturation.

Si vous avez trouvé cet article utile, veuillez vous abonner à la newsletter de The QA Lead et rester informé de toutes les dernières nouveautés dans le monde des tests.