En résumé, lorsque vous ajoutez une brique à un assistant numérique et que vous l'entraînez, toutes les variations qui ont été utilisées pour entraîner les intentions dans une brique sont utilisées par l'assistant numérique pour entraîner un classificateur pour la brique.

Si, lors de l'exécution, le moteur de routage d'un assistant numérique est certain qu'une brique particulière représente une correspondance pour un message utilisateur entrant, il la marque comme une "brique candidate". Si aucune autre brique n'est résolue dans une plage de confiance configurée ou mieux, elle accède à la brique candidate identifiée et à son intention correspondante et démarre une conversation.

Par conséquent, les variations sont importantes lors de l'acheminement des demandes dans un assistant numérique, ce qui vous oblige à tester si les variations résolues avec succès vers une intention dans une brique sont toujours résolues. De même que la façon dont vous testez vos compétences en isolement, vous exécuterez des tests positifs, des tests négatifs et des tests de voisinage sur vos compétences.

Les tests positifs et négatifs utilisent des variations que vous avez utilisées pour tester les intentions d'une brique. Si les tests sont positifs, vous devriez obtenir des résultats bien au-dessus du seuil de confiance, mais pas nécessairement la même confiance que lors des tests isolés.

Pour les tests de voisinage, utilisez des variations de test provenant d'autres briques de l'assistant numérique et configurez-les pour qu'ils soient résolus dans la brique pour laquelle vous effectuez le test. Idéalement, lorsque vous exécutez le test, tous les tests échoueront car les variations ne sont pas destinées à la brique testée.

Oracle Digital Assistant prend en charge le test en batch des variations au niveau de l'assistant numérique, que vous pouvez utiliser pour implémenter les tests expliqués dans cette partie du document.

Dès que vous êtes satisfait du résultat des tests de variation, vous pouvez démarrer le test de conversation. Pour cela, un testeur de conversation explique également la prise de décision qui a conduit à un routage de brique spécifique.

Comme pour les briques, le testeur de conversation peut être utilisé pour enregistrer des conversations de test en vue d'une réexécution ultérieure. En réexécutant les conversations, vous pouvez vous assurer que les modifications apportées à une brique génèrent toujours la même conversation et qu'elle ne se comporte pas différemment.

Avant de vous déconnecter d'un assistant numérique, demandez à de vrais utilisateurs de le tester. Donnez-leur un minimum d'instructions et voyez comment ils le font. Vous pouvez utiliser les analyses pour surveiller le trafic, identifier les variations qui ne trouvent pas d'intention correspondante, identifier les variations qui trouvent une correspondance incorrecte et connaître le taux de conversations réussies par rapport aux conversations ayant échoué.

Voici quelques questions que vous pouvez utiliser pour guider les utilisateurs vers ce à quoi ils doivent faire attention :

• Est-il clair pour les utilisateurs qu'ils interagissent avec un assistant numérique et non avec un humain ?
• L'assistant numérique explique-t-il aux utilisateurs ce qu'il peut faire et ce qu'il ne peut pas faire ?
• Est-il possible pour les utilisateurs expérimentés de raccourcir la conversation en fournissant plus d'informations dans le message initial ?
• Les utilisateurs peuvent-ils utiliser l'assistant numérique sans avoir à apprendre d'abord un ensemble de mots-clés ou comment démarrer une conversation ?
• L'assistant numérique gère-t-il les erreurs en invitant les utilisateurs à contacter un agent humain lorsqu'ils sont bloqués ?
• L'assistant numérique propose-t-il une option d'aide ou d'annulation en réponse au fait que les utilisateurs n'ont pas fourni d'entrée valide lorsque vous y êtes invité ?
• L'assistant numérique propose-t-il des sélections rapides pour les options de saisie utilisateur courantes lorsque vous y êtes invité (par exemple, un bouton permettant de définir la date du jour ou de demain lors de la création d'une entrée de calendrier) ?
• Le persona du bot (ton et voix) est-il utilisé de manière cohérente tout au long des conversations de l'assistant numérique ?
• L'assistant numérique est-il réellement conversationnel ou comporte-t-il des zones qui ne sont pas axées sur les messages mais qui obligent les utilisateurs à appuyer sur un bouton ou à effectuer une sélection dans une liste ?
• Le langage utilisé par l'assistant numérique est-il simple ? Si vous utilisez un langage expert et des abréviations, sera-t-il compris par le public visé ?
• Les messages de bot sont-ils concis et significatifs ?
• Les messages et invites de bot contiennent-ils un contexte permettant à l'utilisateur de comprendre le statut actuel de la conversation ?
• L'assistant numérique utilise-t-il des invites alternées lorsqu'il réinvite une information ?
• L'assistant numérique aide-t-il activement à désambiguïter les entrées utilisateur lorsque l'entrée fournie n'est pas claire (par exemple, deux tailles entrées dans un ordre de pizza alors qu'une seule doit être fournie) ?

• ☑ Testez la compréhension de NLU au niveau de l'assistant numérique à l'aide de suites de tests.
• ☑ Testez la résolution d'intention pour différents contextes (définir qu'une brique est considérée comme actuelle).
• ☑ Examinez les paramètres de configuration de l'assistant numérique afin d'adapter les modèles de message pour les messages intégrés à vos besoins et au persona du bot.
• ☑ Utilisez les paramètres de confiance de l'assistant numérique pour affiner votre compréhension.
• ☑ Utilisez le testeur de conversation pour vous assurer que votre assistant numérique fournit les réponses correctes aux messages utilisateur. 
• ☑ Surveillez les performances et le comportement de votre assistant numérique lors de l'exécution.
• ☑ Implémentez une boucle de retour permettant aux utilisateurs de fournir des commentaires via la conversation.

• Vidéo d'Oracle Digital Assistant Design Camp : Inside Artie – Sharing the experience of building Artie
• Réglage du comportement d'acheminement
• Mesures de conversation pour les assistants numériques