Dépouiller les contributions à une enquête d'opinion
|
|
Le besoin
Quantifier des opinions dans des réponses libres : un défi
Les réponses libres, riches mais complexes à analyser en masse
Les questionnaires ouverts (réponses libres) fournissent une vision plus riche et plus libre de l'opinion que les enquêtes à questions fermées ( choix multiples), lesquelles limitent les réponses dans un cadre prédéfini.
L'objectif peut se résumer selon deux axes :
- quantifier des thématiques récurrentes sous la surface d'une grande variété de vocabulaire ou de tournures,
- distinguer des opinions ou sentiments variés sur un même thème.
Que sait faire la technologie en la matière ?
La solution
Repérer et quantifier des thématiques dans des enquêtes d'opinion avec les outils d'IA
Quelle méthode d'analyse automatique d'enquête à questions ouvertes ?
Que signifie repérer une thématique dans une enquête d'opinion ?
Le vocabulaire étant divers pour désigner des réalités sinon identiques, du moins très proches, l'analyse repose en grande part sur l'assimilation de mots ou d'expressions comme représentatifs d'une même thématique.
Les regroupements de mots ou d'expressions constituent autant d'étiquettes thématiques avec lesquelles les réponses peuvent être annotées. Une analyse quantitative de ces annotations fournit ensuite des images de la répartition de ces thèmes dans l'opinion.
Selon le périmètre que l'on détermine pour chaque thématique, donc selon les regroupement opérés de mots ou d'expressions, l'image quantitative peut différer. Les choix opérés a priori dans un questionnaire fermé sont réalisés a posteriori sur un questionnaire ouvert par la grille d'analyse qu'on applique aux réponses collectées. Il peut être instructif de croiser plusieurs analyses, réalisées avec différentes grilles de lecture thématiques.
Comment se manifeste une opinion dans la langue ?
Outre les thématiques, on peut chercher à faire émerger des opinions ou des sentiments vis à vis de ces thématiques.
Les analyses automatiques peuvent détecter des perceptions positives ou négatives vis à vis de ces thématiques, voire des expressions plus finement catégorisées de sentiments variés, exprimés sous des formes très diverses : le doute ("je doute que.." , mais aussi "on ne me fera pas croire que..."), la colère ("ça me met hors de moi", "ça m'énerve" voire "je suis vénère"...), l'enthousiasme, le regret, etc.
Ces détections doivent surmonter des difficultés telles que l'emploi de l'argot, d'émoticônes dans des enquêtes en ligne, une orthographe et une syntaxe très approximatives, un recours fréquent aux antiphrases ("la cerise sur le gâteau" ou "vraiment des champions" pour manifester une opinion manifestement négative par ailleurs).
Il importe également de détecter quelle opinion se rapporte à quelle thématique dans une réponse qui peut comporter plusieurs thèmes. Chaque thématique sera croisée avec des catégories d'opinion.
Jusqu'où va l'automatisation ?
On l'a vu précédemment, les résultats bruts d'une analyse des réponses libres constituent un matériau délicat à interpréter. Les choix opérés dans la stratégie d'analyse des réponses libres ne sont pas neutres.
Le traitement du langage naturel permet, par des analyses complexes, d'extraire des données quantitatives à partir des réponses libres à une enquête d'opinion. Mais l'expertise sociologique ou politique est la plus légitime à interpréter in fine ces agrégats statistiques pour en tirer des enseignements quant à l'opinion.
Quelles fonctions pour une solution de dépouillement d'enquête à questions ouvertes ?
Les solutions de dépouillement d'enquêtes d'opinion comportent habituellement plusieurs fonctions majeures.
Une analyse morpho-syntaxique et sémantique
Le travail de dépouillement commence par une analyse poussée du texte.
L'outil doit être capable de normaliser - c'est à dire, notamment, redresser les erreurs orthographiques, grammaticales ou syntaxiques - des contributions grand public.
Il est souvent complété par des connaissances lexicales spécifiques à l'enquête : mots ou expressions propres au domaine traité, règles de désambiguïsation spécifiques au domaine.
Une fonction de catégorisation automatique
Des algorithmes de catégorisation automatique de mots ou expressions détectés comme sémantiquement proches ("clusters"), permettent de faire émerger les catégories qui constitueront des étiquettes d'annotation des réponses.
Les catégories gagnent à être examinées et ajustées par une expertise humaine, ne serait-ce que pour leur donner un libellé explicite.
Une fonction de gestion des étiquettes thématiques
Les solutions d'analyse de réponses libres incluent souvent une fonction de gestion des étiquettes destinées à annoter le texte : validation/amélioration manuelle des regroupements d'expressions proposés automatiquement, ajustement des règles de reconnaissance des catégories, nommage des étiquettes, organisation hiérarchique des étiquettes dans une taxonomie...
Une fonction d'annotation des réponses libres
L'analyse des réponses libres comporte une étape d'annotation des réponses au moyen des étiquettes thématiques extraites du même corpus et révisées au besoin.
A chaque réponse sont associées de manière logique des étiquettes correspondant chacune à une séquence textuelle de la réponse (le span).
Une fonction d'analyse statistique des annotations
Sur la base de l'annotation des réponses par des étiquettes thématiques, une analyse quantitative est appliquée comme on pourrait le faire de toute source de données pour rechercher des phénomènes statistiques, sur une enquête unique à l'instant T ou bien sur une évolution dans le cas d'enquêtes à campagnes répétées.
De même que dans toute enquête, les réponses libres sont souvent partitionnées selon des catégories sociologiques (ex. âge, genre, catégorie socio-professionnelle, niveau d'études, etc.), les données quantitatives fournies par les étiquettes thématiques peuvent être croisées avec des catégories de réponses.
Si l'enquête d'opinion fait l'objet de campagnes régulières, l'analyse statistique comporte souvent une observation des évolutions dans les données : tendances lourdes, signaux faibles, pics inhabituels...
Une fonction de restitution plus ou moins poussée en tableaux de bord paramétrables complète usuellement les analyses statistiques.
Points d'attention
Il demeure dans le dépouillement de réponses libres une part d'interprétation telle que deux opérateurs humains ne livreront pas toujours les mêmes classements pour une séquence de réponse, voire un même opérateur humain à quelques temps d'intervalle.
Le plus grand soin doit être apporté à l'évaluation des résultats, habituellement réalisée par la validation humaine double des étiquetages automatiques d'un échantillon de réponses : deux testeurs (ou davantage) qui ne doivent pas communiquer indiquent si l'étiquetage automatique est correct ou erroné de leur point de vue.
- Les étiquetages jugés exacts ou faux par les deux opérateurs sont considérés respectivement comme de bonnes ou mauvaises réponses du système de manière fiable
- Les étiquetages sur lesquels les deux opérateurs divergent sont considérés comme la marge d'incertitude inhérente à l'exercice.
Le résultat de l'évaluation peut servir à alimenter un algorithme d'apprentissage pour améliorer la qualité de l'étiquetage automatique par cycles.