Dépouiller les contributions à une enquête d'opinion

Quelle méthode d'analyse automatique d'enquête à questions ouvertes ?

Que signifie repérer une thématique dans une enquête d'opinion ?

Le vocabulaire étant divers pour désigner des réalités sinon identiques, du moins très proches, l'analyse repose en grande part sur l'assimilation de mots ou d'expressions  comme représentatifs d'une même thématique.

Les regroupements de mots ou d'expressions constituent autant d'étiquettes thématiques avec lesquelles les réponses peuvent être annotées. Une analyse quantitative de ces annotations fournit ensuite des images de la répartition de ces thèmes dans l'opinion.

Selon le périmètre que l'on détermine pour chaque thématique, donc selon les regroupement opérés de mots ou d'expressions, l'image quantitative peut différer. Les choix opérés a priori dans un questionnaire fermé sont réalisés a posteriori sur un questionnaire ouvert par la grille d'analyse qu'on applique aux réponses collectées. Il peut être instructif de croiser plusieurs analyses, réalisées avec différentes grilles de lecture thématiques.

Comment se manifeste une opinion dans la langue ?

Outre les thématiques, on peut chercher à faire émerger des opinions ou des sentiments vis à vis de ces thématiques.

Les analyses automatiques peuvent détecter des perceptions positives ou négatives vis à vis de ces thématiques, voire des expressions plus finement catégorisées de sentiments variés, exprimés sous des formes très diverses : le doute ("je doute que.." , mais aussi "on ne me fera pas croire que..."), la colère ("ça me met hors de moi", "ça m'énerve" voire "je suis vénère"...), l'enthousiasme, le regret, etc.

Ces détections doivent surmonter des difficultés telles que l'emploi de l'argot, d'émoticônes dans des enquêtes en ligne, une orthographe et une syntaxe très approximatives, un recours fréquent aux antiphrases ("la cerise sur le gâteau" ou "vraiment des champions" pour manifester une opinion manifestement négative par ailleurs).

Il importe également de détecter quelle opinion se rapporte à quelle thématique dans une réponse qui peut comporter plusieurs thèmes. Chaque thématique sera croisée avec des catégories d'opinion.

Jusqu'où va l'automatisation ?

On l'a vu précédemment, les résultats bruts d'une analyse des réponses libres constituent un matériau délicat à interpréter.  Les choix opérés dans la stratégie d'analyse des réponses libres ne sont pas neutres.

Le traitement du langage naturel permet, par des analyses complexes, d'extraire des données quantitatives à partir des réponses libres à une enquête d'opinion.  Mais l'expertise sociologique ou politique est la plus légitime à interpréter in fine ces agrégats statistiques pour en tirer des enseignements quant à l'opinion.

Quelles fonctions pour une solution de dépouillement d'enquête à questions ouvertes ?

Les solutions de dépouillement d'enquêtes d'opinion comportent habituellement plusieurs fonctions majeures.

Une analyse morpho-syntaxique et sémantique

Le travail de dépouillement commence par une analyse poussée du texte.

L'outil doit être capable de normaliser - c'est à dire, notamment, redresser les erreurs orthographiques, grammaticales ou syntaxiques - des contributions grand public.

Il est souvent complété par des connaissances lexicales spécifiques à l'enquête : mots ou expressions propres au domaine traité, règles de désambiguïsation spécifiques au domaine.

Une fonction de catégorisation automatique

Des algorithmes de catégorisation automatique de mots ou expressions détectés comme sémantiquement proches ("clusters"),  permettent de faire émerger les catégories qui constitueront des étiquettes d'annotation des réponses.

Les catégories gagnent à être examinées et ajustées par une expertise humaine, ne serait-ce que pour leur donner un libellé explicite.

Une fonction de gestion des étiquettes thématiques

Les solutions d'analyse de réponses libres incluent souvent une fonction de gestion des étiquettes destinées à annoter le texte : validation/amélioration manuelle des regroupements d'expressions proposés automatiquement,  ajustement des règles de reconnaissance des catégories, nommage des étiquettes, organisation hiérarchique des étiquettes dans une taxonomie...

Une fonction d'annotation des réponses libres

L'analyse des réponses libres comporte une étape d'annotation des réponses au moyen des étiquettes thématiques extraites du même corpus et révisées au besoin.

A  chaque réponse sont associées de manière logique des étiquettes correspondant chacune à une séquence textuelle de la réponse (le span).

Une fonction d'analyse statistique des annotations

Sur la base de l'annotation des réponses par des étiquettes thématiques, une analyse quantitative est appliquée comme on pourrait le faire de toute source de données pour rechercher des phénomènes statistiques, sur une enquête unique à l'instant T ou bien sur une évolution dans le cas d'enquêtes à campagnes répétées.

De même que dans toute enquête, les réponses libres sont souvent partitionnées selon des catégories sociologiques (ex. âge, genre, catégorie socio-professionnelle, niveau d'études, etc.), les données quantitatives fournies par les étiquettes thématiques peuvent être croisées avec des catégories de réponses.

Si l'enquête d'opinion fait l'objet de campagnes régulières, l'analyse statistique comporte souvent une observation des évolutions dans les données : tendances lourdes, signaux faibles, pics inhabituels...

Une fonction de restitution plus ou moins poussée en tableaux de bord paramétrables complète usuellement les analyses statistiques.