Misurare il mood, detto malamente sentiment

di Enrico Pozzi

Uno nuovo spettro si aggira per le stanze dei comunicatori italiani: l’idea che sia possibile misurare in modo automatizzato lo stato d’animo, le opinioni e gli atteggiamenti presenti nei media classici e nei new media, nei social network, nella conversazione sociale.
Diciamolo subito e brutalmente: allo stato attuale questa idea è nel migliore dei casi una pretesa avventata, nel peggiore una bufala.

Il processo è più o meno questo. Si mettono insieme in qualche modo (aggregatore, robot, rassegna stampa elettronica, altre modalità di ricerca automatica e non) degli insiemi di testi o frammenti di testi con dentro parole chiave che ci interessano. Ad es. tutto ciò che sul web 2.0 o in twitter questa settimana contiene il nome di un’azienda, di un prodotto, di un Ad un po’ narciso ecc. Questo corpus di materiali viene ‘trattato’ in qualche modo, e qui già nascono i primi gravissimi problemi, oppure viene preso così com’è, perché non c’è tempo per trattarlo e/o costa molto.
Il testo elettronico viene ‘passato’ ad un computer – i più audaci dicono: un normale pc – e (miracolo) esce fuori ogni ben di dio: a) il riassunto dei contenuti principali, b) il riassunto dei singoli materiali, c) il mood globale e segmentato (per il singolo ‘pezzo’ o post o messaggio), d) l’identificazione dei ‘messaggi’ positivi, negativi e a volte anche neutri sulle parole chiave scelte, e) il listato dei suddetti ‘messaggi’ o frammenti, f) la rappresentazione grafica in tempo reale di tutto ciò (splendidi istogrammi che ci dicono subito quanti sono i positivi e quanti i negativi, le curve del mood nel tempo, e tante altre fantastiche cose, g) e, per i più bravi, tutta una serie di correlazioni con altre variabili capaci di generare orgasmi multipli in direttori marketing, responsabili stampa, responsabili di prodotto, agenzie ecc ecc.

Cerchiamo di veder l’aspetto nobile di tutto ciò. Da tempi immemorabili, il pensiero occidentale insegue il sogno di ridurre a ragione (logico matematica) e a quantità il linguaggio naturale e i testi scritti verbali o altri che esso produce. Dalla mathesis universalis di Leibniz, passando per Frege e Russell, è nata la logica matematica moderna. Da una delle sue conseguenze indirette, l’analisi del contenuto della scuola di Lasswell, è nato il tentativo generoso di formalizzare e rendere calcolabile non più solo il linguaggio astratto ma quello di tutti i giorni.
Tentativo generoso, dicevamo, nei più seri. In altri modesto sforzo per accaparrarsi di corsa un mercato senza andare tanto per il sottile.
Vediamo cosa rende intrinsecamente difficilissima l’analisi automatica del linguaggio naturale (NLP). Devo purtroppo essere schematico, cercare di non rifugiarmi nel gergo tecnico, e limitarmi ad un lungo elenco

  1. Il trattamento automatizzato deve operare su testi sempre meno compatti linguisticamente. Le lingue si stanno ibridando ad una velocità sconcertante. Imperversano dialetti settoriali: geografici, funzionali, di categoria, di gruppo, che mirano a distinguersi con forza dalla lingua formale di riferimento. Poiché la metodologia prevalente della NLP, cosidetta ontologica, usa sistemi di dizionari, occorrono dizionari sempre più ipertrofici per affrontare frammenti banali di conversazione sociale.
  2. Ci muoviamo sempre più in sistemi di segni che mescolano lettere, ideogrammi, espressioni alfanumeriche di sonorità, forme di stenografia poco codificata. In interi segmenti chiave della comunicazione che interessa le aziende, non esiste quasi più nessuna delle regole grammaticali e sintattiche che consentivano una prevedibilità nei testi, e dunque l’uso di probabilità statistiche nella loro analisi. Si provi a utilizzare lemmatizzatori anche potenti per analizzare il txtng, e si valuti il risultato…(mi scuso, ma occorre una pedanteria: i lemmatizzatori sono procedure software che devono riportare ai lemmi di base una frase ‘naturale’. Ad es. sono stato al mare ed è piovuto tutto il giorno diventa essere a lo mare e piovere tutto lo giorno. Questo in teoria rende più facili una serie di analisi statistiche di un testo, per es. distinguendo stato (verbo essere) e stato (sostantivo: lo stato italiano). In realtà richiede innumerevoli ‘disambiguazioni’, e diventa un incubo impraticabile per molti dialetti settoriali).
  3. Nessun software di analisi del linguaggio naturale riesce a gestire adeguatamente le negazioni, le negazioni multiple, le negazioni implicite, le negazioni da contesto, le false negazioni ecc. Eppure la misura adeguata della negazione è forse la cosa che serve di più al committente….
  4. Nessun software sa affrontare adeguatamente tutti i più diffusi tropi retorici: le metafore, le metonimie, le ellissi, e tutte le altre diavolerie che i nemici ante litteram dell’analisi computerizzata del sentiment sono andati inventando da migliaia di anni. Tanto più che spesso i tropi si intrecciano con le negazioni e tra loro.
  5. Nessun software sa gestire l’ironia, la differenza tra ironia e sarcasmo, l’intreccio dell’ironia con altri tropi, come l’iperbole ironica, che sono tra i più usati nei discorsi mediatici e nelle conversazioni sociali che riguardano i committenti.
  6. Il contesto, alcune forme di punteggiatura, segni come la parentesi o il trattino, procedure come l’andata a capo , modificano in modi drastici e spesso non prevedibili o identificabili il senso e la tonalità di un frammento di conversazione.
  7. Parole, espressioni o pezzi di frase identici possono avere un ‘significato’ capovolto anche quando si ripetono in uno stesso testo.
  8. Nessun software identifica e gestisce il sottinteso, l’allusione, l’ambiguità voluta e l’ancora più pericolosa ambiguità involontaria, le cosidette sfumature: tutte componenti statisticamente fondamentali della comunicazione nei media classici e nuovi.
  9. Nessun software gestisce in modo credibile le differenze e i cambiamenti di registro comunicativo.
  10. Il valore di negatività o positività attribuito alle parole o espressioni in base a dizionari generici delle parole negative o positive genera risultati gravemente distorti. Parole o espressioni che per il senso comune sono negative possono essere molto positive per alcuni target fondamentali.
    Espressioni che sono negative per una azienda sulla base del profilo di identità strategica che si è scelta possono essere per un’altra azienda molto positive per la stessa ragione. “Aggressivo” può essere proprio il sentiment che io desidero, ma per un altro può essere il più negativo e controproducente dei sentiment possibili.
    Per essere almeno un poco attendibili, occorrerebbe costruire dizionari ad hoc delle espressioni positive o negative per ciascun committente. E’ lungo, faticoso, costosissimo, soggetto a continui riadattamenti e cambiamenti (l’azienda cambia strategia di comunicazione, e io devo rifare i dizionari…). Diciamolo chiaro: non lo fa nessuno, neanche le aziende o le organizzazioni che si costruiscono in interno strumenti di analisi del linguaggio naturale, figurarsi gli altri.
  11. Nessun software esistente decodifica in modo attendibile i testi o messaggi ‘neutri’, cioè puramente informativi, che pure sono numerosissimi. In genere finiscono nel positivo o nel negativo…
  12. Nessun software – e questo è francamente ridicolo – pondera il peso di un messaggio in funzione della fonte e delle sue caratteristiche interne. Qualcuno lo fa dopo e dall’esterno, ma qui si aprono altri abissi molteplici di errore sui quali tornerò al più presto.

Tutto questo sta diventando troppo lungo e pedante. E d’altra parte esistono in giro molte analisi tecniche anche di grandi player come Microsoft, Facebook, HP ecc, che dicono molto di più, molto di peggio, e con molti dati, quello che ho riassunto di corsa.

Provo a sintetizzare, tentando anche un po’ di salvare il salvabile:

  1. l’analisi automatica del mood, del sentiment e dei contenuti cognitivi o emotivi dei media classici e delle conversazioni elettroniche è uno strumento (ancora?) grossolano e largamente inattendibile, con in più il pericolo di produrre numeri, e dunque illusorie sensazioni di oggettività quantitativa in chi lo usa o lo compra.
  2. Gli errori e l’inattendibilità aumentano in modo esponenziale quando si applica lo strumento a issues sempre più puntuali o a temi sempre più specifici.
  3. tuttavia l’analisi automatica può cogliere con prudenza e approssimazione trend, mood, sentiment e contenuti molto generali, ma solo quando viene applicata a masse imponenti di dati testuali su periodi di tempo relativamente lunghi. Per “masse imponenti” intendo basi di almeno 5-6 milioni di parole, meglio se di più, distribuite su almeno 3-4 momenti t1, t2, tn sull’asse del tempo. Una analisi benchmark di partenza, e se possibile molto più ampia di quanto abbiamo appena scritto, sarebbe indispensabile per aumentare l’attendibilità dei cambiamenti eventualmente registrati dalle analisi successive.
  4. Chi pretende di applicare l’analisi automatica a piccole basi di testo, o addirittura a un po’ di interviste magari telefoniche a qualche analista finanziario, è un consapevole venditore di fumo.
  5. L’analisi automatica del linguaggio naturale diventa più attendibile se viene accompagnata e sostenuta in tutte le sue fasi dall’intervento di operatori umani esperti, ai quali vanno delegate tutte le operazioni che possono correggere i limiti dello strumento: identificazione del valore positivo/negativo/neutro, disambiguazione, riconoscimento dei tropi ecc, decodifica dei segni non inclusi nei dizionari.
  6. L’analisi automatica serve a qualcosa solo se pondera in modo attendibile e continuamente aggiornato le fonti, i canali e le caratteristiche comunicative intrinseche dei singoli messaggi o frammenti di testo. Se questo non viene fatto, i presunti risultati possono portare gravemente fuori strada l’incauto committente.

Ancora più in sintesi:

  • l’analisi automatica del mood e del sentiment serve a qualcosa solo se lavora su grandi basi di dati e su periodi estesi, con il supporto indispensabile e massiccio di operatori umani
  • l’analisi automatica senza operatori umani fornisce indicazioni molto approssimative e generiche, alle quali è impossibile legare verifiche o scelte significative
  • l’analisi automatica attendibile è ‘sartoriale’, custom made: va costruita ad hoc per ogni singolo committente e possibilmente non in modo spot, non può essere multiclient
  • fatta in modo serio, è uno strumento di impressionante ricchezza ed efficacia per monitorare i media e le conversazioni sociali, per intuire in tempo reale cambiamenti ancora invisibili che stanno avvenendo nelle percezioni e negli stati d’animo dei target rispetto a un azienda, a un prodotto o a un vertice aziendale, e per intervenire correggendoli o accompagnandoli tempestivamente
  • fatta in modo serio e con i criteri indicati sopra, questa analisi è costosa (labour intensive). Se costa poco, non è la roba di cui sto parlando. E tuttavia, in termini sia assoluti che relativi, costa molto meno e dà molto più degli strumenti con i quali tradizionalmente si inseguono le percezioni latenti e gli stati d’animo dei pubblici di un marchio o di un prodotto/servizio già esistente o che sta per essere lanciato.

2 Trackback & Pingback

  1. Misurare il mood in maniera automatica? Meglio lanciare una moneta - Misurarelacomunicazione
  2. Il buzz sui social media e gli ascolti televisivi sono correlati? - misurare la comunicazione

Scrivi un commento

L'indirizzo email non sarà pubblicato.

*