Analisi del sentiment sui social: quanto è efficace?
Sentiment.
Quante volte da appassionato di web marketing hai sentito proferire questa parola e quante volte ti sei sentito affascinato dalla stessa?
Ma cosa si cela dietro questo termine così attrattivo? La sentiment analysis (o opinion mining) non è altro che lo studio di polarità dei testi, effettuato mediante l’utilizzo di algoritmi, abbastanza complessi, di linguistica computazionale.
Questi algoritmi lavorano su lunghissime liste di parole a cui viene assegnato un valore di polarità, positiva o negativa, su una scala, ad esempio da -3 a +3. Per ogni frase, a questo punto, è possibile stabilire se questa tende a un valore complessivo positivo o negativo, delineandone quindi quello che viene definito sentiment.
Questa tipologia di analisi risulta essere molto attrattiva, tanto da catalizzare attenzione e investimenti da parte di brand anche molto importanti.
Nel corso di questo post andrò a delineare una serie di criticità di questa tipologia di studio, indicando come alternativa il social listening. Ecco le tre riflessioni, riconducibili ad altrettante problematiche, che dovresti fare se stai pensando di intraprendere un'attività di opinion mining o analisi del sentiment nei confronti del tuo brand:
1# Non ne hai bisogno
O almeno, ti sei chiesto se hai davvero bisogno della sentiment analysis?
Non ne hai bisogno perché, in fondo, sapere se si parla di te meglio o peggio dello scorso mese è un’informazione parzialmente irrilevante. Se lavori in un settore, crei dei prodotti o offri dei servizi l’unico obiettivo che puoi porti è fare di meglio, sempre. Non hai bisogno di una lancetta di un tachimetro che ti indichi che stai andando bene o male per continuare a sentire la volontà di progredire e migliorare. Certo, può essere utile tastare la percezione del tuo brand online, ma resta un dato povero di informazioni.
Migliorare è l’unica strada: nel web marketing non esistono diete di mantenimento. Il mercato ci vuole migliori, sempre, e sapere semplicemente che si parla meglio o peggio di noi riesce solo a dare botte d’autostima o colpi bassi e dolorosi, che nulla aggiungeranno a cosa poi, effettivamente, andremo a mettere in campo.
Il contesto è frenetico e pieno di stimoli, e non possiamo pensare di governarlo. L’unico modo per non rischiare è perseguire l’obiettivo di migliorare, a prescindere da quali risultati si siano ottenuti in termini di sentiment analysis.
2# Funziona male (specie sull’italiano)
Questo forse è il punto più spinoso, perché parliamo di una disciplina e di una metologia in continua evoluzione, ben lontana dall’avere un’efficacia sostanziale nelle sue automazioni. La rilevazione automatica del sentiment non funziona granché bene, specie sulla nostra lingua.
Non funziona per alcuni semplici motivi:
- l’italiano è una lingua ricca di ambiguità, il che la rende anche quella che meglio si presta ai processi creativi che hanno dato vita ai principali componimenti letterari (la storia lo insegna e il compianto Eco lo ricordava);
- il sarcasmo e l’ironia. Il mondo è pieno di persone che faticano a percepirli, figuriamoci se ci riescono le macchine;
- la lingua è mutevole e, specie sul web, il proliferare di nuove modalità espressive e neologismi rende difficile tenere il passo con l’istruzione di veri e propri vocabolari che assegnino valori di polarità a parole singole o relate. Alcuni esempi dell’inefficacia della sentiment analysis nell’elaborazione del linguaggio umano? La parola “ignorante” su alcuni canali Facebook ha assunto un’accezione positiva. Il gettonatissimo hashtag “escile” difficilmente riuscirai a trovarlo sul Garzanti. Per non parlare di “ciaone”...
- le persone parlano male. Talvolta malissimo. Facebook e i social sono strumenti facili da utilizzare, che vedono il proprio successo nell’abbattimento delle barriere d’accesso al web, che hanno consentito la possibilità a tutti di utilizzare la rete.
Va da sé che molte pagine siano gremite di commenti grammaticalmente non impeccabili, verbi strampalati e tante tipologie di distorsione che, certo, non rappresentano il livello medio d’istruzione degli italiani, ma sicuramente creerebbero problemi a qualsiasi algoritmo automatico per l’elaborazione del linguaggio naturale che, per quanto si sforzi di essere intelligente, difficilmente comprenderà le logiche per cui si possa scrivere “celtici” piuttosto che “celiaci”.
3# C’è un errore di fondo
L’unica, vera, utilità della sentiment analysis può essere quella di estrarre degli indicatori di reputazione, da valutarsi insieme a un sistema complesso di altri fattori, dal computo dei quali si potrà evincere un quadro complessivo.
I sistemi automatici di analisi testuale tendono ad aggregare conversazioni che comprendono determinate keyword come, ad esempio, il nome di un brand. Un tool a cui sia affidata la ricerca di tutte le conversazioni che riportino la keyword “Coca-Cola” aggregherà in un unico dataset ogni genere di post che la comprenda.
Il bilancio finale dell’analisi del sentiment, con tutte le criticità e i limiti di cui sopra, sarà basato su un set di dati quasi sicuramente disomogenei dal punto di vista dei contenuti.
Possiamo calcolare senza alcuna distinzione le posizioni dei consumatori (o degli interessati) senza distinguere se i commenti siano riferiti alla qualità dei prodotti, alla condizione dei lavoratori, a una campagna pubblicitaria, piuttosto che a una partnership per qualche specifico evento?
Le principali aziende che fanno sentiment analysis si dotano, non a caso, di staff dediti al controllo dei risultati, proprio per ovviare a tutte le criticità descritte. Questa tipologia di analisi, a mio avviso, ha ragione di esistere solo quando è il tema stesso a dettare logiche di polarità. A schierare.
Non è la sentiment analysis a non esistere. È l’automatizzazione della stessa a non essere plausibile.
Quale strada seguire?
C’è una strada, complementare e a mio avviso più utile dell’analisi del sentiment, ed è quella del social listening. Nella metodologia che descrivo sul mio blog, mi avvalgo esattamente come per la sentiment analysis di strumenti di automatizzazione dell’analisi, con l’obiettivo di arrivare a dati più utili e strategicamente interessanti. La linguistica computazionale negli ultimi anni ha fatto importanti progressi in materia di topic extraction.
Perché limitarsi a conoscere (o meglio a supporre) la polarità del dibattito, quando possiamo fare in modo di estrarne i temi rilevanti?
Un brand che analizza le conversazioni intorno alla propria strategia deve assolutamente tener conto di quali temi si innescano nella conversazione pubblica, al fine di valorizzarli o di governarli se risultassero ostici.
Ad esempio: se vendi biscotti ti interessa sapere che il sentiment positivo è cresciuto dell’1% o ti piacerebbe anche sapere quale particolare tipologia di biscotti interessa più (o meno) ai tuoi consumatori?
Per arrivare a questo tipo di informazioni mi avvalgo di due tipologie di analisi:
-
La prima prevede l’estrazione di bigrammi e trigrammi, ossia coppie o triplette di parole relate e ricorrenti nei testi.
-
La seconda, invece, viene definita topic modelling e automatizza la creazione di gruppi di parole semanticamente relate, che consentono di conoscere i topic e i rispettivi pesi nei testi in esame.
Per semplificare la comprensione di questa tipologia di analisi, e per chiarire in quali casi può essere realmente utile lavorare su indagini di polarità, o sentiment, ti rimando a questo studio che ho condotto rispetto al dibattito sulla pagina Facebook di Nichi Vendola, dopo l’annuncio della nascita di suo figlio.
Case history: il caso Vendola
Dopo l’annuncio della nascita del figlio, l’ex Governatore della Regione Puglia ha pubblicato un post su Facebook che ha raccolto solo nelle prime 24 ore oltre 9mila commenti, accendendo un forte dibattito sui temi della maternità surrogata.
Si trattava, nello specifico, di uno di quei casi in cui le persone tendono a prendere posizioni di polarità: pro o contro.
Seguendo la metodologia appena descritta, sono stati estratti tutti i commenti, che poi sono stati “depurati” di stop words (congiunzioni, avverbi, preposizioni etc.). Successivamente è stato effettuato un processo di stemming, con il quale si è provveduto ad eliminare le desinenze delle parole, così da fare in modo che le parole con diverse forme flesse (singolari e plurali, maschili e femminili) ricadessero in un’unica classe.
A questo punto, dal momento che i commenti risultavano essere particolarmente lunghi, si è proceduto all’estrazione dei bigrammi.
Come puoi vedere dallo screenshot che segue, o visualizzare su Social Listening, dopo una controverifica di ricerca degli stessi trigrammi nel corpus dei commenti, si riesce a delineare quale polarità avessero i trigrammi.
Il risultato più interessante è il primo trigramma che, sebbene risulti composto di parole che in analisi di sentiment sarebbero ritenute assolutamente positive, in realtà è all’esatto opposto per polarità, in quanto è stato individuato un utilizzo sarcastico di questo tipo di definizione.
È esattamente qui che vengono fuori tutti i limiti della sentiment analysis, nell’incapacità di individuare inevitabili distorsioni dei testi che probabilemente non consentiranno mai a un algoritmo di sostituirsi al controllo umano.
In conclusione, il social listening ci consente di migliorare sotto due punti di vista l’esame testuale del web:
1) Ci dà maggiori informazioni, che possiamo utilizzare per finalità strategiche. Sapremo cosa si dice di noi ed opereremo a tal proposito.
2) Ci consente un controllo migliore dei dataset, a partire da elementi semplificati ma densi di significato, riducendo in modo consistente il margine d’errore.