Come Semrush trasforma i dati sul traffico in informazioni sul traffico

Forse ti stai chiedendo da dove provengano le informazioni sul traffico che vedi nei nostri strumenti Analisi traffico e Market Explorer. 

Questo post svela i processi principali che, partendo dalla raccolta di dati grezzi, portano alla formulazione degli insights pronti all'uso visibili all'interno degli strumenti.

Essenzialmente, tutti i dati passano attraverso quattro fasi chiave:

1. Raccolta dei dati
2. Pulizia dei dati
3. Modellazione dei dati
4. Consegna dei dati

Raccolta dei dati

Riceviamo terabyte di dati da un gruppo di data provider di terze parti ogni uno o due giorni. Questi sono i cosiddetti dati clickstream, che offrono una visione aggregata di milioni di percorsi online reali ma anonimi di utenti di Internet, seguendo la loro attività online. 

I dati clickstream ci consentono di identificare statistiche e tendenze generali del comportamento degli utenti. 

Pulizia dei dati

Tutti i dati vengono aggregati e allineati con un formato comune nel sistema di analisi del traffico. 

Utilizzando il nostro modello di apprendimento automatico proprietario, ripuliamo i dati da varie anomalie. 

Man mano che la nostra IA apprende, inizia a riconoscere schemi come farebbe un cervello umano, trasformando il nostro modello in un algoritmo completo in grado di individuare anomalie e separare meglio i dati discutibili dai dati rappresentativi.

Realizziamo anche un controllo incrociato dei dati con il database dei backlink di Semrush e il database delle posizioni SERP organiche per vedere se corrispondono alle specifiche di ciascun Paese e dispositivo.

Una volta che i dati vengono esaminati con il nostro algoritmo, otteniamo un'immagine più realistica delle sessioni degli utenti generici e questo è il set di dati attorno al quale costruiamo le nostre metriche di engagement.

Modellazione dei dati e consegna

In questa fase, abbiamo una scatola di big data in cui memorizziamo i dati clickstream e i dati proprietari.

Prima di inserire questi dati nel nostro modello di apprendimento automatico, viene eseguito un altro controllo. Normalizziamo i dati, prendendo in considerazione la popolarità del dominio, così come il comportamento "tipico" dell'utente attraverso Paesi, caratteristiche demografiche, dispositivi e vari settori.

Ad esempio, un utente degli Stati Uniti che utilizza il Web solo una volta al mese visiterà più probabilmente Google (un dominio popolare) rispetto al sito Web della FDA (un dominio un po' meno visitato), quindi eliminiamo la parte di utenti con schemi di attività molto deboli nel tentativo di ottenere dati più accurati sia per i siti Web più popolari che per quelli meno visitati.

Questo ci aiuta a inserire dati più significativi nel nostro modello di apprendimento automatico. 

L'algoritmo passa attraverso l'apprendimento supervisionato, il che significa che la nostra tecnologia per i big data continua a migliorare e ad apprendere ogni giorno.

Sulla copertura dei dati di traffico di Semrush

La qualità dei dati non ha limiti. Per questo lavoriamo costantemente per aggiungere nuovi dati ai nostri strumenti, mentre la nostra intelligenza artificiale e la tecnologia dei big data continuano a imparare e a far progredire i loro algoritmi. 

Abbiamo recentemente aggiornato il nostro modello di elaborazione dei dati per raccogliere informazioni sul traffico: questo ci ha permesso di ampliare la nostra copertura dei dati sul traffico del 20%.

Di seguito, puoi scoprire cosa è cambiato esattamente.

*Gli eventi rappresentano il fatto che un utente ha visitato una certa pagina Web.

**Le sessioni sono un insieme di azioni intraprese da un utente su un determinato sito web durante un periodo di tempo limitato. In Semrush .Trends, ci riferiamo alle sessioni come visite.