In che modo Semrush trasforma i dati sul traffico in informazioni sul traffico

Forse ti sei chiesto da dove provengono le informazioni sul traffico che vedi nei nostri strumenti Traffic Analytics e Market Explorer. 

Questo articolo svela i processi principali, dalla raccolta dei dati grezzi agli insight pronti all'uso visibili all'interno degli strumenti.

Fondamentalmente, tutti i dati passano attraverso quattro fasi chiave:

1. Raccolta dei dati
2. Pulizia dei dati
3. Modellazione dei dati
4. Consegna dei dati

Raccolta dei dati

Riceviamo terabyte di dati da un panel di fornitori di dati terzi ogni uno o due giorni. Si tratta di quelli che vengono chiamati dati clickstream: offrono una visione aggregata di milioni di percorsi online di utenti reali ma anonimizzati, seguendo la loro attività online. 

I dati clickstream ci permettono di identificare le statistiche e le tendenze generali del comportamento degli utenti. 

Pulizia dei dati

Tutti i dati vengono aggregati e allineati con un formato comune nel sistema di analisi del traffico. 

Utilizzando il nostro modello di machine learning proprietario ripuliamo i dati da varie anomalie. 

Man mano che la nostra IA continua ad apprendere, inizia a riconoscere gli schemi proprio come il cervello umano, trasformando il modello in un algoritmo completo in grado di individuare le anomalie e di separare meglio i dati discutibili da quelli rappresentativi.

Inoltre, effettuiamo un controllo incrociato dei dati con il database dei backlink di Semrush e con il database delle posizioni organiche nelle SERP per verificare se corrispondono alle specifiche di ogni paese e dispositivo.

Una volta esaminati i dati con il nostro algoritmo, otteniamo un quadro più realistico delle sessioni degli utenti generici e questo è il set di dati su cui costruiamo le nostre metriche sulle interazioni.

Modellazione e consegna dei dati

In questa fase abbiamo un grande contenitore di dati in cui archiviamo clickstream e dati proprietari.

Prima di inserire questi dati nel nostro modello di machine learning vengono sottoposti a un ulteriore controllo. Normalizziamo i dati, tenendo conto della popolarità del dominio e del comportamento "tipico" degli utenti nei vari paesi, aree demografiche, dispositivi e settori.

Ad esempio, un utente statunitense che utilizza il web solo una volta al mese visiterà più facilmente Google (un dominio popolare) che il sito web della FDA (un dominio un po' meno visitato), quindi eliminiamo la parte di utenti con modelli di attività molto deboli nel tentativo di ottenere dati più accurati sia per i siti web più popolari che per quelli meno visitati.

Questo ci aiuta a inserire dati più significativi nel nostro modello di apprendimento automatico. 

L'algoritmo si basa sull'apprendimento supervisionato, il che significa che la nostra tecnologia relativa ai Big Data continua a migliorare e a imparare ogni giorno.

Dati sul traffico giornaliero e settimanale 

A partire da settembre 2023, Semrush offre dati giornalieri e settimanali all'interno di Traffic Analytics. Questa funzione migliorata è accompagnata dall'adozione di un nuovo modello di intelligenza artificiale che offre una maggiore granularità del traffico, precisione e stabilità. 

Mentre prima elaboravamo i dati solo su scala mensile, il nuovo modello prevede l'elaborazione dei dati su base giornaliera. L'elaborazione dei dati su base giornaliera ci permette di fornire metriche di traffico giornaliere e settimanali per i domini dei concorrenti.



Questo aggiornamento potrebbe influenzare le statistiche dei report di Traffic Analytics, compresi i dati storici fino al 2017. Grazie a questo modello di intelligenza artificiale migliorato che offre dati più affidabili siamo in grado di affinare le nostre stime precedenti, il che potrebbe causare alcuni cambiamenti nelle metriche.

Sulla copertura dei dati di Semrush sul traffico

Quando si parla di qualità dei dati, non esistono limiti. Per questo motivo lavoriamo costantemente per aggiungere nuovi dati ai nostri strumenti, mentre le nostre tecnologie relative a IA e Big Data continuano ad apprendere e a far progredire i loro algoritmi. 

Abbiamo recentemente aggiornato il nostro modello di elaborazione dei dati per la raccolta di informazioni sul traffico, che ci ha permesso di espandere la copertura dei dati sul traffico del 20%.

Qui sotto potrai scoprire cosa è cambiato esattamente.