TL;DR
- Uno screenshot da solo non dice niente: i modelli cambiano risposta tra un'esecuzione e l'altra.
- Serve un set fisso di domande, misurato ogni settimana e aggregato ogni mese.
- Menzione, citazione e raccomandazione sono tre cose diverse e vanno contate separatamente.
- Senza un gruppo di confronto non distingui l'effetto del tuo aggiornamento dal rumore di fondo.
- Semly ti dà report giornalieri, analisi dell'andamento e verifica dei consigli dopo l'implementazione.
- Il risultato si valuta dopo 2 o 3 mesi, non dopo una settimana.
Hai aggiornato le pagine prodotto, riscritto due articoli, magari aggiunto qualche dato e qualche fonte. Poi hai aperto ChatGPT, hai fatto la tua domanda di sempre e... la risposta sembrava uguale a prima. Oppure diversa, ma non capisci se in meglio.
È qui che nasce il problema. Nelle risposte AI non esiste un "posizione 4" stabile da controllare. Esiste un insieme di risposte che cambia, e per capire se il tuo lavoro sta funzionando devi trattarlo come un dato, non come un'impressione.
In questa guida vediamo un metodo semplice per misurare la visibilità del brand nelle risposte AI mese per mese. Niente formule complicate: solo un set di domande, un registro delle modifiche, un gruppo di confronto e qualche regola di lettura. Semly entra qui come piattaforma che tiene traccia di tutto questo ogni giorno, così il conto mensile non lo devi ricostruire a mano.
Partiamo da qui.
Misurare la visibilità del brand nelle risposte AI: cosa conta davvero
La prima cosa da mettere in chiaro: una risposta non è una misura. Se chiedi due volte la stessa cosa allo stesso modello, puoi ottenere due testi diversi. Se cambi una parola nella domanda, cambia anche il risultato. Se il modello viene aggiornato, cambia tutto il quadro.
Quindi perché due volte vedi una risposta diversa? Perché il modello non pesca da un archivio fisso: genera. E genera in modo leggermente diverso ogni volta.
E allora basta uno screenshot? No. Lo screenshot è un'istantanea, e come tutte le istantanee racconta un momento, non un andamento. Va bene per mostrare un esempio a un collega, non per decidere se rifare una pagina.
Ci sono tre fonti di variabilità da tenere a mente:
- La casualità del modello. La stessa domanda può produrre risposte diverse, anche a distanza di minuti.
- La parafrasi della domanda. "Miglior scarpe da trail sotto i 150 euro" e "quali scarpe da trail comprare con budget contenuto" non sono la stessa domanda per il modello.
- L'aggiornamento del modello. Quando il modello cambia versione, cambia anche il modo in cui sceglie e cita le fonti.
Solo la terza è un segnale vero, e va annotata nel tuo registro. Le prime due sono rumore: non le elimini, le medi su più misurazioni.
Un'ultima cosa, importante. Nelle risposte AI la menzione conta più del click. Se il tuo brand viene nominato in una risposta, hai già ottenuto visibilità, anche se nessuno clicca. Per questo il monitoraggio AI va letto come un canale a sé, separato da Google e da Bing.
Le metriche da tenere d'occhio (e cosa significano)
Prima di misurare, serve un vocabolario comune. Altrimenti succede che due persone in azienda guardano lo stesso numero e intendono due cose diverse.
| Metrica | Cosa risponde | Come si legge |
|---|---|---|
| Quota di risposte con menzione | In quante risposte compare il tuo brand | Risposte con menzione diviso risposte valide, in percentuale |
| Posizione media | In che ordine vieni nominato rispetto alle alternative | Più basso è il numero, più in alto sei nella lista |
| Sentiment | Come viene descritto il brand nel passaggio che lo cita | Quota di risposte positive, neutre e negative |
| Citazione dell'URL | In quante risposte un tuo link compare tra le fonti | Risposte con almeno un URL del brand diviso risposte valide |
| Share of voice | Quanto spazio occupi rispetto ai concorrenti | Tue menzioni diviso menzioni totali della categoria |
| Copertura delle domande | Quante domande del tuo set ti vedono presente | Domande coperte diviso domande del set |
La distinzione che salva più discussioni è questa: menzione, citazione e raccomandazione non sono la stessa cosa. Essere nominato non significa essere linkato. Essere linkato non significa essere consigliato. Puoi comparire in una risposta come fonte citata e restare fuori dalla lista finale dei suggerimenti: è il tema delle menzioni e raccomandazioni AI.
Perché allora guardare anche la share of voice? Perché ti dice se stai crescendo tu o se sta crescendo tutta la categoria. Se il tuo numero sale ma quello dei concorrenti sale di più, la tua posizione relativa peggiora.
Come impostare il test prima e dopo un aggiornamento
Ora la parte operativa. Il metodo è un before/after, e funziona solo se lo imposti prima di toccare la pagina.
- Costruisci 30-50 domande e congelale. Copri categorie, confronti, casi d'uso e intento d'acquisto. Da quel momento il set non si tocca.
- Raccogli un baseline di 2-4 settimane. Serve a capire quanto oscilla il tuo numero quando non fai nulla.
- Salva la versione della pagina e la data di pubblicazione. Screenshot, testo, URL: tutto datato.
- Segna la settimana di transizione e riportala a parte. In quei giorni il modello sta ancora assorbendo la modifica.
- Osserva per 2-4 settimane con lo stesso set di domande.
- Valuta a una data fissata in anticipo. Non quando "sembra andata bene".
Il punto 4 è quello che quasi tutti saltano. Se mescoli la settimana del rilascio con il resto, ti ritrovi con una media che non significa niente.
Per rendere i mesi confrontabili, tieni un registro delle modifiche. Basta un foglio di calcolo con questi campi:
Registro delle modifiche
- Periodo (data inizio e data fine)
- Modello AI osservato
- Versione del set di domande
- Risposte valide
- Risposte con il brand
- Risposte con un URL del brand
Le risposte vuote o gli errori non sono zeri: sono dati mancanti. Segnarli come zero abbassa la media e ti fa prendere decisioni sbagliate. Se gestisci più progetti, vale la stessa logica del monitoraggio AI per agenzie: regole comuni e registri separati.
Perché serve un gruppo di confronto
Qui arriviamo al passaggio che distingue un'analisi da un'impressione. Se aggiorni una pagina e dopo un mese il numero sale, non sai se è merito tuo o se è cambiato il contesto.
La soluzione è semplice: affianca alla pagina aggiornata una pagina simile che non hai toccato. Chiamiamole gruppo A e gruppo B.
| Gruppo | Baseline | Dopo 4 settimane | Variazione |
|---|---|---|---|
| A, pagina aggiornata | 20% | 35% | +15 punti |
| B, pagina non toccata | 20% | 25% | +5 punti |
| Differenza tra le variazioni | +10 punti |
I numeri sono un esempio, servono solo a far vedere il meccanismo. Il senso è che il gruppo B ti dice quanto sarebbe successo comunque. In gergo si chiama difference-in-differences: confronti le variazioni, non i valori assoluti. Detto in modo semplice, togli dal tuo risultato quello che è successo anche a chi non ha fatto nulla.
E se non hai una pagina simile? Puoi usare un'altra pagina dello stesso sito con funzione analoga, oppure un concorrente come riferimento esterno. Non è perfetto, ma è molto meglio di niente.
E basta confrontare con il mese scorso? No, perché il mese scorso non ti dice cosa sarebbe accaduto senza il tuo intervento.
Semly ti aiuta a osservare le fonti citate e a tornare su una misurazione specifica per verificare se il link punta davvero alla pagina che hai aggiornato. Il gruppo di confronto però lo scegli tu: è una decisione editoriale, non un'impostazione del pannello.
Come leggere i risultati mese per mese
A questo punto hai i dati. Il rischio è leggerli male. Quattro regole aiutano.
- Guarda il trend, non il singolo mese. Un mese è un punto, il trend è una direzione.
- Confronta mese su mese e anno su anno. La stagionalità esiste anche nelle domande che le persone fanno all'AI.
- Annota le date di aggiornamento dei modelli sul grafico. Un salto in corrispondenza di un rilascio va spiegato prima di attribuirlo al tuo lavoro.
- Considera reale un risultato solo se tiene per due misurazioni consecutive. Una salita isolata può essere rumore.
Facciamo un esempio. Baseline al 18%. Primo mese dopo l'aggiornamento: 24%. Secondo mese: 26%. Nel primo mese la risposta onesta è "ancora non lo sappiamo": la variazione è compatibile con l'oscillazione normale. Nel secondo mese, con lo stesso set di domande e lo stesso gruppo di confronto, puoi dire "qualcosa si vede". Se al terzo mese il numero resta lì o sale ancora, hai un risultato su cui costruire.
E se il risultato scende? Prima di rifare tutto, controlla tre cose: hai cambiato il set di domande? È cambiato il modello? Il gruppo di confronto è sceso insieme a te? Se scende anche il gruppo B, probabilmente non è colpa della tua pagina.
Dove entra Semly nel tuo monitoraggio mensile
Il metodo funziona anche con un foglio di calcolo, ma diventa pesante quando i modelli sono cinque e le domande cinquanta. Ecco dove Semly si inserisce nel flusso mensile.
- Report giornalieri: sono la base da aggregare a fine mese, così non devi rifare le misurazioni a mano.
- Analisi dell'andamento (Base e Avanzato): ti mostra la direzione della visibilità nel tempo, che è esattamente ciò che ti serve per leggere il trend.
- Verifica dei consigli dopo l'implementazione (Ultra e Scale): collega la modifica fatta alla misurazione successiva.
- Analisi di fonti e concorrenti: ti dice chi viene citato al posto tuo e quanto pesa la categoria, cioè il tuo gruppo di confronto esterno.
- Agente Leon (Co-pilot e Autopilot): crea e aggiorna i contenuti partendo dalle lacune di visibilità, così il ciclo tra misurazione e intervento resta corto.
- Semly Report, il generatore gratuito di report: utile come primo punto di partenza, prima di attivare il monitoraggio continuo.
Una precisazione da tenere a mente: Semly non garantisce posizioni né citazioni. Nessuno può farlo, perché la risposta dipende dal modello. Quello che ottieni è una misura ripetibile nel tempo, che è la cosa che ti serve davvero per decidere. Se stai valutando più soluzioni, il confronto Semly vs Peec AI aiuta a capire cosa aspettarti da uno strumento di questo tipo.
Gli errori che rovinano la misurazione
Chiudiamo con la lista delle trappole più comuni. Se ne riconosci una, hai già la correzione.
- Cambiare le domande durante il test. Tieni un nucleo stabile e versiona ogni modifica a parte.
- Non avere un gruppo di confronto. Scegli una pagina simile e non toccarla.
- Mescolare i modelli in un'unica media. Ogni modello cita fonti diverse: misura per ambiente e poi aggrega.
- Confondere menzione e citazione. Sono due metriche distinte, tracciale entrambe.
- Valutare dopo pochi giorni. Aspetta almeno due o tre cicli di misurazione.
- Trarre conclusioni da un solo screenshot. Serve una serie, non un'immagine.
In sintesi: la tua routine mensile
Se vuoi ridurre tutto a una pratica ripetibile, eccola in cinque passi.
- Domande fisse. Lo stesso set, la stessa lingua, lo stesso mercato.
- Misurazione settimanale. Quattro rilevazioni che a fine mese diventano una media.
- Registro delle modifiche. Cosa hai cambiato, quando, su quale pagina.
- Confronto con il gruppo. La pagina non toccata ti dice cosa sarebbe successo comunque.
- Conclusione e decisione. Confermi, correggi o rifai. E poi riparti.
Non serve altro. La parte difficile non è il metodo, è la costanza: misurare anche il mese in cui non hai voglia di farlo.
Se vuoi partire da un numero invece che da un'ipotesi, il primo passo è fare una misurazione con Semly e usarla come baseline. Da lì in poi ogni mese hai un termine di paragone reale, e le decisioni su sito e contenuti smettono di essere una scommessa.