L’audit verifica affermazioni specifiche su funzioni e integrazioni del tuo SaaS. Parti da documentazione attuale, piano, versione e data. Confronta manualmente le risposte: una menzione del brand o una citazione della documentazione non dimostrano accuratezza.
Dividi ogni risposta in singole affermazioni. «L’integrazione legge dati e pubblica modifiche automaticamente» contiene due affermazioni. Distingui lettura e scrittura, operazioni manuali e automatiche, creazione di bozze e pubblicazione.
L’assenza di documentazione significa non confermato, non dimostra che una funzione non esista. Un’affermazione errata richiede prove contrarie o conferma del responsabile di prodotto. Valuta le omissioni solo rispetto al test previsto.
Registro di verifica manuale
| Affermazione AI | Fonte / versione / piano | Valutazione |
|---|---|---|
| Confermata dalla documentazione attuale | Stessa funzione e piano | Corretta |
| Contraddice il prodotto attuale | Prova o conferma del responsabile | Errata |
| Nessuna informazione conclusiva | Verificare con il team di prodotto | Non confermata |
| Informazione attesa assente | Ambito del test definito prima | Omessa |
Conserva i conteggi per categoria. Se calcoli l’accuratezza, indica denominatore e casi irrisolti separatamente. Non considerarli automaticamente corretti. È una valutazione manuale, distinta dalle metriche di visibilità Semly.
Cosa preparare prima di iniziare (dati e risorse)
Un audit senza input verificabili produce output non verificabili. Prima di lanciare i test, raccogli e centralizza i materiali seguenti.
L'audit in 7 passi
Passo 1 — Inventario di funzionalità e integrazioni
Obiettivo: costruire la fonte di verità contro cui misurare ogni risposta AI. Cosa fare: elenca ogni funzionalità, integrazione, piano tariffario e limite tecnico in un unico documento versionato, con data di ultimo aggiornamento. Strumento: foglio di calcolo condiviso o knowledge base interna. Output: inventario unico, con stato di documentazione per ogni voce. KPI: percentuale di funzionalità documentate pubblicamente sul totale dell'inventario.
Passo 2 — Costruire 30-50 prompt di test
Obiettivo: coprire in modo rappresentativo le domande reali dei clienti. Cosa fare: costruisci prompt su quattro assi: funzionalità, integrazioni, prezzi, limiti. Usa il linguaggio dei clienti, non quello del reparto marketing. Strumento: repository di prompt con versione e data. Output: set di 30-50 prompt riutilizzabili e versionati. KPI: copertura dei prompt rispetto agli assi dell'inventario.
Passo 3 — Test multi-modello
Obiettivo: misurare la variabilità della descrizione tra modelli diversi. Cosa fare: esegui lo stesso set di prompt su ChatGPT, Gemini, Claude, Grok e Google AI, registrando data, ora e versione del modello. Strumento: sessione manuale controllata o piattaforma di monitoraggio. Output: matrice prompt × modello con le risposte grezze archiviate. KPI: numero di modelli testati e numero di risposte raccolte.
Passo 4 — Raccogliere le fonti citate
Obiettivo: capire su quali fonti i modelli fondano le loro affermazioni. Cosa fare: per ogni risposta, registra i domini e gli URL citati e classificali come ufficiali, di terze parti o non verificabili. Strumento: registro delle citazioni collegato alla matrice del Passo 3. Output: mappa delle fonti per funzionalità e integrazione. KPI: Citation Rate e percentuale di fonti ufficiali sul totale.
Passo 5 — Verificare l'accuratezza contro la fonte di verità
Obiettivo: quantificare le discrepanze tra risposta AI e realtà del prodotto. Cosa fare: confronta ogni affermazione con l'inventario del Passo 1 e classifica la discrepanza per tipo: funzionalità inesistente, integrazione inesistente, prezzo errato, limite errato. Strumento: griglia di verifica con esito per singola affermazione. Output: registro delle discrepanze con severità assegnata. KPI: Hallucination Rate per funzionalità e per integrazione.
Passo 6 — Correggere
Obiettivo: ridurre lo spazio di congettura disponibile ai modelli. Cosa fare: aggiorna dati strutturati e pagine ufficiali, pubblica documentazione mancante, segnala le imprecisioni ai fornitori dei modelli tramite i canali previsti. Strumento: piano di correzione con owner e scadenza per ogni voce. Output: discrepanze chiuse con evidenza della modifica. KPI: tempo medio di correzione dalla rilevazione alla chiusura.
Passo 7 — Monitorare e ri-testare
Obiettivo: verificare che le correzioni producano effetti duraturi. Cosa fare: ripeti il set di prompt a cadenza fissa, confronta i risultati con la baseline e misura il trend su 90 giorni. Strumento: piattaforma di monitoraggio continuo. Output: report di trend con variazioni di visibilità, sentiment e Share of Voice. KPI: Visibility, Sentiment, SOV e trend a 90 giorni.
Errori più comuni e come rimediare
Semly permette di consultare risposte AI e fonti. Chi conosce il prodotto valuta funzioni e integrazioni.
