MEIKAIUna nota di Jean-Baptiste, il nostro CTO
Oggi le persone chiedono a ChatGPT, Gemini, Perplexity e ad altre app conversazionali cosa comprare. I brand vogliono comparire in quelle risposte, guadagnandosi lo spazio oppure, ora che ChatGPT vende pubblicità, pagandolo. Misurare cosa fa davvero cambiare quelle risposte è ancora un campo giovane.
Le nostre ottimizzazioni danno già risultati ai nostri clienti. C’è anche un solido corpus di ricerca su cui basarsi, con tanto lavoro affascinante ancora da fare. Pensiamo che l’azienda che misurerà meglio questo impatto definirà la categoria. È il senso di questo ruolo. Quando consigliamo a un brand di riscrivere una pagina, ottenere un articolo su una testata o investire negli annunci ChatGPT, voglio che possiamo mostrare cosa è cambiato in numeri, con un margine di errore onesto. Poi potremo fare di più di ciò che funziona.
In Teads ho avuto la fortuna di lavorare per dieci anni con data scientist di grande talento, parte dei quali nel mio team. Ho imparato molto da loro su cosa richiede una buona misurazione. Finora se n’è occupato il nostro team di ingegneria, accanto al prodotto. Questo ruolo lo rende un lavoro a tempo pieno.
Jean-Baptiste Pringuey, Co-Founder e CTO
Chi è Meikai
Meikai monitora come 14 app conversazionali parlano dei brand: ChatGPT, Gemini, Google AI Mode e AI Overviews, Perplexity, Claude, Copilot, Grok e altre. Mostriamo ai brand su quali fonti si basano queste app e dove mancano, poi li aiutiamo a rimediare con contenuti, media e pubblicità in ChatGPT.
Chanel, IKEA, Volkswagen e Pernod Ricard sono tra i nostri clienti. Il nostro panel partner copre oltre 1,5 miliardi di scambi reali di domande e risposte. Eseguiamo più di 80.000 prompt al giorno e abbiamo estratto oltre 17 milioni di citazioni dalle risposte AI.
Siamo circa una dozzina di persone: tre ingegneri e il nostro CTO, più Customer Success e vendite. Cresciamo in fretta e siamo vicini alla redditività. Tra i nostri investitori ci sono Bertrand Quesada e Jeremy Arditi, che hanno fatto di Teads una piattaforma pubblicitaria globale.
Le risposte AI sono rumorose per natura. Lo stesso prompt può ricevere una risposta diversa un’ora dopo. I provider cambiano i prodotti senza avvisare. Una fonte può comparire accanto a una buona visibilità senza esserne la causa.
Le domande a cui dobbiamo rispondere
- Un brand riscrive le sue pagine prodotto e il mese dopo la sua visibilità in ChatGPT sale di sei punti. È merito della riscrittura?
- Un brand investe negli annunci ChatGPT. Quanto di ciò che segue sarebbe successo comunque grazie alle risposte organiche?
- Il punteggio di visibilità di un brand si sposta di quattro punti. Cambiamento reale o rumore?
- Una testata compare più spesso quando un brand è visibile. Vale la pena contattarla, o è un artefatto del campionamento?
- Quante esecuzioni servono prima di mostrare un trend a un cliente?
- Possiamo confrontare Gemini e Perplexity, o marzo e giugno, quando il campionamento è diverso?
- Come misuriamo la percezione di un brand in francese, coreano o cinese senza perderne il significato?
- Cambiamo un modello o un prompt in uno dei nostri agenti. È migliorato? Cosa è peggiorato?
Il ruolo
Sarai la prima persona in data science di Meikai e riporterai al CTO. Prima di tutto ci serve che tu dimostri con numeri difendibili quali ottimizzazioni funzionano, poi le renda più efficaci. Vale per il lavoro organico (contenuti, pagine, media) e per quello a pagamento (oggi gli annunci ChatGPT), su tutte le 14 app che monitoriamo.
Sarai anche responsabile dei metodi dietro il resto del prodotto, per esempio come il nostro punteggio di visibilità gestisce il rumore o come testiamo le modifiche ai nostri agenti. Lavorerai ogni giorno con i nostri tre ingegneri e il CTO. Passerai anche molto tempo con Customer Success, Sales e il CEO. Nella stessa settimana potresti scrivere modelli dbt e poi sederti con il team marketing di un cliente per capire cosa mostrano i suoi numeri e cosa no.
Potrai pubblicare il tuo lavoro e presentarlo alle conferenze.
Il tuo primo anno
Parti dal lift. I nostri clienti ottengono già risultati dalle ottimizzazioni che raccomandiamo, organiche e a pagamento. Il tuo primo progetto è renderle ancora più efficaci. Individua le azioni che generano più lift in ogni app, poi migliorale.
Ci aspettiamo che tu metta in discussione le nostre metriche attuali e ne alzi il livello dove conta.
Entro sei mesi i clienti dovrebbero vedere il tuo lavoro nel prodotto, per esempio in raccomandazioni ordinate per impatto misurato.
Entro la fine dell’anno ogni raccomandazione che facciamo dovrebbe essere accompagnata da un risultato misurato.
Responsabilità
- Misurare l’impatto dell’ottimizzazione organica e a pagamento per i nostri clienti, con esperimenti quando possibile e metodi quasi-sperimentali quando non lo è
- Usare questi risultati per ordinare le nostre raccomandazioni, così che quelle che proponiamo per prime abbiano prove a sostegno
- Rivedere le metriche del prodotto e alzarne il livello statistico
- Definire regole di campionamento e di confidenza per risposte che cambiano da un’esecuzione all’altra
- Gestire le valutazioni dei nostri agenti: set di test, controlli sui problemi noti, confronti tra versioni
- Costruire e valutare modelli di entity resolution, citazioni, percezione del brand e claim
- Rilasciare in Python e SQL su dbt e BigQuery, con test e monitoraggio
- Spiegare i risultati al team di ingegneria, ai clienti e ai fondatori, incluso ciò che i dati non possono dire
Potresti essere la persona giusta se
- Hai misurato l’impatto di qualcosa di reale (una campagna o una modifica di prodotto, per esempio) e qualcuno ha agito in base al tuo risultato
- Conosci experiment design e inferenza causale abbastanza bene da lavorare con dati osservazionali senza raccontartela
- Scrivi Python e SQL che altri possono eseguire e mantenere
- Hai lavorato con LLM o agenti e sai che il punteggio di confidenza di un modello non è una calibrazione
- Sai spiegare un risultato a una direzione marketing senza nasconderne i limiti
- Vuoi occuparti di un problema dall’inizio alla fine in un’azienda che cresce in fretta
È un plus se hai lavorato su
- Misurazione del marketing: incrementalità, attribuzione, media mix model, test geografici
- Pubblicità, ranking, sistemi di raccomandazione o ricerca
- NLP multilingue, entity resolution o knowledge graph
- dbt, BigQuery o Google Cloud
- Una startup early stage, o un ruolo a contatto diretto con i clienti
Come lavoriamo
Siamo un team piccolo, con pochissima distanza tra una domanda e una decisione. Puoi non essere d’accordo con i fondatori. Puoi anche dirci che un risultato non è pronto per essere mostrato.
Un esempio recente: abbiamo testato una modifica all’agente che scrive gli annunci ChatGPT dei nostri clienti. Il punteggio complessivo è salito di 6,5 punti in un test A/B offline, ma gli annunci facevano affermazioni meno fondate sui brand. Non l’abbiamo rilasciata.
Usiamo Claude, Cursor e altri strumenti AI ogni giorno. Usa ciò che ti aiuta. Conta che l’analisi regga e che un’altra persona possa seguire ciò che hai fatto.
Cosa c’è di difficile in questo ruolo
- Sarai l’unica persona in data science. Il CTO ha già lavorato con team di data science, ma non avrai nessuno con cui confrontare il lavoro ogni giorno. Dovrai definire tu i tuoi standard.
- I clienti vogliono risposte chiare. A volte la risposta rigorosa è un intervallo o «non ancora conclusivo». Toccherà a te dirlo.
- Le app cambiano senza preavviso. Una metrica stabile il mese scorso può muoversi per ragioni che non hanno nulla a che fare con il brand.
- Gran parte dei dati in questo campo è osservazionale. Gli esperimenti puliti sono rari, quindi ti affiderai a metodi quasi-sperimentali.
- La pubblicità in ChatGPT è recente. C’è poco storico e ci sono pochi benchmark.
Retribuzione e informazioni pratiche
- Retribuzione: da 75k € a 110k € di base in base all’esperienza, più un’assegnazione significativa di BSPCE Serie A (le stock option francesi per i dipendenti).
- Sede: Parigi o Montpellier, in modalità ibrida. Passiamo almeno quattro giorni al mese insieme in presenza.
- Lingua: lavoriamo in inglese.
- Visto: non possiamo sponsorizzarlo per questo ruolo, quindi serve un permesso di lavoro valido in Francia.
- Esperienza: di solito circa cinque anni, ma per noi contano di più le responsabilità che hai avuto e il tuo modo di ragionare.
- Se hai dubbi perché non soddisfi ogni requisito, candidati comunque.
- Pari opportunità: accogliamo candidature da parte di chiunque, indipendentemente da percorso, genere, età o disabilità.
Come candidarsi
Invia il tuo CV a careers@meikai.ai con qualche riga sul perché questo problema ti interessa. Leggiamo personalmente ogni candidatura e rispondiamo entro una settimana.
Se vuoi prepararti, leggi uno dei nostri studi pubblicati (sono in francese) e porta con te ciò che metteresti in discussione.
01Primo colloquio
Un’ora con il CEO e il CTO. Parleremo del tuo lavoro e di cosa cerchi in questo ruolo.
02Sessione di lavoro
Due ore con un membro fondatore del team di ingegneria e il CTO, su un problema di misurazione realistico. Niente rompicapi né compiti a casa. Usa strumenti AI se è il tuo modo di lavorare. Vogliamo soprattutto vedere di cosa diffidi nei dati e da dove cominceresti.