MEIKAIUn mot de Jean-Baptiste, notre CTO
Aujourd’hui, on demande à ChatGPT, Gemini, Perplexity et à d’autres applications conversationnelles quoi acheter. Les marques veulent apparaître dans ces réponses, soit en le méritant, soit, maintenant que ChatGPT vend de la publicité, en payant. Mesurer ce qui fait vraiment bouger ces réponses reste un domaine jeune.
Nos optimisations donnent déjà des résultats à nos clients. Il existe aussi un solide corpus de recherche sur lequel s’appuyer. Beaucoup de travail passionnant reste devant nous. Nous pensons que l’entreprise qui mesurera le mieux cet impact définira la catégorie. C’est l’objet de ce poste. Quand nous conseillons à une marque de réécrire une page, d’obtenir un article chez un média ou de mettre du budget dans les publicités ChatGPT, je veux que nous puissions montrer ce que ça a changé en chiffres, avec une marge d’erreur honnête. Ensuite, nous pourrons faire davantage de ce qui marche.
Chez Teads, j’ai eu la chance de travailler pendant dix ans avec des data scientists remarquables, dont plusieurs dans mon équipe. J’ai beaucoup appris à leur contact sur ce qu’exige une bonne mesure. Jusqu’ici, notre équipe d’ingénierie s’en est chargée en parallèle du produit. Ce poste en fait un travail à plein temps.
Jean-Baptiste Pringuey, cofondateur et CTO
À propos de Meikai
Meikai suit la façon dont 14 applications conversationnelles parlent des marques : ChatGPT, Gemini, Google AI Mode et AI Overviews, Perplexity, Claude, Copilot, Grok et d’autres. Nous montrons aux marques sur quelles sources ces applications s’appuient et où elles sont absentes, puis nous les aidons à corriger le tir avec du contenu, des retombées médias et de la publicité dans ChatGPT.
Chanel, IKEA, Volkswagen et Pernod Ricard font partie de nos clients. Notre panel partenaire couvre plus de 1,5 milliard d’échanges réels de questions et réponses. Nous exécutons plus de 80 000 prompts par jour et avons extrait plus de 17 millions de citations de réponses d’IA.
Nous sommes une douzaine de personnes : trois ingénieurs et notre CTO, plus le Customer Success et les ventes. Nous grandissons vite et sommes proches de la rentabilité. Parmi nos investisseurs figurent Bertrand Quesada et Jeremy Arditi, qui ont fait de Teads une plateforme publicitaire mondiale.
Les réponses des IA sont bruitées par nature. Le même prompt peut recevoir une autre réponse une heure plus tard. Les fournisseurs modifient leurs produits sans prévenir. Une source peut apparaître à côté d’une bonne visibilité sans en être la cause.
Les questions auxquelles nous devons répondre
- Une marque réécrit ses pages produits et, un mois plus tard, sa visibilité dans ChatGPT gagne six points. Est-ce grâce à la réécriture ?
- Une marque investit dans les publicités ChatGPT. Quelle part de ce qui suit serait arrivée de toute façon, via les réponses organiques ?
- Le score de visibilité d’une marque bouge de quatre points. Vrai changement ou bruit ?
- Un média apparaît plus souvent quand une marque est visible. Faut-il le démarcher, ou est-ce un artefact d’échantillonnage ?
- Combien d’exécutions faut-il avant de montrer une tendance à un client ?
- Peut-on comparer Gemini et Perplexity, ou mars et juin, quand l’échantillonnage diffère ?
- Comment mesurer la perception d’une marque en français, en coréen ou en chinois sans en perdre le sens ?
- Nous modifions un modèle ou un prompt dans l’un de nos agents. Est-il meilleur ? Qu’est-ce qui s’est dégradé ?
Le poste
Vous serez la première personne en data science chez Meikai, sous la responsabilité du CTO. Avant tout, il nous faut que vous montriez quelles optimisations marchent, avec des chiffres défendables, puis que vous les rendiez plus efficaces. Cela vaut pour le travail organique (contenu, pages, médias) comme pour le payant (les publicités ChatGPT aujourd’hui), sur les 14 applications que nous suivons.
Vous serez aussi responsable des méthodes derrière le reste du produit, par exemple la façon dont notre score de visibilité gère le bruit ou dont nous testons les changements de nos agents. Vous travaillerez tous les jours avec nos trois ingénieurs et le CTO. Vous passerez aussi beaucoup de temps avec le Customer Success, les ventes et le CEO. Dans une même semaine, vous pourrez écrire des modèles dbt, puis vous asseoir avec l’équipe marketing d’un client pour voir ce que ses chiffres montrent ou ne montrent pas.
Vous pourrez publier vos travaux et en parler en conférence.
Votre première année
Commencez par le lift. Nos clients obtiennent déjà des résultats grâce aux optimisations que nous recommandons, organiques comme payantes. Votre premier projet : les rendre encore plus performantes. Identifiez les actions qui produisent le plus de lift dans chaque application, puis améliorez-les.
Nous attendons de vous que vous challengiez nos métriques actuelles et que vous en éleviez le niveau là où c’est important.
D’ici six mois, les clients devraient voir votre travail dans le produit, par exemple dans des recommandations classées selon leur impact mesuré.
D’ici la fin de l’année, chaque recommandation que nous faisons devrait s’accompagner d’un résultat mesuré.
Vos missions
- Mesurer l’impact de l’optimisation organique et payante pour nos clients, avec des expériences quand c’est possible et des méthodes quasi expérimentales sinon
- Utiliser ces résultats pour classer nos recommandations, afin que celles que nous poussons en premier aient des preuves derrière elles
- Revoir les métriques du produit et en relever le niveau statistique
- Définir des règles d’échantillonnage et de confiance pour des réponses qui changent d’une exécution à l’autre
- Prendre en charge les évaluations de nos agents : jeux de test, contrôles des défaillances connues, comparaisons entre versions
- Construire et évaluer des modèles de résolution d’entités, de citations, de perception de marque et d’affirmations
- Livrer en Python et en SQL sur dbt et BigQuery, avec tests et monitoring
- Expliquer les résultats à l’équipe d’ingénierie, aux clients et aux fondateurs, y compris ce que les données ne permettent pas de dire
Ce poste est fait pour vous si vous
- Avez mesuré l’impact de quelque chose de réel (une campagne ou un changement produit, par exemple) et vu des gens agir sur votre résultat
- Connaissez assez bien le design expérimental et l’inférence causale pour travailler sur des données observationnelles sans vous raconter d’histoires
- Écrivez du Python et du SQL que d’autres peuvent exécuter et maintenir
- Avez travaillé avec des LLM ou des agents et savez que le score de confiance d’un modèle n’est pas une calibration
- Savez expliquer un résultat à une direction marketing sans cacher les limites
- Voulez porter un problème de bout en bout dans une entreprise en forte croissance
Un plus si vous avez travaillé sur
- La mesure marketing : incrémentalité, attribution, media mix models, tests géographiques
- La publicité, le ranking, les systèmes de recommandation ou la recherche
- Le NLP multilingue, la résolution d’entités ou les graphes de connaissances
- dbt, BigQuery ou Google Cloud
- Une start-up early stage, ou un poste en contact direct avec les clients
Comment nous travaillons
Nous sommes une petite équipe, avec très peu de distance entre une question et une décision. Vous pouvez être en désaccord avec les fondateurs. Vous pouvez aussi nous dire qu’un résultat n’est pas prêt à être montré.
Un exemple récent : nous avons testé une modification de l’agent qui rédige les publicités ChatGPT de nos clients. Son score global a gagné 6,5 points lors d’un test A/B hors ligne, mais les publicités faisaient des affirmations moins bien étayées sur les marques. Nous ne l’avons pas mise en production.
Nous utilisons Claude, Cursor et d’autres outils d’IA tous les jours. Utilisez ce qui vous aide. Ce qui compte, c’est que l’analyse tienne et qu’une autre personne puisse suivre ce que vous avez fait.
Ce qui est difficile dans ce poste
- Vous serez la seule personne en data science. Le CTO a déjà travaillé avec des équipes de data science, mais vous n’aurez pas de pair pour relire votre travail au quotidien. Vous devrez formuler vos propres standards.
- Les clients veulent des réponses claires. Parfois, la réponse rigoureuse est une fourchette ou « pas encore concluant ». C’est vous qui le direz.
- Les applications changent sans prévenir. Une métrique stable le mois dernier peut bouger pour des raisons qui n’ont rien à voir avec la marque.
- La plupart des données de ce domaine sont observationnelles. Les expériences propres sont rares : vous vous appuierez sur des méthodes quasi expérimentales.
- La publicité dans ChatGPT est récente. Il y a peu d’historique et peu de références.
Rémunération et informations pratiques
- Rémunération : de 75 k€ à 110 k€ fixe selon l’expérience, plus une attribution significative de BSPCE Série A.
- Lieu : Paris ou Montpellier, en hybride. Nous passons au moins quatre jours par mois ensemble sur site.
- Langue : nous travaillons en anglais.
- Visa : nous ne pouvons pas en parrainer pour ce poste. Il vous faut donc une autorisation de travail en France.
- Expérience : environ cinq ans, c’est le cas le plus courant, mais ce que vous avez porté et votre façon de raisonner comptent plus que le chiffre.
- Si vous hésitez parce que vous ne cochez pas toutes les cases, postulez quand même.
- Égalité des chances : nous accueillons les candidatures de toutes et tous, quels que soient le parcours, le genre, l’âge ou le handicap.
Comment postuler
Envoyez votre CV à careers@meikai.ai avec quelques lignes sur ce qui vous intéresse dans ce problème. Nous lisons chaque candidature nous-mêmes et répondons sous une semaine.
Si vous voulez vous préparer, lisez l’une de nos études publiées et venez avec ce que vous remettriez en question.
01Premier échange
Une heure avec le CEO et le CTO. Nous parlerons de votre travail et de ce que vous attendez de ce poste.
02Session de travail
Deux heures avec un membre fondateur de l’équipe d’ingénierie et le CTO, sur un problème de mesure réaliste. Pas d’énigme ni d’exercice à la maison. Utilisez des outils d’IA si c’est votre façon de travailler. Nous voulons surtout voir de quoi vous vous méfiez dans les données et par quoi vous commenceriez.