Un mot de Jean-Baptiste, notre CTO
Aujourd’hui, on demande à ChatGPT, Gemini, Perplexity et à d’autres applications conversationnelles quoi acheter. Les marques veulent apparaître dans ces réponses, soit en le méritant, soit, maintenant que ChatGPT vend de la publicité, en payant. Mesurer ce qui fait vraiment bouger ces réponses reste un domaine jeune.
Nos optimisations donnent déjà des résultats à nos clients. Il existe aussi un solide corpus de recherche sur lequel s’appuyer. Beaucoup de travail passionnant reste devant nous. Nous pensons que l’entreprise qui mesurera le mieux cet impact définira la catégorie. C’est l’objet de ce poste. Quand nous conseillons à une marque de réécrire une page, d’obtenir un article chez un média ou de mettre du budget dans les publicités ChatGPT, je veux que nous puissions montrer ce que ça a changé en chiffres, avec une marge d’erreur honnête. Ensuite, nous pourrons faire davantage de ce qui marche.
Chez Teads, j’ai eu la chance de travailler pendant dix ans avec des data scientists remarquables, dont plusieurs dans mon équipe. J’ai beaucoup appris à leur contact sur ce qu’exige une bonne mesure. Jusqu’ici, notre équipe d’ingénierie s’en est chargée en parallèle du produit. Ce poste en fait un travail à plein temps.
Jean-Baptiste Pringuey, cofondateur et CTO
À propos de Meikai
Meikai suit la façon dont 14 applications conversationnelles parlent des marques : ChatGPT, Gemini, Google AI Mode et AI Overviews, Perplexity, Claude, Copilot, Grok et d’autres. Nous montrons aux marques sur quelles sources ces applications s’appuient et où elles sont absentes, puis nous les aidons à corriger le tir avec du contenu, des retombées médias et de la publicité dans ChatGPT.
Chanel, IKEA, Volkswagen et Pernod Ricard font partie de nos clients. Notre panel partenaire couvre plus de 1,5 milliard d’échanges réels de questions et réponses. Nous exécutons plus de 80 000 prompts par jour et avons extrait plus de 17 millions de citations de réponses d’IA. Vous ne partirez pas de zéro : la plateforme est déjà l’une des plus complètes de la catégorie, et elle donne déjà des résultats à nos clients.
Nous sommes une douzaine de personnes : trois ingénieurs et notre CTO, plus le Customer Success et les ventes. Nous sommes une entreprise AI-native first : personne ici n’écrit de code à la main. Nous grandissons vite et sommes proches de la rentabilité. Parmi nos investisseurs figurent Bertrand Quesada et Jeremy Arditi, qui ont fait de Teads une plateforme publicitaire mondiale.
La rendre encore meilleure reste difficile. Les réponses des IA sont bruitées par nature. Le même prompt peut recevoir une autre réponse une heure plus tard. Les fournisseurs modifient leurs produits sans prévenir. Une source peut apparaître à côté d’une bonne visibilité sans en être la cause.
Les questions auxquelles nous devons répondre
- Une marque réécrit ses pages produits et, un mois plus tard, sa visibilité dans ChatGPT gagne six points. Est-ce grâce à la réécriture ?
- Une marque investit dans les publicités ChatGPT. Quelle part de ce qui suit serait arrivée de toute façon, via les réponses organiques ?
- Le score de visibilité d’une marque bouge de quatre points. Vrai changement ou bruit ?
- Un média apparaît plus souvent quand une marque est visible. Faut-il le démarcher, ou est-ce un artefact d’échantillonnage ?
- Combien d’exécutions faut-il avant de montrer une tendance à un client ?
- Peut-on comparer Gemini et Perplexity, ou mars et juin, quand l’échantillonnage diffère ?
- Comment mesurer la perception d’une marque en français, en coréen ou en chinois sans en perdre le sens ?
- Nous modifions un modèle ou un prompt dans l’un de nos agents. Est-il meilleur ? Qu’est-ce qui s’est dégradé ?
Le poste
Vous serez la première personne en data science chez Meikai, sous la responsabilité du CTO. Avant tout, il nous faut que vous montriez quelles optimisations marchent, avec des chiffres défendables, puis que vous les rendiez plus efficaces. Cela vaut pour le travail organique (contenu, pages, médias) comme pour le payant (les publicités ChatGPT aujourd’hui), sur les 14 applications que nous suivons.
Vous serez aussi responsable des méthodes derrière le reste du produit, par exemple la façon dont notre score de visibilité gère le bruit ou dont nous testons les changements de nos agents. Vous travaillerez tous les jours avec nos trois ingénieurs et le CTO. Vous passerez aussi beaucoup de temps avec le Customer Success, les ventes et le CEO. Vous construirez tout avec les agents de code de Claude et d’OpenAI. Une semaine type mêle nouveaux modèles dbt et temps passé avec l’équipe marketing d’un client, pour voir ce que ses chiffres montrent ou ne montrent pas.
Vous pourrez publier vos travaux et en parler en conférence.
Votre première année
Commencez par le lift. Nos clients obtiennent déjà des résultats grâce aux optimisations que nous recommandons, organiques comme payantes. Votre premier projet : les rendre encore plus performantes. Identifiez les actions qui produisent le plus de lift dans chaque application, puis améliorez-les.
Nos métriques tiennent déjà face à des clients exigeants. Nous attendons tout de même de vous que vous les challengiez et que vous placiez la barre plus haut là où c’est important.
D’ici six mois, les clients devraient voir votre travail dans le produit, par exemple dans des recommandations classées selon leur impact mesuré.
D’ici la fin de l’année, chaque recommandation que nous faisons devrait s’accompagner d’un résultat mesuré.
Vos missions
- Mesurer l’impact de l’optimisation organique et payante pour nos clients, avec des expériences quand c’est possible et des méthodes quasi expérimentales sinon
- Utiliser ces résultats pour classer nos recommandations, afin que celles que nous poussons en premier aient des preuves derrière elles
- Challenger les métriques du produit et pousser plus loin leur niveau statistique
- Définir des règles d’échantillonnage et de confiance pour des réponses qui changent d’une exécution à l’autre
- Prendre en charge les évaluations de nos agents : jeux de test, contrôles des défaillances connues, comparaisons entre versions
- Construire et évaluer des modèles de résolution d’entités, de citations, de perception de marque et d’affirmations
- Livrer du Python et du SQL sur dbt et BigQuery via des agents de code IA, avec tests et monitoring
- Expliquer les résultats à l’équipe d’ingénierie, aux clients et aux fondateurs, y compris ce que les données ne permettent pas de dire
Ce poste est fait pour vous si vous
- Avez mesuré l’impact de quelque chose de réel (une campagne ou un changement produit, par exemple) et vu des gens agir sur votre résultat
- Connaissez assez bien le design expérimental et l’inférence causale pour travailler sur des données observationnelles sans vous raconter d’histoires
- Travaillez déjà en mode AI-native : vous pilotez les agents de code de Claude et d’OpenAI plutôt que d’écrire du code à la main, et vous connaissez assez bien Python et SQL pour repérer leurs erreurs et livrer un travail que d’autres peuvent exécuter et maintenir
- Avez travaillé avec des LLM ou des agents et savez que le score de confiance d’un modèle n’est pas une calibration
- Savez expliquer un résultat à une direction marketing sans cacher les limites
- Voulez porter un problème de bout en bout dans une entreprise en forte croissance
Un plus si vous avez travaillé sur
- La mesure marketing : incrémentalité, attribution, media mix models, tests géographiques
- La publicité, le ranking, les systèmes de recommandation ou la recherche
- Le NLP multilingue, la résolution d’entités ou les graphes de connaissances
- dbt, BigQuery ou Google Cloud
- Une start-up early stage, ou un poste en contact direct avec les clients
Comment nous travaillons
Le développement AI-native est notre principale façon de travailler. Nous n’écrivons aucune ligne de code à la main. Les agents de Claude et d’OpenAI l’écrivent ; nous concevons, relisons et testons ce qu’ils produisent. Ce qui compte, c’est que l’analyse tienne et qu’une autre personne puisse suivre ce que vous avez fait.
Nous recrutons selon les 3H : Hungry, Humble, High-Potential.
Nous sommes une petite équipe, avec très peu de distance entre une question et une décision. Vous pouvez être en désaccord avec les fondateurs. Vous pouvez aussi nous dire qu’un résultat n’est pas prêt à être montré.
Un exemple récent : nous avons testé une modification de l’agent qui rédige les publicités ChatGPT de nos clients. Son score global a gagné 6,5 points lors d’un test A/B hors ligne, mais les publicités faisaient des affirmations moins bien étayées sur les marques. Nous ne l’avons pas mise en production.
Ce qui est difficile dans ce poste
- La barre est déjà haute. La plateforme fonctionne et nos clients en tirent des résultats : chaque changement que vous proposerez devra battre une référence solide, et le prouver.
- Vous serez la seule personne en data science. Le CTO a déjà travaillé avec des équipes de data science, mais vous n’aurez pas de pair pour relire votre travail au quotidien. Vous devrez formuler vos propres standards.
- Les clients veulent des réponses claires. Parfois, la réponse rigoureuse est une fourchette ou « pas encore concluant ». C’est vous qui le direz.
- Les applications changent sans prévenir. Une métrique stable le mois dernier peut bouger pour des raisons qui n’ont rien à voir avec la marque.
- La plupart des données de ce domaine sont observationnelles. Les expériences propres sont rares : vous vous appuierez sur des méthodes quasi expérimentales.
- La publicité dans ChatGPT est récente. Il y a peu d’historique et peu de références.
Rémunération et informations pratiques
- Rémunération : de 75 k€ à 110 k€ fixe selon l’expérience, plus une attribution significative de BSPCE Série A.
- Lieu : Paris ou Montpellier, en hybride. Nous passons au moins quatre jours par mois ensemble sur site.
- Langue : nous travaillons en anglais.
- Visa : nous ne pouvons pas en parrainer pour ce poste. Il vous faut donc une autorisation de travail en France.
- Expérience : environ cinq ans, c’est le cas le plus courant, mais ce que vous avez porté et votre façon de raisonner comptent plus que le chiffre.
- Si vous hésitez parce que vous ne cochez pas toutes les cases, postulez quand même.
- Égalité des chances : nous accueillons les candidatures de toutes et tous, quels que soient le parcours, le genre, l’âge ou le handicap.
Comment postuler
Envoyez votre CV à careers@meikai.ai avec quelques lignes sur ce qui vous intéresse dans ce problème. Nous lisons chaque candidature nous-mêmes et répondons sous une semaine.
Si vous voulez vous préparer, lisez l’une de nos études publiées et venez avec ce que vous remettriez en question.
01Premier échange
Une heure avec le CEO et le CTO. Nous parlerons de votre travail et de ce que vous attendez de ce poste.
02Session de travail
Deux heures avec un membre fondateur de l’équipe d’ingénierie et le CTO, sur un problème de mesure réaliste. Pas d’énigme ni d’exercice à la maison. Travaillez avec les agents de Claude ou d’OpenAI, comme vous le feriez au quotidien. Nous voulons surtout voir de quoi vous vous méfiez dans les données et par quoi vous commenceriez.