Benchmark : exactitude vs modèles grand public

Un assistant qui « répond bien » ne suffit pas à l'officine : il doit répondre juste, sur la bonne valeur, de façon traçable. Nous avons donc comparé PharmAssistant à des modèles d'IA grand public sur 200 questions telles qu'un pharmacien les pose réellement au comptoir, dont beaucoup portent sur une valeur exacte et à jour (rupture d'un médicament en direct, code de remboursement d'un dispositif, statut de commercialisation d'un générique, niveau précis d'une interaction, remboursement paru au Journal officiel) : c'est là que les modèles à simple accès web décrochent le plus, en inventant une valeur plausible mais fausse.

Les réponses de PharmAssistant sont la valeur exacte renvoyée par ses outils métier, qui interrogent directement les bases officielles de référence (interactions, risque cardiaque, génériques, disponibilités, grossesse, adaptation rénale, bilan de médication du sujet âgé, remboursements…), avec la source citée. Ses 3 points perdus sont des erreurs franches, conservées telles quelles dans le jeu publié. Chaque modèle grand public produit des dizaines de valeurs inventées affirmées avec assurance (codes, taux, dates, seuils, niveaux) ; PharmAssistant n'invente ni produit ni valeur.

• Questions réalistes : formulées comme au comptoir, courtes, parfois avec abréviations ou fautes, sans jamais indiquer la source à consulter (le modèle doit la trouver seul).
• Conditions réelles d'usage : les modèles grand public sont testés avec un accès web en direct, exactement comme un pharmacien les utiliserait dans leur application de chat. PharmAssistant dispose lui aussi du web, mais surtout d'outils métier dédiés qui interrogent directement les bases officielles et en ramènent la valeur exacte : c'est là toute la différence.
• Vérification manuelle, même règle pour tous : chaque réponse est comparée à une vérité-terrain relevée dans la source officielle, puis jugée juste ou fausse, sans catégorie intermédiaire et sans exception pour PharmAssistant. Une valeur voisine compte faux, une réponse « au cas par cas » compte faux, et un refus de répondre compte faux : au comptoir, l'abstention ne rend pas le service demandé. Quand la question porte sur une catégorie (risque de torsades, niveau d'une contre-indication), la catégorie doit être nommée.
• Une vérité-terrain plus solide que les réponses : quand deux référentiels divergent et que la bonne réponse dépend de celui qu'on interroge, la question est retirée du jeu plutôt que comptée contre les modèles. Sept questions ont été écartées à ce titre pendant la campagne.
• Couverture large : écrasement et ouverture des formes orales, interactions médicamenteuses, répertoire des génériques, codes LPP, bilan de médication du sujet âgé, prix et remboursement par présentation, recommandations aux voyageurs, médicament vétérinaire, adaptation à la fonction rénale, risque cardiaque (QT), grossesse et allaitement, calendrier vaccinal, phytothérapie, homéopathie, hépatotoxicité.

Aucun modèle n'est fiable partout : le meilleur sur l'actualité réglementaire est faible sur le niveau exact d'une interaction ; le meilleur en moyenne reste figé à une date de connaissance dépassée. Chacun se trompe ailleurs, et toujours avec assurance.

En posant deux fois les mêmes questions au même modèle (ChatGPT), nous avons obtenu des réponses différentes sur 7 questions : pas des reformulations, mais des valeurs exactes opposées.

Pour un pharmacien, une donnée qui change d'un appel au suivant n'est pas une donnée. PharmAssistant est déterministe : la même question interroge le même outil et renvoie la même valeur exacte, avec sa source, vérifiable, opposable et reproductible.

Le tableau de la section 1 compare des systèmes différents. On peut donc lui opposer une objection légitime : l'écart vient-il des outils métier, ou simplement du modèle de langage employé ? Une seconde expérience, menée fin juillet 2026 sur un autre jeu de 100 questions, tranche en neutralisant le modèle. GPT-5.6 Luna, mêmes questions, même jour, deux situations : seul avec sa recherche web Google, puis branché sur les binaires métier de PharmAssistant, sans rien changer d'autre.

Conditions à connaître avant de comparer les deux tableaux : ce jeu de 100 questions est distinct de celui des 200 questions, il porte principalement sur la donnée de référence française (remboursement présentation par présentation, écrasement des comprimés, groupes génériques, calendrier vaccinal, délivrance vétérinaire, fonction rénale), et trois questions où PharmAssistant se trompe y sont conservées telles quelles. Les deux mesures ne s'additionnent pas et ne se remplacent pas : la première compare des systèmes, la seconde établit la cause de l'écart.

Le détail, trois exemples de réponses fausses reprises mot pour mot et le jeu complet en téléchargement : l'article qui rend compte de cette mesure (jeu de questions en JSON et en Markdown).

• Échantillon de démonstration, pas une étude statistique exhaustive. Le jeu privilégie volontairement les questions où l'exactitude engage le plus (valeurs officielles, listes vivantes), plutôt que des questions « moyennes » de comptoir.
• Évaluation par un relecteur unique ; les réponses brutes sont conservées pour contrôle.
• Un passage par modèle : le non-déterminisme observé invite à moyenner plusieurs essais.
• Certaines questions reposent sur des listes mises à jour en continu (ruptures d'approvisionnement, remboursements) : la vérité-terrain est celle du jour du test et certaines disponibilités de produits ont pu évoluer depuis. Les questions de rupture, non rejouables, sont exclues du panel publié.
• Gemini a été évalué sur sa version flash (2.5), réflexion minimale, les versions pro de l'API étant fréquemment indisponibles au moment du test.
• Claude Sonnet 5 et GPT-5.6 Luna ont été interrogés par la passerelle OpenRouter avec un budget de réflexion bas, une configuration économique et non la plus favorable à ces deux modèles ; ChatGPT l'a été par la même passerelle sur une partie du jeu.