PharmAssistant en mode GPT écrase GPT tout seul
Benchmark · 31 juillet 2026 · Johan Natter, docteur en pharmacie et en chimie médicinale · 6 min de lecture
Nous avons posé 100 questions de comptoir à GPT-5.6, la dernière génération d'OpenAI, avec sa recherche internet : 33 réponses justes. Puis nous lui avons donné accès aux outils de PharmAssistant, sans rien changer d'autre : 91. Et 97 dans la configuration que reçoivent nos abonnés.
1« ChatGPT sait chercher sur internet, pourquoi payer un assistant ? »
C'est l'objection qu'on nous oppose le plus souvent, et elle est légitime. Les modèles de dernière génération savent naviguer, citer leurs sources, et rédiger mieux que la plupart d'entre nous. Alors à quoi bon brancher un assistant sur des bases métier ?
Nous avons voulu une réponse nette, sans débat d'opinion. La seule façon de l'obtenir était de neutraliser le modèle : prendre GPT-5.6, la dernière génération d'OpenAI, et lui poser les mêmes 100 questions de comptoir dans deux situations.
- Seul, avec une recherche Google en direct : exactement ce que voit un pharmacien qui pose sa question dans une application de chat grand public.
- Branché sur PharmAssistant : le même GPT-5.6, mais avec accès à nos 41 outils métier, qui interrogent en direct les bases officielles françaises.
Même modèle, même jour, mêmes questions. Ce qui change n'est pas l'intelligence : c'est ce qu'il a sous la main.
2Le résultat
| Configuration | Réponses justes |
|---|---|
| PharmAssistant, la configuration que reçoivent nos abonnés | 97 / 100 |
| GPT-5.6 branché sur les 41 outils PharmAssistant | 91 / 100 |
| GPT-5.6 seul, avec sa recherche internet | 33 / 100 |
33 devient 91 sans changer une ligne du modèle. Le même moteur de langage, la même question, la même journée : il suffit de lui donner accès aux sources officielles plutôt qu'au web ouvert.
Et notre configuration de production fait mieux encore, à 97 sur 100. C'est celle qui répond à nos abonnés, tous les jours, au comptoir.
100 questions de comptoir sur la donnée de référence française : remboursement présentation par présentation, écrasement des comprimés, substitution générique, calendrier vaccinal, délivrance vétérinaire, adaptation à la fonction rénale. Chaque réponse a été lue et jugée à la main contre la source officielle.
3Trois questions de comptoir, trois réponses fausses
Ces trois réponses sont reprises mot pour mot de GPT-5.6 seul. Aucune n'est hésitante, toutes citent une source officielle, et les trois sont fausses.
« Le Loxen LP 50 mg (nicardipine), je peux le substituer par un générique ? »
Attendu : Non en pratique. Le Loxen LP 50 mg figure bien dans un groupe générique au répertoire ANSM, mais aucun générique n'y est actuellement commercialisé : il n'y a rien à substituer.
Réponse du modèle seul : « Oui. Le médicament générique peut donc être substitué au princeps », en citant le numéro du groupe au répertoire. Le modèle a trouvé la bonne page, lu l'inscription au répertoire, et confondu inscription et commercialisation.
Source de référence : Répertoire des groupes génériques ANSM (BDPM)
« Un patient sous Codoliprane Adultes 400/20 demande la boîte de 100 comprimés. Je peux la lui faire rembourser ? »
Attendu : Non, et pas seulement pour une question de remboursement : la plaquette de 100 comprimés est un conditionnement hospitalier, agréé aux collectivités, qui n'est pas dispensé en officine de ville. La présentation de ville est la plaquette de 16 comprimés, à 2,74 € TTC, remboursée à 65 %.
Réponse du modèle seul : « La présentation de 100 comprimés est bien une présentation commercialisée et remboursable », suivie d'un code CIP et d'un taux de 65 % attribués à un conditionnement que l'officine ne délivre pas. Le circuit et le remboursement se décident présentation par présentation, pas produit par produit.
Source de référence : Base de données publique des médicaments (BDPM)
« En EHPAD, deux résidentes ne peuvent plus avaler leurs comprimés. L'une a du Levothyrox 75, l'autre du L-Thyroxin 75. On peut écraser les deux ? »
Attendu : Non, et c'est tout le piège : la même molécule sous deux marques ne donne pas la même réponse. L'écrasement du Levothyrox est possible d'après la réponse écrite du laboratoire ; pour le L-Thyroxin il est à ne pas faire, mais le comprimé se délite dans l'eau sans être écrasé.
Réponse du modèle seul : « Oui, les deux comprimés peuvent être écrasés en pratique. » Le modèle raisonne sur la molécule, alors que la donnée existe par spécialité et qu'elle diverge ici entre les deux marques.
Source de référence : Liste nationale de l'écrasement des comprimés, OMéDIT Normandie et SFPC
Le motif est toujours le même, et c'est ce qui le rend dangereux : la réponse est plausible, bien construite, sourcée, et fausse sur la seule valeur qui décide de l'acte de délivrance. Un pharmacien qui pose la question ne peut pas voir l'erreur, sinon il n'aurait pas posé la question.
4Ce que le web ne peut pas donner
Ces trois erreurs ont un point commun : la bonne réponse n'existe sur aucune page web. Elle est dans un fichier de la base de données publique des médicaments, ligne par ligne, présentation par présentation. Dans une liste de l'OMéDIT tenue à jour sur réponse écrite des laboratoires. Dans le répertoire des groupes génériques, où l'inscription et la commercialisation sont deux colonnes différentes.
Un moteur de recherche ramène la page la plus consultée, pas la ligne exacte. C'est pour cela qu'un modèle généraliste répond avec assurance sur la molécule quand la donnée existe par spécialité, ou sur le produit quand elle existe par conditionnement.
Nos 41 outils métier vont chercher la valeur elle-même
À chaque question, PharmAssistant décide quelles bases interroger et les interroge en direct : répertoire des groupes génériques et base de données publique des médicaments (ANSM), thésaurus des interactions, liste nationale de l'écrasement des comprimés (OMéDIT Normandie et SFPC), CRAT, HAS, LPP, Meddispar, calendrier vaccinal, recommandations aux voyageurs, base vétérinaire de l'ANSES-ANMV, adaptation à la fonction rénale, et une trentaine d'autres.
La réponse est construite sur la valeur renvoyée, avec sa source citée. Elle ne dépend pas de ce que le modèle croit se rappeler, ni de ce que Google a bien voulu remonter ce jour-là.
C'est aussi ce qui rend la réponse reproductible : la même question interroge la même base et renvoie la même valeur, vérifiable et opposable. Une donnée qui change d'un appel à l'autre n'est pas une donnée.
5Vérifiez par vous-même
Nous publions l'intégralité des 100 questions. Chacune porte son énoncé, la réponse de référence, la source officielle qui l'établit et la base interrogée. Y compris les questions où PharmAssistant se trompe : elles sont dans le jeu, telles quelles.
Les 100 questions, en téléchargement libre
Rejouez-les sur l'assistant de votre choix et comparez. Une réponse de référence vous paraît contestable ? Écrivez-nous, nous corrigerons publiquement.
Le plus simple reste encore de lui poser votre propre question : l'essai est ouvert sans inscription, et 7 jours d'essai complet donnent accès à toute la boîte à outils. Notre comparatif face aux IA grand public et ses 200 questions sont également publics.
Une question, une remarque : contact@pharmassistant.fr.