Séminaire R-D du CRIM: Petits modèles de langue à données ouvertes pour des QCMs (questions choix multiples) dans le domaine médical.

Solution de l’équipe du CRIM dans le cadre du Défi Fouille de textes 2024, présentée au JEP-TALN RECITAL 2024.

Nous présentons les expériences que nous avons exercées dans le cadre de la tâche principale consistant à identifier automatiquement, pour une question donnée issue d’annales d’examens de pharmacie, l’ensemble des réponses correctes parmi les cinq proposées.

La contrainte est d’utiliser un système de moins de 3 milliards de paramètres dont les données d’entraînement sont connues. Pour ce faire, nous avons développé des approches impliquant du some-shot prompting, du RAG, de l’affinage et de la génération contrainte en dernier recours.