Humanistica - recherche documentaire assistée par IA et systèmes de recommandation

Alexia Schneider
alexia.schneider@umontreal.ca
Marcello Vitali-Rosati
marcello.vitali.rosati@umontreal.ca
Pierre Levy
pierre.levy@mac.com

2026-05-22

Plan

  • Introduction et problèmatique
  • Etat de l’art (bref)
  • Démonstration
  • Évaluations des fonctionalités d’IEML-RS
  • Conclusion

Introduction

Cadre : recherche documentaire scientifique.

Systèmes de recommandation ont changé de forme :

d’algorithmes qui extraient des “you might also like” en bordure de moteurs de recherche à des outils qui prennent en charge une requête en langue naturelle.

Screenshot de Isidore et des fonctions classiques d’articles suggérés

Screenshot de Undermind.ai. Prise en charge de la requête en langue naturelle, combinaison de toutes les étapes de la recherche (RI, ranking, synthèse)

Problématique

Question de recherche

Comment concevoir des systèmes explicables qui se trouvent au centre d’environnement qui favorisent l’exploration critique et permettent un engagement intellectuel avec l’algorithme ?

Quelques exemples de systèmes de recommandations alternatifs

  • Bridger de Portenoy et al. (2022) expose les chercheur·se·s à des auteur·ice·s extérieur·e·s à leurs réseaux intellectuels habituels afin de favoriser le décloisonnement disciplinaire.

  • VITALITY de Narechania et al. (2022) propose une approche de revue de littérature fondée sur la visualisation

  • STAK de Martin, Greenspan, and Quan-Haase (2017), s’est inspiré des affordances matérielles des bibliothèques physiques en tentant de recréer des environnements de navigation spatialisés.

IEML

Information Economy MetaLanguage (IEML) (Lévy 2023)

Matrice de décomposition IEML à partir des 9 facettes sémantiques

Visualisation de la grille dans le plugin IEML-RS

Dictionnaire de termes traduits en IEML https://ieml.intlekt.io/

E (emptiness), U (virtual), A (actual), S (sign), B (being), and T (thing).

Lettre minuscule : combinaison deux primitives : 26 symboles.

Ponctuation : représente une des 6 couches du concept.

Chaque couche est représentée par une triade suivant la syntaxe suivante : substance (role 1), attribut (role 2) et mode (role 3).

Modulation de la primitive M

Tableau du paradigme des fonctions sémiotiques (sélection autour du concept de “mélodie”)

Démonstration

Résumé des fonctionalités principales

  • Exploration d’un champs sémantique élargit grâce à IEML à partir d’un mot-clé
  • Génération automatique et correction (human-in-the-loop) des traductions manquantes
  • Construction d’une requête envoyée à Isidore
  • Comparaison des listes d’articles envoyé à partir de la requête simple et de la requête augmentée par LLM

Prompts

Prompt de “traduction” en IEML

Tu es un expert en sémantique. Tu dois décomposer sémantiquement le mot-clé "${keyword}" à partir des 9 valeurs suivantes :
'thème, qui, quoi, à qui, par quoi, quand, où, pourquoi, comment'
## Exemples
${examples}

## Mots du dictionnaire 
Tu dois utiliser les mots ci-dessous pour définir le mot-clé "${keyword}":
${context}

Ta réponse prendra la forme d'un CSV à 9 colonnes, les entêtes de colonnes sont: 
'thème, qui, quoi, à qui, par quoi, quand, où, pourquoi, comment'
Il n'est pas nécessaire de remplir tous les champs. Un champs peut rester vide entre deux virgules, comme dans les exemples. 
Répond uniquement avec une ligne CSV finale, sans explication.

Prompt de la Query augmentation

Produit 10 variants de la requête booléenne suivante "${keywords}". Combine les requêtes proposées à l'aide de l'opérateur OU comme dans l'exemple : Mots-clés:  "impact of climate change on biodiversity". Réponse: "
(climate change biodiversity impact) OU (effects of climate change on ecosystems) OU (biodiversity loss due to climate change) OU (climate change species extinction) OU (impact of global warming on wildlife) OU (effects of climate change on ecosystems and species diversity) OU (how climate change impacts wildlife and biodiversity) OR (climate change consequences for biological diversity) OU (relationship between climate change and loss of biodiversity) OU (climate change threats to flora and fauna diversity) OU (impact of climate change on biodiversity)
C'est à ton tour avec "${keywords}". Répond uniquement avec la requête sans donner d'explication.

Évaluations

  • Évaluation quantitative de la traduction produite par le LLM en IEML (RAG pour ancrage des traduction dans les mots du dictionnaire IEML)
  • Évaluation qualitative (user study) de l’application dans son ensemble.

Évaluation de la traduction automatique en IEML

word to translate theme or root who what to whom by what means when where why how
espace numérique technique numérique - espace - - - - - -
chanteur jouer ou chanter une mélodie personne - - *par le moyen de voix - - -

Traduction attendue

word translated theme or root who what to whom by what means when where why how
espace numérique espace cyberespace tous par internet et les réseaux sociaux - virtuellement monétiser et partager des informations
chanteur musique chanteur interprétant une chanson à un public par sa voix - - pour exprimer une émotion en utilisant des métadonnées-chanson

Exemples de traductions produites par rag-llama-fewshot

Récapitulatif de l’évaluation

Modèles (via l’API de Together AI) :

  • Meta-Llama-3-70B-Instruct-Turbo
  • Gemma-3n-E4B-it,
  • GPT-oss-20B
Tableau de l’évaluation des modèles pour la traduction automatique
model/strategy BLEU Cosine avg
baseline 0.056 0.515 0.286
llama_fewshot 0.0222 0.555 0.289
gemma_fewshot 0.020 0.491 0.255
openai_fewshot 0.0167 0.498 0.257
llama_zeroshot 0.0129 0.514 0.263
gemma_zeroshot 0.0160 0.479 0.248
openai_zeroshot 0.016 0.493 0.254

Le contexte (soit les entrées du dictionnaire) améliore marginalement les performances.

Évaluation qualitative de IEML-RS

6 utilisateur.ices (PhD en HN). Démonstration suivie d’une observation d’utilisation de 10 min puis entrevue de 15 min.

Critères :

  • user-friendliness,
  • utilité,

Fonctionalités:

  • navigation (mots-clés et concepts),
  • traduction vers IEML,
  • comparaison des panels de listes d’articles.

Étude utilisateur.ice

  • Facilité d’utilisation :
    • confusion concernant l’intégration des concepts dans la requête,
    • traduction automatique et validation : obstacle initial (base de données limitée)
  • Utilité :
    • révèle de fortes disparités dans les pratiques de recherche des utilisateur.ices (recherche en réseau et contextuelle vs. recherche par mots-clés)
    • force : panneaux comparatifs
    • une traduction de qualité mixte encourage l’autonomie de l’utilisateur et un travail dialogique et collaboratif avec les LLM (Schneider 2026)

Conclusion et perspective

Exemple de conception d’environnement favorisant la sérendipité.

Des outils réflechis en cours dans les HN :

  • Barista du projet Impresso : assistant à la construction de requête,
  • les développement en cours à Isidore pour un RAG limité à des scénarii d’usage précis,
  • le Evidence-RAG du JDH (pour assister à l’évaluation des commentaires évaluteur pendant le processus d’évaluation par les paires).

Remerciements

Recherche financée par le CRSH à travers le projet de partenariat Revue3.0 ainsi qu’une bourse du Réseau Circé de mutualisation et de recherche pour les revues scientifiques.

Merci pour votre attention !

Lien vers le téléchargement du plugin pour Firefox:

Bibliographie

Archambault, Susan, and José Rincón. 2024. “An Evaluation of Cutting-Edge AI Research Tools Using the REACT Framework.” Computers in Libraries 44 (8).
Lévy, Pierre. 2023. “Semantic Computing with IEML.” Collective Intelligence 2 (4): 26339137231207634. https://doi.org/10.1177/26339137231207634.
Martin, Kim, Brian Greenspan, and Anabel Quan-Haase. 2017. “STAK – Serendipitous Tool for Augmenting Knowledge: A Conceptual Tool for Bridging Digital and Physical Resources.” Digital Studies / Le Champ Numérique 6 (1). https://doi.org/10.16995/dscn.265.
Merton, R. K. 1968. “The Matthew Effect in Science. The Reward and Communication Systems of Science Are Considered.” Science (New York, N.Y.) 159 (3810): 56–63.
Narechania, Arpit, Alireza Karduni, Ryan Wesslen, and Emily Wall. 2022. “VITALITY: Promoting Serendipitous Discovery of Academic Literature with Transformers & Visual Analytics.” IEEE Transactions on Visualization and Computer Graphics 28 (1): 486–96. https://doi.org/10.1109/TVCG.2021.3114820.
Nielsen, Mathias Wullum, and Jens Peter Andersen. 2021. “Global Citation Inequality Is on the Rise.” Proceedings of the National Academy of Sciences 118 (7): e2012208118. https://doi.org/10.1073/pnas.2012208118.
Pariser, Eli. 2011. “The Filter Bubble: What the Internet Is Hiding from You.” In.
Patterson, Brandon, Carlos Flores, Nick Hauschild, and Jared Branch. 2025. “Which AI Tools Work Best for Research? Using Librarian and Student Perspectives to Inform a Rating Rubric.” Journal of Electronic Resources in Medical Libraries 22 (3): 133–38. https://doi.org/10.1080/15424065.2025.2546052.
Portenoy, Jason, Marissa Radensky, Jevin D West, Eric Horvitz, Daniel S Weld, and Tom Hope. 2022. “Bursting Scientific Filter Bubbles: Boosting Innovation via Novel Author Discovery.” CHI Conference on Human Factors in Computing Systems, April, 1–13. https://doi.org/10.1145/3491102.3501905.
Schneider, Alexia. 2026. “An Imperfect AI to Uphold Human Agency : Vindicating the ‘Yes but’ of This World.” Short {{Talk}}. Montréal.
Tay, Aaron. 2025. “The Reproducibility and Interpretability of Academic AI Search Engines Like Primo Research Assistant, Web of Science Research Assistant, Scopus AI and More.” Blog. Aaron Tay’s Musings about Librarianship.
Underwood, Ted. 2014. “Theorizing Research Practices We Forgot to Theorize Twenty Years Ago.” Representations 127 (1): 64–72. https://doi.org/10.1525/rep.2014.127.1.64.
Varga, Attila. 2022. “The Narrowing of Literature Use and the Restricted Mobility of Papers in the Sciences.” Proceedings of the National Academy of Sciences 119 (17): e2117488119. https://doi.org/10.1073/pnas.2117488119.

Screenshots

First step: from seed article, the panel opens and retrieves the article keywords

User can select a keyword already translated in IEML (in blue), displaying the grid containing concepts defining the keyword

If the keyword hasn’t been translated a LLM translation is suggested (from the IEML dictionnary) and user can modify it

After validation of the translation, the translation is added to the IEML database

User can build a query from selected concepts and keywords

The query returns 2 lists of articles, one from the keywords selected and one from a query augmentation of those keywords