Truera (TruLens)

TruLens est une bibliothèque open source (pilotée par TruEra, désormais au sein de Snowflake) dédiée à l’évaluation, au suivi et au diagnostic des applications basées sur des LLM (RAG, agents, copilots, summarization). L’outil instrumente votre application pour capturer traces, entrées/sorties et métadonnées, puis calcule des métriques via des « feedback functions » (ex. groundedness, pertinence du contexte, toxicité). L’objectif est d’identifier les régressions, comparer des versions (prompts, modèles, retrievers) et itérer plus vite avec des décisions guidées par des scores.

TruLens s’adresse surtout aux équipes data/ML, développeurs LLMOps et responsables qualité IA qui veulent industrialiser l’évaluation et le monitoring, du prototypage à la production. Il propose un tableau de bord, une API Python, et des intégrations avec des frameworks d’orchestration. TruLens peut aussi s’appuyer sur différents modèles d’évaluation (ex. GPT‑4, Claude) via intégrations, afin d’automatiser les évaluations et standardiser les comparaisons entre configurations.