L’objectif principal de ce projet est de développer un assistant pédagogique IA privé, ENSAM.AI, destiné aux étudiants de première année de l’ENSAM.

Résumé

L’entrée en première année d’école d’ingénieurs à l’ENSAM est, pour de nombreux étudiants, à la fois un nouveau début passionnant et une nouvelle étape pleine de défis. Les étudiants doivent rapidement se familiariser avec l’environnement du campus, le système des cours, les informations sur l’enseignement des enseignants, les procédures administratives, les modes d’évaluation ainsi que les futures directions professionnelles de stage, tout en faisant également attention aux opportunités potentielles d’échanges internationaux. Les résultats de la première année des étudiants de l’ENSAM peuvent directement et fortement influencer leur orientation future.

Cependant, les différents types d’informations dont les étudiants ont besoin sont souvent dispersés sur différentes plateformes et dans différents fichiers. Pour les nouveaux arrivants, une telle quantité d’informations est nécessairement déroutante. En même temps, contrairement à la situation avant l’entrée en école d’ingénieurs, les formes des cours, les évaluations, etc. ne sont pas toutes les mêmes. Ainsi, une aide supplémentaire en dehors des cours serait très pratique pour les étudiants, par exemple pour aider à comprendre des concepts complexes, organiser des supports de révision, générer des exercices, obtenir de meilleures explications ou obtenir des explications personnalisées.

Cependant, actuellement, beaucoup d’étudiants ingénieurs utilisent des outils d’intelligence artificielle tels que ChatGPT et Gemini. Bien que ces outils aient une grande efficacité et puissent répondre rapidement à chaque question des étudiants, l’exactitude des réponses données par ce type d’outils reste souvent à vérifier. Ils montrent souvent un problème de confiance excessive dans des réponses erronées.

Par conséquent, l’objectif de ce projet est de développer une IA privée afin de faire face à ces défis. L’IA privée aura les caractéristiques suivantes : sécurité de la base de données, réponses fiables, et usage réservé uniquement aux étudiants et enseignants de l’ENSAM. Ce projet dure deux semestres, et les membres du groupe doivent construire une telle plateforme à partir de zéro.

Nous avons construit de manière stricte un workflow avec des branches, et nous avons effectué une analyse et une sélection strictes des données dans la base de données. Cela garantit que cette IA peut choisir de s’appuyer sur une base de données fiable, puis de coopérer avec un LLM pour fournir aux étudiants des réponses claires et vraies. En même temps, cela permet aussi aux étudiants de choisir Internet comme source d’information. Cette architecture de workflow garantit que les étudiants disposent d’une base de jugement claire sur la véracité des réponses, afin de choisir selon leurs propres besoins.

Les membres du groupe ont mené deux séries d’enquêtes par questionnaire : la première pour recueillir les besoins, la deuxième pour analyser les retours des utilisateurs. À la fin du projet, ils ont publié la première version finale d’ENSAM.AI.

Approche méthodologique

La figure 1 présente notre méthodologie pour l’ensemble du projet, qui a été proposée au début du projet et qui était basée sur notre revue de la littérature et de multiples séances de brainstorming. :

Figure 1. Méthodologie pour la conception d’une IA artificielle pédagogique privée

Comme illustré dans la figure 1, la première étape de la méthodologie de ce projet consiste à analyser le sujet afin de déterminer les objectifs et les méthodes correspondantes pour chaque phase. De manière générale, ENSAM.IA doit répondre à des exigences fonctionnelles multidimensionnelles, et son principal public cible est constitué des étudiants de l’ENSAM. Dans un premier temps, nous avons conçu un questionnaire destiné aux étudiants de tous les niveaux de l’ENSAM (du CP au CE2), principalement pour mieux cerner leurs attentes et leurs difficultés. Nous devons concevoir une solution adaptée à leurs besoins grâce à une analyse des besoins intuitive et quantitative.

Dans un second temps, nous devons trouver une plateforme appropriée pour répondre aux questions recueillies par le questionnaire. Ce choix repose principalement sur deux critères clés : la sécurité des données et la facilité d’accès et d’utilisation pour les futurs utilisateurs. Nous devons garantir la protection des informations tout en proposant une interface simple et intuitive. Compte tenu de notre expertise technique, l’utilisation de la plateforme ne doit pas présenter de difficultés majeures. La plateforme Coze semble convenir à ce projet. Sa base de données internationale est hébergée aux États-Unis et utilise un fournisseur de services cloud reconnu. Cela assure un bon niveau de sécurité des données, protégeant le contenu des cours intégré à la base de connaissances, ainsi que les informations administratives, garantissant ainsi la confidentialité de l’ensemble du système. Par ailleurs, la simplicité d’utilisation de Coze répond à nos besoins, car elle ne requiert pas de programmation de bas niveau. C’est donc une plateforme de développement adaptée à ce projet. Nous devons utiliser un mécanisme RAG (Génération Augmentée par la Recherche) afin de développer une IA capable de répondre efficacement aux questions, principalement à partir du contenu des cours fourni. Ce principe permet à l’IA de rechercher directement dans les fichiers de la base de connaissances, tels que les supports de cours et les données administratives, puis de construire des réponses à partir de ces informations. Cela garantit des réponses plus fiables, précises et adaptées au contenu fourni, plutôt que des réponses génériques. Ensuite, nous avons conçu l’architecture de l’IA sur la plateforme de développement. Nous avons défini sa conception et son fonctionnement globaux, et réfléchi à la manière d’intégrer simultanément le contenu des cours et les informations administratives dans la base de connaissances. Parallèlement, nous avons rédigé une invite principale pour guider le comportement du chatbot. Par la suite, nous avons mis en place des flux de travail détaillés à plusieurs branches afin d’organiser les réponses selon différents types de questions, ce qui pallie les lacunes du système, notamment son manque de rigueur parfois évident. Enfin, nous avons enrichi la base de données avec les ressources nécessaires, comme un petit échantillon de supports de cours et de documents administratifs, pour permettre à l’IA de répondre de manière pertinente et structurée lors des tests initiaux. Nous avons ensuite développé une méthode de collecte des retours étudiants afin d’évaluer et d’améliorer notre IA. À cette fin, nous avons invité des étudiants volontaires à tester le chatbot, puis diffusé des questionnaires pour recueillir leurs impressions. L’analyse des réponses a principalement révélé plusieurs limites du système, telles que des incompréhensions de certaines questions, tout en suggérant des pistes d’amélioration.

Les difficultés des étudiants lors de leur première année d’entrée à l’école

 Lorsque les étudiants de première année en école d’ingénieurs viennent d’entrer à l’école, en général, ils rencontrent principalement deux problèmes :

1. La dispersion des informations. Les étudiants ne savent pas où trouver l’emploi du temps des cours, les procédures administratives, les informations sur les cours des enseignants.
2. L’insuffisance des connaissances d’apprentissage. Les étudiants actuels utilisent souvent des IA génératives comme ChatGPT ou Gemini pour comprendre les cours et faire des exercices. Cependant, les IA publiques peuvent produire des informations erronées ou des hallucinations, ce qui peut causer un grave danger pour l’acquisition des connaissances.

Afin de vérifier nos hypothèses sur les besoins des nouveaux étudiants de première année, nous avons adopté la méthode de l’enquête par questionnaire.

Afin de concevoir une IA utile et adaptée, une étude des besoins fut menée auprès de nos camarades. Étant nous-mêmes étudiants de première année, nous avons réfléchi aux besoins qui nous conviendraient, cependant il est nécessaire de confronter ces derniers à la réalité des autres étudiants. Ainsi, un questionnaire fut partagé à l’attention de nos camarades afin d’évaluer les besoins réels de tous les étudiants dans le but de répondre à ces derniers avec le prototype. Ceci donne aussi une trame pour construire la base de données qui sera utilisée par le bot. Le type de questions variait de classement par ordre d’importance à des réponses libres, dans lesquelles chacun pouvait s’exprimer sans être influencé par les propositions antécédentes et éventuellement donner des réponses qui n’avaient pas été envisagées.

Un constat peut être fait que les étudiants de première année représentent la majorité de l’audience sondée : sur 57 réponses obtenues, 51 proviennent d’étudiants de première année. Cela amplifie la conviction de se pencher sur les besoins des premières années en priorité.

Figure 2 : Répartition des répondants selon leurs années d’études

À la suite de cette première question afin de connaitre l’audience, une question permettant d’estimer à première vue le nombre de personnes pouvant être susceptibles d’utiliser cette IA fut posée. Cette question se base sur la possible désorientation des étudiants due au manque d’informations ou bien l’incompréhension de ces dernières.

Figure 3 : Évaluation du niveau de désorientation des étudiants à leur arrivée

Sur une échelle de 1 à 10 où 10 est lorsque l’étudiant est totalement désorienté, le bilan ressort qu’une dizaine de réponses sont notées à 3, de même il y a plusieurs notes, variant entre 4 et 8 (environ six personnes pour chacune de ces réponses).

Par la suite, un autre type de questions plus précises prend place, par exemple la suivante concernant les besoins en information sur les enseignants. Cette fois il s’agissait d’une question à choix multiples, et non une note à attribuer contrairement aux exemples précédents.

Figure 4 : Types d’informations recherchées par les étudiants.

Le bilan de ce sondage est que les informations administratives recherchées concernent la plupart du temps la disponibilité et le contact d’enseignants au sein de l’établissement.

De plus, le choix a été fait de poser des questions ouvertes afin que l’audience puisse répondre librement sur les besoins qui n’étaient pas couverts par les questions à choix multiples et les notes. Ce sondage a pu remplir sa fonctionnalité de guide, afin de connaître les besoins des étudiants. Par exemple, pour une question demandant leurs attentes d’une IA pédagogique, différentes réponses sont obtenues telles que : la création de fiche fiable, de résumé de cours, explications de concepts incompris ; mais aussi qu’elle soit simple, agréable à utiliser et efficace.

Finalement, les étudiants souhaitent avoir une IA rassemblant les informations des enseignants tout en leur permettant d’apprendre de manière fiable. Ceci justifie la mise en place d’une IA permettant aux étudiants de répondre à des questions de cours, avoir accès à des fiches simplifiées et de s’entraîner à l’aide d’exercices.

Développement de prototype : combinant Prompt et Workflow

Lors des premières étapes de développement, notre équipe a rédigé une consigne principale (illustrée à la figure 5) afin de définir la première phase du développement de l’IA. Cette consigne exigeait de l’IA qu’elle :

• Réponde aux questions des étudiants comme un assistant pédagogique ;
• Évalue le niveau de l’étudiant lorsqu’il pose des questions ou demande des exercices ;
• Propose des exercices de difficulté adaptée au niveau de l’étudiant ;
• Guide les étudiants dans leur réflexion avant de répondre ;
• Privilégie autant que possible les bases de données internes plutôt que l’accès direct à Internet ;
• Indique la source des informations dans les réponses.

Figure 5 Prompt initial de ENSAM.IA

En nous appuyant sur la consigne principale, nous avons construit de A à Z un flux de travail à plusieurs branches, comme illustré à la figure 6. Ce flux de travail, conçu pour ENSAM.AI, définit précisément la manière dont l’IA doit traiter différents types de problèmes, avec des entrées, des sorties et une base de données clairement définies. Les paramètres de chaque étape peuvent être définis avec précision en fonction des besoins. La construction de ce flux de travail garantit la rigueur de la plateforme ENSAM.AI.

Plus précisément, comme illustré à la figure 7, la conception du flux de travail comprend principalement les branches suivantes :

1. Génération d’exercices : lorsqu’un étudiant demande des exercices, ENSAM.AI en génère en fonction de son niveau et du contenu de la base de données. Après que l’étudiant a répondu, ENSAM.AI corrige ses réponses et tente de mettre à jour son niveau.
2. Réponse aux questions sur le cours : lorsqu’un étudiant pose une question relative au cours, ENSAM.AI effectue d’abord une recherche dans la base de données pour trouver des ressources pédagogiques. Si aucune information pertinente n’est trouvée, ENSAM.AI peut proposer à l’étudiant de poursuivre sa recherche sur Google ou Google Scholar.
3. Création de supports de révision : Les étudiants peuvent demander à ENSAM.AI de générer des supports de révision à partir d’une partie spécifique du contenu du cours. Si le contenu pertinent est introuvable dans la base de données, ENSAM.AI indiquera qu’il ne dispose pas de l’information, plutôt que de la créer de toutes pièces.
4. Réponse aux questions administratives : ENSAM.AI peut répondre à certaines questions administratives simples.

Figure 6 Workflow principal

Figure 7 Diagramme décrivant le fonctionnement du workflow principal et les liens avec les workflows spécifiques

Base de connaissances et apprentissage personnalisé

ENSAM.IA s’appuie principalement sur notre base de connaissances existante pour répondre aux questions. L’équipe a donc importé dans la base de données des exemples de supports de cours, d’exercices et d’informations administratives à des fins de test, puis les a organisés par matière. Cela permet à ENSAM.IA de générer des réponses à partir de ces données. Lors des tests, nous avons constaté que la version actuelle d’ENSAM.IA présente encore une marge de progression importante en matière de reconnaissance de formules mathématiques complexes. Sa compréhension des formules mathématiques sous forme d’images est supérieure à celle des formules écrites sous forme de texte. Actuellement, les mises à jour de la base de connaissances sont principalement effectuées manuellement par les développeurs. Par conséquent, la base de connaissances nécessite une organisation et une maintenance régulières pour garantir l’exactitude des informations.

Par ailleurs, notre groupe a entrepris une démarche innovante audacieuse pour permettre à ENSAM.IA de proposer un tutorat personnalisé en fonction du niveau de chaque étudiant. Au quotidien, une IA classique évalue nos préférences, nos caractéristiques, nos aptitudes et même notre ton de conversation préféré à partir de notre historique de navigation.

Nous avons donc repris ce mécanisme pour permettre à ENSAM.IA de déterminer le niveau actuel de l’étudiant, d’adapter la difficulté des exercices en conséquence et de mettre à jour le statut d’apprentissage après correction, créant ainsi une base de données personnalisée. D’après les résultats des tests actuels, ENSAM.IA ne parvient pas encore à déterminer avec précision et de manière constante le niveau de difficulté approprié des exercices ni la courbe de progression de l’utilisateur. Par conséquent, bien que la version actuelle d’ENSAM.IA puisse fournir une aide à l’apprentissage immédiate, des améliorations supplémentaires de la structure de la base de données et du mécanisme d’évaluation de l’apprentissage sont nécessaires pour parvenir à un apprentissage personnalisé à long terme. Ces domaines présentent un fort potentiel de développement futur.

Tests et retours utilisateurs: Une fois le prototype ENSAM.AI finalisé, les tests et les retours utilisateurs étaient des étapes essentielles. Nous avons invité les étudiants et les enseignants d’ENSAM à participer aux tests via un lien et avons recueilli des retours quantitatifs grâce à un questionnaire.

Premièrement, l’IA a globalement fonctionné comme prévu, privilégiant l’utilisation de la base de données interne plutôt que de se fier principalement à Internet. Cela indique que le mécanisme RAG a été efficace dans le projet.

Figure 8  Sources des réponses fournies par l’IA

Deuxièmement, les utilisateurs ont trouvé l’interface généralement facile à utiliser. Les résultats des tests ont montré un niveau d’utilisabilité élevé, indiquant que le prototype présente certains avantages en termes d’expérience utilisateur.

Figure 9 Facilité d’usage de l’interface

Figure 10 Evaluation de l’utilité de l’IA

En conclusion, l’une des premières limites rencontrées a été le nombre de réponses. Une possible solution aurait été d’aller directement récupérer les réponses auprès des utilisateurs. Autrement dit, ne pas passer par un questionnaire numérique mais plutôt un entretien en face à face avec l’utilisateur. Quant au nombre de réponses, il ne s’agit que pour l’instant d’un échantillon permettant de mettre en lumière les premiers axes d’améliorations. Dans le futur, lorsque l’IA sera utilisée, un retour d’un plus grand nombre d’étudiants et de professeurs sera nécessaire.

Toutefois, ces retours obtenus permettent tout de même de valider les différents choix. Le sondage confirme que le mécanisme de RAG fonctionne comme attendu. L’IA récupère prioritairement ses informations dans la base de données privée fournie plutôt que sur internet lorsque cela est possible (notamment pour les questions sur le cours, les fiches ou les informations administratives). L’interface était accessible mais elle manquait légèrement d’intuitivité. Ainsi, le bouton présent sur l’interface a été modifié de sorte à fournir des explications en plus aux utilisateurs comme le montre la figure 11.

Figure 11 : Modification de l’interface

Cependant, le questionnaire a également mis en valeur les axes d’améliorations liés aux problèmes rencontrés lors de l’utilisation de l’IA. Plusieurs retours pointent le manque de précisions et de justesse des informations données par l’IA. Cette dernière ne fournit pas d’explications suffisamment détaillées ou encore, ne donne que des mauvaises réponses ou des réponses très vagues sur certains cours. Cela peut être dû au format du cours, certains cours ne disposent que d’images ou de formules mathématiques et peu voire aucunes explications.

L’IA n’est pas suffisamment intelligente, en ne se basant que sur ces données pour développer les explications des notions de cours.

Concernant la base de données, elle manque crucialement d’informations administratives. Les étudiants trouvent plutôt leur compte dans les informations administratives que dans les exercices générés par l’IA. C’est un outil qui pourrait s’avérer utile dans le parcours des étudiants si la base de données était plus fournie.

Dans cette même voie, une partie des étudiants sont sceptiques quant à l’intégration de cet outil dans leur quotidien tandis que l’autre partie pourrait envisager son intégration dans leur quotidien lorsque les failles auront été corrigées et la base de données enrichie.

Cette analyse montre que les prochaines étapes du développement de ce projet doivent être axées sur les améliorations suivantes, classés par ordre de priorité :

• Fiabilité des réponses : permettre à l’IA d’affiner ses recherches dans la base de données ou lui permettre d’admettre que l’information n’est pas dans sa base de données plus que de générer une réponse vague.
• Approfondissement des réponses : ajuster les réponses de l’IA afin de lui permettre d’afficher des équations mathématiques, et revoir ses prompts et workflow afin qu’elle puisse développer toutes ses explications.
• Enrichissement de la base de données : ajouter de nouveaux documents à la base de données et potentiellement l’automatiser afin d’avoir une base de données constamment à jour.
• Interface : déterminer un moyen permettant aux étudiants d’accéder gratuitement et de manière illimitée à l’IA mais aussi de restreindre l’accès à la plateforme aux étudiants de l’ENSAM.

Conclusion

Ce projet a abouti à la conception d’un prototype fonctionnel d’intelligence artificielle pédagogique privée spécifiquement adaptée aux besoins des étudiants de première année à l’ENSAM. Face aux limites des IA publiques, notamment les soucis de confidentialité, le choix de l’architecture RAG s’est avéré déterminant. Cette méthode garantit que l’IA puise ses réponses prioritairement dans la base de données fournie, assurant ainsi la fiabilité des informations administratives et pédagogiques transmises aux étudiants. L’innovation de cet outil réside également dans sa dimension pédagogique. Grâce à la méthode de scaffolding, le bot ne se contente pas de fournir des réponses immédiates, mais guide l’étudiant dans sa réflexion, favorisant ainsi un apprentissage actif et personnalisé. Un autre point positif réside dans l’interface d’utilisation de l’IA, les tests utilisateurs ont souligné la réussite ergonomique du projet. Cependant, le développement de ce prototype a mis en lumière des défis techniques persistants. Les principales limites identifiées concernent l’incapacité actuelle du système à traiter les formules mathématiques complexes (matrices, exposants) ainsi que la nécessité de rendre les réponses de l’IA plus précises. De même, la gestion manuelle de la base de données reste une tâche fastidieuse qui limite l’automatisation des mises à jour. A l’avenir, le projet devra être orienté vers l’enrichissement continu de la base de données, et une amélioration de la méthode de lecture des documents afin d’y intégrer les formules mathématiques. En effectuant ces corrections, cette IA privée aurait le potentiel de devenir un compagnon d’étude indispensable pour les étudiants de première année, capable d’appuyer au quotidien les étudiants dans leur réussite académique au sein de l’ENSAM.

Remerciements

Nous adressons nos sincères remerciements à l’équipe de CaMéX-IA pour son aide précieuse et son accompagnement tout au long du projet.