Security Engineer (LLM Evaluation)
- Company
- orange.jobs
- Location
- Cesson-Sévigné, France
- Salary
- 1 307–1 680 €/mo
- Posted
- 2026-11-15
Skills: Linux, Python
Publication date : Nov 03, 2026, 2:52PM
Contract duration : 6 months
Sujetdu stage : Évaluation et optimisation de LLM locaux pour l’assistance aux activités de pentest
Au sein de l’équipe Pentest d’Orange, vous contribuerez à explorer les apports des modèles de langage (LLM) dans le cadre de tests de sécurité réalisés dans des environnements autorisés et contrôlés.
L’objectif du stage est de mettre en place et d’optimiser un environnement de pentest assisté par IA, s’appuyant sur des LLM exécutés localement. Le travail portera notamment sur l’évaluation de différents modèles, l’analyse de leurs capacités et l’identification des usages pertinents pour les activités de l’équipe.
Missions
Accompagné(e) par les membres de l’équipe, vous serez amené(e) à :
• concevoir et mettre en place un environnement de test pour l’utilisation de LLM locaux dans des scénarios de pentest encadrés • définir des cas d’usage et des protocoles de benchmark permettant de comparer l’efficacité des modèles • évaluer les résultats selon des critères adaptés : pertinence, fiabilité, reproductibilité, temps de réponse et ressources nécessaires • effectuer une veille sur les nouveaux modèles et outils, puis sélectionner et tester ceux qui présentent un intérêt pour l’équipe ; exploiter une machine dédiée équipée d’un GPU NVIDIA pour faire tourner les modèles localement • documenter les expérimentations, leurs limites et les recommandations d’utilisation
Les essais seront réalisés dans un cadre…
Full text and application on the employer's site.