Freelances : une IA peut-elle prédire quelles missions un programme réussira ?
Des chercheurs ont demandé à 18 IA de prédire si un agent réussirait de vraies missions de freelance. Le résultat dépend d’un détail : ce qu’on dit de l’agent.
Des chercheurs ont demandé à 18 modèles d’intelligence artificielle de prédire, avant tout essai, quelles missions d’indépendants un agent IA, c’est-à-dire un programme qui travaille seul, peut accomplir à leur place. Ils ont utilisé plus de 1 400 vraies annonces de freelance. Leur réponse est nuancée : la prédiction fonctionne bien, mais seulement si l’on explique précisément à l’IA ce que l’agent ne sait pas faire.
Une question qui touche les indépendants
Un graphiste, une traductrice ou un développeur indépendant vit de missions publiées sur des plateformes. Si un client peut savoir à l’avance quelles missions un programme automatique exécutera correctement, la façon de choisir entre humain et machine change. Les prix, les offres et la concurrence aussi.
C’est ce que teste l’étude PAYWORTHY, publiée sur arXiv. Ce site met en ligne des travaux de recherche avant leur relecture par d’autres scientifiques : on parle de prépublication. Ses conclusions sont donc à prendre avec prudence.
Un agent IA, ici, est un programme qui exécute seul une tâche du début à la fin. Il lit la demande, utilise un navigateur web, écrit et fait tourner du code, puis rend un résultat. Personne ne le guide pendant le travail.
Avant de confier une mission payée à un agent, quelqu’un doit juger s’il va réussir. Les auteurs se demandent si une IA peut faire ce jugement à la place d’un humain, avant tout essai. Les 18 modèles testés ne font donc pas la mission : ils prédisent la réussite d’un autre programme, l’agent.
Comment le test a été construit
Les chercheurs ont tiré 1 494 annonces réelles d’un ensemble de 18,8 millions d’annonces publiées entre 2020 et 2026 sur une plateforme de freelance. Le résumé de l’étude ne nomme pas cette plateforme.
Pour chaque annonce, l’agent IA tente la mission une seule fois, à partir du seul texte de l’annonce. Ensuite, une autre IA joue le rôle du client. Elle décide si elle accepte ou refuse le travail rendu. On obtient ainsi, pour chaque mission, un verdict : acceptée ou rejetée.
Les 18 modèles doivent alors prédire, sans voir le résultat, la probabilité que l’agent réussisse. Les chercheurs regardent si les missions que le modèle jugeait les plus faciles sont bien celles qui ont été acceptées.
La mesure s’appelle l’AUC. On peut l’imaginer ainsi : on prend au hasard une mission acceptée et une mission rejetée, et on regarde si le modèle avait donné un meilleur score à la première. Un score de 0,5 équivaut à un tirage à pile ou face. Un score de 1 correspond à une prédiction parfaite.
Le résultat dépend de la façon de décrire l’agent
Le point central de l’étude tient à la description de l’agent donnée aux modèles. Deux cas ont été comparés.
Dans le premier, on dit aux modèles ce que l’agent ne peut pas faire. Tous classent alors les missions au-dessus du hasard, de façon modeste à bonne selon les modèles : leurs scores vont de 0,66 à 0,86. C’est loin de la perfection, mais c’est mieux qu’un tirage à pile ou face.
Dans le second, on leur dit simplement qu’il s’agit d’un agent générique, équipé d’un navigateur et capable d’exécuter du code. Les mêmes modèles, sur les mêmes missions, tombent entre 0,45 et 0,56. Leur classement ne vaut guère mieux que celui qu’on obtiendrait en mélangeant les annonces au hasard.
On peut en déduire, mais c’est notre lecture et non un constat des auteurs, que les modèles savent juger une mission seulement quand on leur fournit les limites de l’agent. Le résumé de l’étude ne détaille pas quelles limites ont été indiquées. On ne peut donc pas dire lesquelles ont fait la différence.
Ce que les auteurs ont vérifié, et ce qui reste fragile
Un risque évident : le « client » qui accepte ou refuse est lui-même une IA. Ses goûts pourraient fausser les résultats. Les auteurs ont donc refait l’expérience avec des juges issus de quatre autres familles de modèles d’IA : Claude, GLM, Kimi et Qwen. Les conclusions tiennent.
Ils ont aussi comparé les prévisions faites en connaissant les limites de l’agent aux verdicts de deux évaluateurs humains. Ces prévisions classent aussi correctement leurs jugements. Cela suggère que l’accord ne tient pas seulement à l’effet du client artificiel.
Des réserves restent, et elles relèvent de notre lecture. L’agent ne tente chaque mission qu’une seule fois, à partir de l’annonce seule. Un vrai freelance échange avec son client, pose des questions, corrige. Deux évaluateurs humains, c’est aussi un très petit échantillon. Enfin, l’étude n’a pas été relue par des pairs.
Que change cette étude pour un indépendant ou une PME ?
Il faut distinguer ce que dit l’étude de ce qu’on pourrait en déduire. Elle ne publie pas, dans son résumé, de liste de métiers ou de tâches menacés. Elle montre qu’une prévision est possible et qu’elle dépend de ce qu’on sait de l’agent.
Pour un indépendant, deux lectures sont possibles, et ce sont des analyses, pas des résultats de l’étude. La première est défensive : si des clients ou des plateformes savent trier les missions qu’un agent peut faire, les missions simples risquent d’être dirigées vers la machine. La seconde est stratégique : connaître ce tri permet de mettre en avant ce que l’agent rate, comme la relation avec le client ou la précision d’un besoin flou.
Pour une PME, l’enjeu est d’abord pratique. Avant de confier un travail à un agent, il faut savoir ce qu’il sait faire et ne sait pas faire. Cette étude suggère qu’une description vague de l’outil donne une évaluation peu fiable, même avec un modèle très avancé.
Qui utilisera ces prévisions, et au profit de qui ?
La question reste ouverte. Une plateforme pourrait s’en servir pour proposer une mission à un humain ou à un agent selon la probabilité de réussite. Un client pourrait y voir un moyen de réduire ses coûts. Un indépendant pourrait l’utiliser pour choisir les missions où il apporte un avantage.
Les mêmes outils ne servent pas les mêmes intérêts. Qui décrit l’agent, et donc qui fixe ses « limites » aux yeux des modèles, influence le résultat. Si ce sont les vendeurs d’agents, la prévision risque d’être flatteuse. Si ce sont des tiers indépendants, elle sera peut-être plus utile.
Le code de l’étude est annoncé comme disponible. D’autres équipes pourront donc vérifier ces résultats, les reproduire sur d’autres plateformes ou avec d’autres agents. C’est ce travail de contrôle qui dira si ces chiffres tiennent hors du laboratoire.
Sources
Pour aller plus loin Dossier : Les agents IADossier : IA, emploi et formation
