by LifeIsCoolSmashTop, le site internet créé et géré par PeterPunk, a mis à jour son classement Français ce lundi. L’annonce a été vivement critiquée sur les réseaux sociaux, les différents acteurs de la communauté dénonçant la légitimité d’un Power Ranking de ce type pour plusieurs raisons.
À lire aussi : Les actualités Smash des deux dernières semaines – Best Of Five #2
Le Power Ranking est une affaire d’état dans la communauté Smash, à raison. La visibilité qu’il apporte est essentielle au développement car il est repris par des médias grand public comme l’Équipe. Les joueurs présents peuvent ainsi aspirer à des nouvelles équipes. PeterPunk, développeur web de métier, a créé SmashTop à l’aube de Super Smash Bros. Ultimate. Un algorithme qui calcule et classe les joueurs selon leurs résultats en tournoi de plus de 64 joueurs, tournois hebdomadaires exclus. La méthode de calcul est similaire à TrueSkill™, développée par Microsoft et utilisée dans la majorité des jeux en ligne de l’entreprise.
Le classement des 10 meilleurs joueurs Français selon l’algorithme de PeterPunk © SmashTop
L’intérêt est de faire ressortir deux valeurs : le “skill” et la “probabilité que la valeur indiquée pour le skill soit fausse” afin de s’approcher le plus possible de la vérité. Via une formule ((μ – 3σ) * 100) en ressort un score admettant un classement Français, encore inutilisable tel quel pour Nives, organisateur de tournoi parisien. “C’est une belle initiative. Mais si je l’utilise pour seeder, il détruit des brackets.” Selon des joueurs et organisateurs de tournois, la méthode de PeterPunk n’a pas sa place en tant que classement officiel, au-delà du travail abattu.
Un système par “points” jugé inadapté à la France
JeSuisChoq lors de l’Albion IV
Le développement des scènes est inégal dans l’Hexagone. Tandis que l’île-de-France profite de la densité de joueurs et organisateurs (la région compte presque autant de tournois que de jours dans la semaine avec les meilleurs joueurs de France), d’autres villes comme Orléans ou Metz souffrent de l’absence de joueurs ou d’organisateurs de tournoi. “Le système de PeterPunk est optimal pour des joueurs qui se rencontrent tous, tout le temps. Ce n’est pas le cas en France. Les gens n’interagissent pas assez entre eux aujourd’hui.” indique Tag, l’une des personnes à l’initiative du Power Ranking précédent. “Le classement est intéressant. La base de donnée est bonne. Mais il y a des aberrations dues à des anomalies humaines. Tout le monde n’a pas le même comportement donc le PR favorise certains par rapport à d’autres injustement.”
JeSuisChoq, joueur Strasbourgeois, est l’exemple le plus utilisé par les contestataires. Malgré ses performances à l’Albion IV (33ème), l’Ultimate Fighting Arena (65ème) et l’Ultimate Wanted (25ème), il n’atteint que la 77ème place du Power Ranking de PeterPunk sur la saison. Pour cause, son manque d’activité hors tournois majeurs. “Je ne voulais pas classer les gens selon qui est le plus fort, mais qui a eu les meilleures performances à un moment donné” justifie PeterPunk. “X peut être plus fort que Y, mais si Y est plus actif… il peut se retrouver devant X. L’investissement et l’implication sont mis en valeur. Ça a été mal communiqué et mal compris. Mais je suis d’accord qu’il y a un problème avec JeSuisChoq et les joueurs de ce type comme Greil et VinS. Je vais intégrer les tournois de 48 joueurs provinciaux afin de rééquilibrer.”
Gagner des points en perdant, perdre des points en gagnant
Extrait de la section “En savoir plus” de SmashTop
Vu comme une incohérence entre algorithme et réalité, la possibilité qu’un score aille à l’encontre d’un résultat réel délégitime le classement aux yeux de certains. C’est la relation entre les deux valeurs utilisées par PeterPunk qui est remise en cause. “C’est le malheur de la fonction mathématique que j’utilise.” déplore le développeur. “Si tu es un joueur de bas niveau et que tu perds logiquement face à quelqu’un d’excellent, l’algorithme va valider ton skill, mais la variable d’incertitude va baisser. Si la différence entre la variable de skill et la perte de l’incertitude est positive, alors ton score global augmente.”
Le cas peut arriver fréquemment lors des premiers tours de tournois majeurs. Les phases de poules pourraient être néfastes pour certains joueurs plus que d’autres dans la course au classement, selon la répartition des participants. Pour les réfractaires, l’opposition entre niveau réel et résultat fait blocage. Encore plus lorsqu’un joueur n’est pas classé à la hauteur de son talent.
“Tu as beau être MKLeo, l’algorithme ne te connaît pas”
Les tournois Français profitent du développement de Super Smash Bros. Ultimate. Depuis un an, les apparitions de joueurs étrangers se multiplient. C’est notamment le cas du néerlandais Mr. R et du finlandais Lancelot. Aujourd’hui dans le top 15 Européen, ils figurent également dans le classement Français de PeterPunk. Toutefois, à des places dérisoires (respectivement 50ème et 177ème). Cette situation handicape leurs adversaires : “Ce classement ne prend pas en compte les tournois en dehors de France. Tu as beau être MKLeo, l’algorithme ne te connaît pas” détaille Tag. “Si tu perds contre MKLeo, c’est comme si tu perdais contre un joueur de bas niveau. Et même si tu as le bonheur de gagner, tu n’engranges presque aucun point. Ça fausse le classement.”
Un problème ne devrait pas exister pour certains acteurs. “C’est bête, mais un Power Ranking national est simple. On regarde ta carte d’identité, et si tu es Français, tu es éligible à être dessus. Sinon ce n’est plus un PR Français” expliquait TPK sur la chaîne Twitch du Pugilat des Étoiles. La nuance entre classement des joueurs Français et classement de la communauté Française fait débat. Ce, depuis l’apparition du premier Power Ranking en juillet dernier.
Algorithme ou Jury : je t’aime, moi non plus
Enki lors de sa victoire à la Dreamhack Tours
La parution du classement d’été d’Ultimate avait déjà fait réagir, certains jugeant la place d’Enki (#19) trop haute. Le jury composé de Greil, Elyan, Ogey, Rama, Jeda, Aweska et Tag s’était par la suite dissous. Depuis, aucune équipe ne s’est officiellement reformée. “L’équipe était conçue d’organisateurs et d’acteurs importants des différentes communautés de France” précise Tag. “On a passé des soirées entières à débattre, on voulait vraiment faire les choses bien. À part l’accrochage avec Enki, il n’y a pas beaucoup eu de critiques. Notre méthode pourrait être reprise, surtout avec l’excellente base de données de PeterPunk. Mêler les deux serait optimal. D’abord un logiciel qui classe les joueurs, puis un jury légitime qui gomme les erreurs de la machine.”
Une vision que l’organisateur de tournoi partage. “L’algorithme a déjà été fait pendant des années sur Smash 4, en essayant de l’améliorer au mieux.” rappelle Nives. “Mais il y a toujours quelque chose qui n’allait pas. Des éléments inquantifiables. La chance d’avoir un bon bracket, un mauvais seeding, la disqualification d’un joueur qui a permis à un autre d’aller loin sans rencontrer de gros poissons… Il faut un jury pour pondérer ce que l’algorithme ne peut pas relever.”
Interrogé sur la question, le développeur estime que “ce serait mal avancer. Si un jury reprend mon classement pour modifier arbitrairement les places, ça me dérangerait. Mon objectif, c’est que l’algorithme soit décisionnaire, parce que lui n’est pas biaisé.” PeterPunk ne ferme néanmoins pas la porte. “M’entourer de personne qui puissent me guider et me donner des idées en amont est intéressant. Mais je veux rester impartial. Je ne veux pas que cela vienne de l’idée de quelqu’un. Il me faut une vision globale pour pouvoir prendre des décisions.”
“Il n’est pas légitime”
PeterPunk fait partie de la communauté Smash depuis quelques mois et souffre d’une méconnaissance de la scène. Pour corriger le tir, il profite de l’accompagnement de NTK, organisateur de tournoi, et de plusieurs membres de la communauté Française pour l’éclairer dans ses choix. Néanmoins, il reste seul décisionnaire de modifier sa méthode de calcul. “Ajouter et enlever des critères à insérer dans l’algorithme reste une décision arbitraire.” souligne Tag. “Il n’est pas légitime, c’est aussi simple que ça.” ajoute Nives. “La décision d’utiliser TrueSkill™ est la mienne, parce qu’il est utilisé partout.” admet PeterPunk. “On peut juger un algorithme par les entrées qu’on lui donne, mais mes entrées sont claires.”
Afin de palier le problème, Nives a intégré PeterPunk à la “backroom”, un channel Discord qui regroupe les personnalités les plus impliquées dans la compétition (joueurs de haut niveau et organisateurs de tournoi) depuis Super Smash Bros. Brawl. Des discussions sont en cours depuis la parution du Power Ranking pour faire évoluer l’affaire.
Affiche d’annonce du Panda Global Ranking saison 2 © PGR
La légitimité est un point qui touche toutes les communautés mondiales. Lors de l’annonce du classement mondial par Panda Global, l’absence de certains joueurs tel que Quik, Space ou MVD ont tout autant fait vibrer les réseaux sociaux. La principale critique étant l’algorithme utilisé par la firme à l’origine du projet. En France, la situation est similaire à l’exception qu’aucun organisme n’est aussi reconnu que Panda Global pour présenter un tel travail. Avec le développement de la scène et des créateurs de contenu, la formation d’une structure portant cette responsabilité pourrait potentiellement voir le jour. La communauté Française travaille activement sur la création d’un comité qui réglerait la question.