Les membres ayant 30 points peuvent parler sur les canaux annonces, projets et hs du chat.
La shoutbox n'est pas chargée par défaut pour des raisons de performances. Cliquez pour charger.

Forum Casio - Actualités


Index du Forum » Actualités » Résultats finale individuelle concours d'IA 1000 Bornes Python 2023-2024
Critor Hors ligne Administrateur Points: 2670 Défis: 18 Message

Résultats finale individuelle concours d'IA 1000 Bornes Python 2023-2024

Posté le 17/06/2024 17:05


Voici enfin venu aujourd'hui le jour trop longtemps attendu des résultats de la finale individuelle concours d'intelligence artificielle Python 1000 Bornes.

Je présente toutes mes excuses pour tous ces mois de retard, découlant d'un incident de santé dans la famille début mars.
J'en profite pour remercier les candidats pour leur patience admirable, ainsi que ceux qui ont mis la main à la pâte pour faire avancer la gestion de l'événement alors que j'étais indisponible, notamment Afyu et également cent20.


Nos remerciements une fois encore tous ceux qui ont rendu possible cet événement auquel nous pensions déjà depuis plusieurs années et qui nous tenait tant à cœur :




Sommaire :
  • 1) Les finalistes
  • 2) La finale
  • 3) Les IAs
  • 4) Modalités d'évaluation
  • 5) Vainqueurs et derniers des truels
  • 6) Scores des truels
  • 7) Résultats





1) Les finalistes et la finale
Sur les 42 participants et participantes cette année, nous avions retenu invité les 3 premiers au classement à participer à une finale pour un lot supplémentaire :




2) La finale
La finale en question était l'occasion de faire évoluer le code de son IA si cela n'avait pas été anticipé, car le format des combats changeait exprès.

Etaient prévus ici non plus des duels, mais un truel entre les IAs de nos 3 champions.

Les IAs gérant et optimisées pour ce format devaient nous être téléversées jusqu'au dimanche 11 mars 2024 23h59 GMT+1.



3) Les IAs
Tous nos champions ont bien téléversé une ou plusieurs IAs avant la date en question. Sauf indication contraire de leur part (il y avait la possibilité de cocher l'IA à prendre en compte), c'est l'IA soumise en dernier qui va participer au truel.

  • SlyVTT va combattre avec son IA SLYnapse_finale, après nous avoir envoyé 4 autres tentatives d'IA.
    Lorsque qu'elle gagne, son IA s'esclame : "Je suis SLYnapse-11.0 ... Moi en mode Truelle, je Maçonne :D"
  • Afyu va quant à lui se battre avec son IA Triteleia.
    En cas de victoire, son IA s'écrie : "Et BIM, c'est qui le meilleur ?"
  • Yaya.Cout pour sa part va leur opposer son IA 42_2-5, après nous avoir soumis 1 autre tentative d'IA.
    Lorsqu'elle remporte le truel, son IA sait faire preuve de modestie : "I don't have the driving license, btw"




4) Modalités d'évaluation
Afin d'éliminer tout facteur aléatoire, nous avons fait s'affronter ces 3 IAs lors d'une grande série de truels, très exactement 388'888 truels.

Rappelons le 1000 Bornes est un jeu se jouant à tour de rôle. Pour 3 joueurs, pourront alors jouer dans l'ordre : joueur1, joueur2, joueur3, joueur1, joueur2, joueur3, joueur1, …
Selon la façon dont ont été codées les différentes IAs, certaines positions pourraient être avantagées ou désavantagées (si par exemple dans le cas où plusieurs adversaires sont vulnérables, une IA attaque toujours la position de plus bas numéro).
Pour n'avantager et de désavantager personne, nous changeons l'ordre des adversaires à chaque nouveau truel.

Voici le détail des truels joués par chaque IA dans les différentes positions possibles :
Joueur 1
Joueur 2
Joueur 3
SlyVTT
129'628
129'630
129'630
Afyu
129'628
129'630
129'630
Yaya.Cout
129'632
129'628
129'628




5) Vainqueurs et derniers
Intéressons nous maintenant au classement des IAs, en terme de scores, pour chaque truel.

Voici toutes les fois où chaque IA est dernière d'un truel (pire des 3 scores) en fonction des différentes positions :
Joueur 1
Joueur 2
Joueur 3
TOTAL
SlyVTT
42'091
(32,47%)
48'295
(37,26%)
73'286
(56,53%)
163'672
(42,09%)
Afyu
23'829
(18,38%)
23'383
(18,04%)
8'258
(6,37%)
55'470
(14,26%)
Yaya.Cout
61'701
(47,60%)
64'643
(49,87%)
45'424
(35,04%)
171'768
(44,17%)


Voici maintenant toutes les fois où chaque IA est victorieuse d'un truel (meilleur des 3 scores) en fonction des différentes positions :
Joueur 1
Joueur 2
Joueur 3
TOTAL
SlyVTT
27'504
(21,22%)
24'799
(19,13%)
13'018
(10,04%)
65'321
(16,80%)
Afyu
68'311
(52,70%)
69'746
(53,80%)
94'721
(73,07%)
112'904
(59,77%)
Yaya.Cout
24'651
(19,02%)
24'187
(18,66%)
43'232
(33,35%)
92'070
(23,68%)

On peut effectivement remarquer de grosses disparités en fonction des positions, Afyu bondissant par exemple de 52-53% à 73% de victoires si son IA joue en position 3 !
Mais la question n'est pas de savoir ce qu'il fait de spécial dans cette configuration (probablement rien vu le cadre imposé par le script réalisant les truels), mais plutôt de savoir ce que les autres IAs ou plutôt l'une d'entre elles ne font pas ou font moins bien dans cette configuration (comme du code non entièrement adapté à ce nouveau format et ne tenant pas compte du joueur3 pour certaines actions : qui est le plus proche de la ligne d'arrivée, qui attaquer, etc.). Si dans ce cas on oublie de tenir compte pour certaines décisions de ce qui semble être l'IA la plus dangereuse, effectivement cela explose son taux de victoires…



6) Scores
Si le vainqueur de la finale semble certes évident au vu des résultats précédents, reste encore à départager les deux autres qui sont très proches.

Pour cela rappelons que l'objectif n'était pas simplement de gagner, mais de gagner en réalisant le meilleur score possible.

Voici donc les scores cumulés (victoires et défaites confondues) lors des truels, en fonction ici encore des différentes positions de jeu :
Joueur 1
Joueur 2
Joueur 3
TOTAL
SlyVTT
1'020'631'950
1'010'858'425
936'257'475
2'967'747'850
Afyu
1'188'828'550
1'190'191'275
1'268'778'075
3'647'797'900
Yaya.Cout
965'444'275
942'549'825
1'079'499'375
2'987'493'475

Décidément, ici encore les deux IAs concernées sont extrêmement proches.



7) Résultats
Pour départager nos 3 candidats, nous faisons appel à notre version modifiée de l'algorithme de la méthode Elo déjà utilisée pour le classement individuel format duels, classant les IAs justement non pas en fonction du résultat binaire victoire/défaite de chaque truel, mais en fonction des scrores atteints en fin de partie.

Il est temps de proclamer les résultats :
  • 3e avec 174,061 points : Yaya.Cout
  • 2e avec 176,714 points : SlyVTT
  • 1er avec 212,213 points : Afyu

Un énorme merci pour votre patience infinie et un grand bravo à tous, vous allez maintenant pouvoir compléter vos choix de lots avant expédition !



Les résultats des duels peuvent être téléchargés et sont accompagné du script de classement.

Voici la sortie du script d'évaluation :
>python3 ./finale_truel_elo.py findiv1.json findiv2.json findiv5.json findiv10.json findiv20.json findiv50.json findiv100.json findiv200.json findiv500.json findiv1000.json findiv2000.json findiv5000.json findiv10000.json findiv20000.json findiv50000.json findiv100000.json findiv200000.json
Traitement des 388888 truels...
[====================================================================================================] 100%
         TOUR1            TOUR2            TOUR3

064814x  SlyVTT           Afyu             Yaya.Cout
1er      016036 (24.74)%  026928 (41.55)%  022118 (34.13)%
dernier  024964 (38.52)%  017719 (27.34)%  022532 (34.76)%
scores   524855550        566602300        543311050

064814x  SlyVTT           Yaya.Cout        Afyu
1er      011468 (17.69)%  003970 (6.13)%  049518 (76.40)%
dernier  017127 (26.42)%  045103 (69.59)%  002872 (4.43)%
scores   495776400        403851500        640704400

064814x  Afyu             SlyVTT           Yaya.Cout
1er      030566 (47.16)%  013371 (20.63)%  021114 (32.58)%
dernier  014846 (22.91)%  027421 (42.31)%  022892 (35.32)%
scores   580178600        509152675        536188325

064814x  Afyu             Yaya.Cout        SlyVTT
1er      037745 (58.24)%  020217 (31.19)%  007068 (10.91)%
dernier  008983 (13.86)%  019540 (30.15)%  036614 (56.49)%
scores   608649950        538698325        473423275

064816x  Yaya.Cout        SlyVTT           Afyu
1er      008416 (12.98)%  011428 (17.63)%  045203 (69.74)%
dernier  038858 (59.95)%  020874 (32.21)%  005386 (8.31)%
scores   449862800        501705750        628073675

064816x  Yaya.Cout        Afyu             SlyVTT
1er      016235 (25.05)%  042818 (66.06)%  005950 (9.18)%
dernier  022843 (35.24)%  005664 (8.74)%  036672 (56.58)%
scores   515581475        623588975        462834200

-------------------------------------------------------------------------------------------

NOM       CRITERE     TOTAL           = TOUR1           + TOUR2           + TOUR3

SlyVTT    truels    : 388888          = 129628          + 129630          + 129630
Afyu      truels    : 388888          = 129628          + 129630          + 129630
Yaya.Cout truels    : 388888          = 129632          + 129628          + 129628

SlyVTT    1er       : 065321 (16.80%) = 027504 (21.22%) + 024799 (19.13%) + 013018 (10.04%)
Afyu      1er       : 232778 (59.86%) = 068311 (52.70%) + 069746 (53.80%) + 094721 (73.07%)
Yaya.Cout 1er       : 092070 (23.68%) = 024651 (19.02%) + 024187 (18.66%) + 043232 (33.35%)

SlyVTT    dernier   : 163672 (42.09%) = 042091 (32.47%) + 048295 (37.26%) + 073286 (56.53%)
Afyu      dernier   : 055470 (14.26%) = 023829 (18.38%) + 023383 (18.04%) + 008258 (6.37%)
Yaya.Cout dernier   : 171768 (44.17%) = 061701 (47.60%) + 064643 (49.87%) + 045424 (35.04%)

SlyVTT    scores    : 2967747850      = 1020631950      + 1010858425      +  936257475
Afyu      scores    : 3647797900      = 1188828550      + 1190191275      + 1268778075
Yaya.Cout scores    : 2987493475      =  965444275      +  942549825      + 1079499375
-------------------------------------------------------------------------------------------

RANG  NOM             GROUP              IA                   ELO     FREQUENCE
1     Afyu            br.AI.n all.IA.ge  Triteleia            212.213  100.00% top1
2     SlyVTT          br.AI.n all.IA.ge  SLYnapse_finale      176.714  99.93% top2
3     Yaya.Cout                          42_2-5               174.061  99.93% top3



Dimartino Hors ligne Maître du Puzzle Points: 325 Défis: 2 Message

Citer : Posté le 17/06/2024 21:21 | #


Bravo à tous les trois !
Mon projet du moment : Memen'Casio
Slyvtt Hors ligne Maître du Puzzle Points: 2383 Défis: 17 Message

Citer : Posté le 18/06/2024 09:28 | #


Bravo à Afyu et à Yaya.Cout, c'est un joli combat.

Afyu nous a mis une déculottée super prestation de sa part.
Je suis très content que mon IA se soit bien sortie du combat, quoique un peu surpris in fine de passer devant Yaya.Cout.
Je savais pour avoir testé via le site web que nos IA avait un niveau à peu près équivalent car d'un sur l'autre, j'avais grosso modo du 50/50 de victoire.
Ca s'est donc joué dans un mouchoir de poche.

Critor, je ne sais pas si tu as vu les messages des diverses IA en cas de victoire, ce serait peut être intéressant de les mettre comme pour la première phase du tournoi.

Merci beaucoup à tous encore une fois pour ce tournoi fort sympathique. J'ai hâte de lire la démarche suivie par Afyu dans son IA pour nous atomiser, et ensuite voir le tournoi par équipe.

@+
There are only 10 types of people in the world: Those who understand binary, and those who don't ...
Eragon Hors ligne Gardien des bots Points: 478 Défis: 0 Message

Citer : Posté le 18/06/2024 10:10 | #


Félicitation aux trois participants de cette finale.
Vos IAs sont très développées.
Je me demande ce que ça donnerai avec des combats similaires pour d'autres IAs de la première phase du tournoi.
Comment est-ce que mon IA s'en sortirai ? Très mal probablement.
Tuper4 Hors ligne Membre Points: 889 Défis: 19 Message

Citer : Posté le 19/06/2024 07:50 | #


Bravo aux finalistes et aux organisateurs pour ce le concours!

sinon, petite faute de frappe ici...
Critor a écrit :
3) Les IAs
Tous nos champions ont bien téléversé une ou plusieurs IAs avant la date en question. Sauf indication contraire de leur part (il y avait la possibilité de cocher l'IA à prendre en compte), c'est l'IA soumise en dernier qui va participer au truel.

- SlyVTT va combattre avec son IA SLYnapse_finale, après nous avoir envoyé 4 autres tentatives d'IA.
- Afyu va quant à lui se battre avec son IA Triteleia.
- Yaya.[Count/i] pour sa part va leur opposer son IA 42_2-5, après nous avoir soumis 1 autre tentative d'IA.
C'est censé être Cout?
When the doorbell rings at three in the morning, it’s never good news. -Anthony Horowitz
Critor Hors ligne Administrateur Points: 2670 Défis: 18 Message

Citer : Posté le 19/06/2024 08:50 | #


Merci, c'est également corrigé.
Critor Hors ligne Administrateur Points: 2670 Défis: 18 Message

Citer : Posté le 19/06/2024 11:07 | #


Merci @Slyvtt pour ton retour et ta suggestion.

Slyvtt a écrit :
Critor, je ne sais pas si tu as vu les messages des diverses IA en cas de victoire, ce serait peut être intéressant de les mettre comme pour la première phase du tournoi.

Justement c'est rajouté, mais je crois que les messages ne changent pas ou très peu par rapport à la première phase.
Genesect Hors ligne Membre Points: 112 Défis: 0 Message

Citer : Posté le 19/06/2024 22:52 | #


Félicitations aux finalistes pour ces combats d'IAs fastidieux...

Ps : slyvtt, j'aime beaucoup ton message en cas de Victoire

LienAjouter une imageAjouter une vidéoAjouter un lien vers un profilAjouter du codeCiterAjouter un spoiler(texte affichable/masquable par un clic)Ajouter une barre de progressionItaliqueGrasSoulignéAfficher du texte barréCentréJustifiéPlus petitPlus grandPlus de smileys !
Cliquez pour épingler Cliquez pour détacher Cliquez pour fermer
Alignement de l'image: Redimensionnement de l'image (en pixel):
Afficher la liste des membres
:bow: :cool: :good: :love: ^^
:omg: :fusil: :aie: :argh: :mdr:
:boulet2: :thx: :champ: :whistle: :bounce:
valider
 :)  ;)  :D  :p
 :lol:  8)  :(  :@
 0_0  :oops:  :grr:  :E
 :O  :sry:  :mmm:  :waza:
 :'(  :here:  ^^  >:)

Σ π θ ± α β γ δ Δ σ λ
Veuillez donner la réponse en chiffre
Vous devez activer le Javascript dans votre navigateur pour pouvoir valider ce formulaire.

Si vous n'avez pas volontairement désactivé cette fonctionnalité de votre navigateur, il s'agit probablement d'un bug : contactez l'équipe de Planète Casio.

Planète Casio v4.3 © créé par Neuronix et Muelsaco 2004 - 2024 | Il y a 123 connectés | Nous contacter | Qui sommes-nous ? | Licences et remerciements

Planète Casio est un site communautaire non affilié à Casio. Toute reproduction de Planète Casio, même partielle, est interdite.
Les programmes et autres publications présentes sur Planète Casio restent la propriété de leurs auteurs et peuvent être soumis à des licences ou copyrights.
CASIO est une marque déposée par CASIO Computer Co., Ltd