De Prerelease in Leiden was een ongekend succes: met maar liefst 101 spelers overdag en 33 spelers 's avonds hebben we een nieuw record gevestigd! Zoals altijd was de sfeer ontspannen en verliep het toernooi lekker vlot; de royale ruimte in Buddhas beviel erg goed: meer dan voldoende verse lucht, licht en speelruimte, en een groot terras aan het water waar mensen tussen de rondes door uitgebreid gebruik van gemaakt hebben. Ik heb Buddhas vast gereserveerd voor de prerelease van Gatecrash op zondag 27 januari 2013

Ik wil graag Mark, Jan en Kees bedanken voor het geweldige judgewerk, alle spelers voor hun aanwezigheid en relaxte houding, en felicitaties aan de winnaars: overdag waren Bas Vlaanderen en Mathijs Wageningen de enigen die 6 rondes ongeslagen wisten door te komen, 's avonds bleven Thijs van der Klauw en Kees Vlaanderen 4 rondes lang ongeslagen.
Huh, wacht even... Kees Vlaanderen? De broer van Bas die overdag won? Waarom won Kees dan niet overdag? Omdat hij toen aan het judgen was

Tot de volgende keer!

Greetz, Dustin.

Tijdens de ochtend prereleases zaterdag in Delft en Zondag in Leiden hebben we een klein statistisch experiment gedaan om te kijken welke guild de beste is. Maar voor we naar de uitslag daarvan gaan kijken, eerst even een snelcursus statistiek gevolgd door enkele aannames die noodzakelijk waren voor dit experiment.

Als je 100 keer met een eerlijke munt gooit, weet je van tevoren natuurlijk niet hoe vaak je kop zult gooien; het is bijvoorbeeld mogelijk dat je 53 keer kop gooit. Dan was achteraf bezien kop de beste keuze, maar als je die munt nog een keer 100 keer gooit, kun je best 46 of 59 keer kop gooien; toeval speelt een rol in de uitkomst van het experiment, zelfs als de munt eerlijk is en dus even veel kans op kop als op munt heeft. Als ik 70 keer kop gooi, zou dat nog steeds kunnen met een eerlijke munt, maar het is erg onwaarschijnlijk: de kans om met een eerlijke munt zo bizar vaak kop te gooien, is extreem klein. Als je dus een resultaat krijgt dat iets afwijkt van je verwachting, kun je dat toeschrijven aan toeval, maar als het sterk afwijkt, kun je met een bepaalde mate van waarschijnlijkheid concluderen dat de munt niet eerlijk is.
Dat een munt in een experiment van 100 worpen iets vaker kop gooit dan munt, is dus nog geen overtuigend bewijsmateriaal dat je in elk volgend experiment weer vaker kop zult gooien, maar je kunt wel met zekerheid zeggen dat in dit specifieke experiment kop de beste keuze was geweest.
Aan de andere kant: als ik een munt heb die niet eerlijk is (hij gooit in 70% van de gevallen kop), dan kan ik nog steeds toevallig ongeveer 50 keer kop gooien, zodat je denkt dat de munt zuiver is. De kans om een oneerlijke munt als zodanig te herkennen, noemen we het onderscheidingsvermogen van het experiment; als die te laag is, heeft de uitkomst van je experiment niet veel voorspellende kracht. In het algemeen geldt: hoe meer data (spelers), des te meer onderscheidingsvermogen.

Om eerlijk te onderzoeken welke guild het beste is, hadden we eigenlijk de guilds random moeten verdelen over de spelers, maar dat is natuurlijk niet leuk. Er is dus een kans dat betere spelers andere guilds kiezen dan minder goede spelers. Als we een statistisch significant resultaat vinden, weten we dus niet zeker of dat komt door verschil in guild sterkte of door voorkeuren van de spelers. Ik neem aan dat guildkeuze onafhankelijk is van speelsterkte.

Magic is sowieso een spel waarbij toeval/geluk een rol speelt; het zou kunnen zijn dat alle Izzet spelers voortdurend mana screwed of flooded waren en alle Golgari spelers altijd perfect trokken. Of andersom... Het kan zijn dat de Selesnya spelers allemaal goede boosters openden naast hun Guildpack, en de Azorius spelers allemaal rotzooi openden. Of andersom... Ik neem aan dat bij voldoende spelers dit wel uitmiddelt.

Ten slotte speelde niet iedereen exact de guild die hij gekozen had: veel mensen splashden een derde of vierde kleur, sommigen speelden zelfs helemaal hun guildkleuren niet! De invloed van die ene guildbooster met daarin de promo rare is dus misschien niet zo groot als je zou denken.

Met al die aannames en uitleg achter de rug, wordt het tijd voor de harde resultaten!

Zaterdag in Delft waren er 49 spelers; dit zijn de guilds die ze gekozen hebben:

Azorius: 9
Golgari: 11
Izzet: 9
Rakdos: 6
Selesnya: 14
Aantal spelers per guild

De verschillen tussen de guilds waren niet statistisch significant (Chi kwadraat = 3.55, df = 4, p = .470).

Maar hoe presteerden de guilds nu? De mensen die alle 5 rondes wonnen, speelden Golgari en Rakdos, het beste Azorius deck werd 11e, maar er is geen verschil in gemiddeld aantal Match Points per guild (F(4,44) = 1.786, p = .149).

Azorius: 6.1 (1.1)
Golgari: 9.2 (1.0)
Izzet: 6.4 (1.1)
Rakdos: 9.0 (1.3)
Selesnya: 7.0 (0.9)
Gemiddeld aantal Match Points (standaarddeviatie) per guild

Rakdos lijkt een alles of niets keuze te zijn, ze hebben de grootste standaarddeviatie (spreiding rond het gemiddelde) van alle guilds; echter, de standaarddeviaties van de guilds verschillen niet significant van elkaar (F(4,44) = 2.223, p = .082).

Kortom, de conclusie na Delft (49 spelers, 5 rondes): alle guilds zijn even populair en even sterk, maar de uitslag van deze specifieke prerelease was Golgari > Rakdos > Selesnya > Izzet > Azorius.

In Leiden hadden we meer data: 101 spelers die 6 rondes speelden. Ook hier waren de guilds gelijkmatig verdeeld (Chi kwadraat = 0.73, df = 4, p = .947).

Azorius: 21
Golgari: 23
Izzet: 19
Rakdos: 20
Selesnya: 18
Aantal spelers per guild

De mensen die op 18 punten eindigden, speelden Izzet en Golgari, plaats 3 t/m 6 waren Azorius, daarna volgden Selesnya en Rakdos op 7 en 8. Er is geen verschil in gemiddeld aantal Match Points per guild (F(4,96) = 1.079, p = .371), en ook hier zijn alle standaarddeviaties gelijk (F(4,96) = 0.374, p = .827)

Azorius: 10.0 (0.85)
Golgari: 8.1 (0.82)
Izzet: 8.4 (0.90)
Rakdos: 7.9 (0.88)
Selesnya: 9.3 (0.92)
Gemiddeld aantal Match Points (standaarddeviatie) per guild

Kortom, de conclusie na Leiden (101 spelers, 6 rondes): alle guilds zijn even populair en even sterk, maar de uitslag van deze specifieke prerelease was Azorius > Selesnya > Izzet > Golgari > Rakdos.

Dit is nagenoeg de omgekeerde volgorde van Delft! Niet heel erg verrassend, aangezien de verschillen niet significant zijn. Om terug te komen op het voorbeeld met de eerlijke munt: het is niet raar dat je de ene keer iets vaker kop gooit en de volgende keer iets vaker munt. Maar zelfs als er een verschil was in sterkte tussen de guilds, was de kans om dat verschil waar te nemen niet erg groot, daarvoor was het onderscheidingsvermogen te laag. Dat kun je oplossen door meer data te verzamelen, dus ik heb de gegevens van Delft en Leiden samengevoegd. De MP's heb ik omgerekend naar winstpercentage (in Delft heb ik de score door 15 gedeeld, in Leiden door 18), en zo krijg je iets meer gegevens.

Azorius: 51.1 (4.0)
Golgari: 50.2 (3.8)
Izzet: 45.6 (4.2)
Rakdos: 47.4 (4.3)
Selesnya: 49.4 (3.9)
Gemiddeld winstpercentage (standaarddeviatie) per guild

Hoe meer data ik verzamel, des te kleiner worden de verschillen tussen de guilds (F(4,145) = 0.299, p = .878). Nu is de ranking Azorius > Golgari > Selesnya > Rakdos > Izzet.

Voor de echte liefhebbers: na al deze ANOVA's heb ik de data nogmaals geanalyseerd met een Kruskal-Wallis test en een mediaan test op de ranks in plaats van de MP's, maar de resultaten waren allemaal niet significant.

Kortom: Return to Ravnica is een fantastische set, waarin elke guild even populair en sterk is!