Utilizarea AI

Responsabil BF: Toma Iulian
dr.Toma
Posts: 75
Joined: Mon Jan 19, 2015 6:16 pm
Location: Braila
Rang: 3d

Utilizarea AI

Postby dr.Toma » Tue Apr 28, 2020 5:38 pm

Datorita evolutiei foarte rapide a programelor de calculator in ceea ce priveste jocul de GO, a aparut ca o reala problema utilizarea "ajutorului" oferit de aceste programe pentru a castiga partide de GO impotriva unor jucatori mai buni, dar fara astfel de "sfatuitori".

Trec peste faptul ca asta nu este de natura sa aduca o crestere reala a nivelului de joc al celor ce folosesc in mod regulat programele AI, dar nu pot sa nu remarc faptul ca in contextul existentei mai multor turnee de GO online asta ar putea reprezenta o problema serioasa.

De aceea am 2 propuneri:

1. Crearea unui grup de supervizori care sa poata sa verifice la nevoie partidele cu probleme potentiale. Ma gandesc (si nu sunt singurul, cred) ca daca se analizeaza o astfel de partida cu un program AI (sau mai multe, nu stiu exact cate or mai fi aparut) si se remarca o mare concordanta intre propunerea programului AI si mutarea jucata efectiv, atunci se poate presupune ca de fapt partida a fost "ajustata" cu programul respectiv. Si chi\r se poate indica "sursa de inspiratie".

2. Includerea in regulamentele turneelor online a unor prevederi care sa preintampine trisarea prin folosirea programelor de GO in partide. Au fost deja cateva cazuri cu niste italieni, mai au fost si cateva suspiciuni pe la noi... Totul este sa incercam sa prevenim asta de acum inainte si sa putem juca linistiti. Astept propuneri in acest sens. Si poate reusesc si eu sa gasesc un astfel de program, pt ca am incercat sa fac o verificare la o partida si nu am reusit deloc. Sunt doctor, nu expert IT...

In plus, cred ca ar fi bine ca arbitrii activi de la noi sa ia in considerare acesta potentiala problema si sa incercam sa facem o instruire si in acest sens. Altfel, posibilitate de a organiza online o serie de concursuri devine tot mai indepartata...


User avatar
Dan.A
Posts: 567
Joined: Mon Jan 19, 2015 12:58 pm
Location: Bucuresti
Rang: 3Kyu

Re: Utilizarea AI

Postby Dan.A » Tue Apr 28, 2020 8:31 pm

Intradevar este o poblema reala si destul de greu de reglementat.

- Momentan nu am observat in afara o discutie pe aceasta tema desi concursurile online in europa au inceput sa creasca.

- In teorie deoarece sunt doar de clasa D (0.25 din valoare) nu ar trebui sa influenteze prea mult. Dar daca numarul de concursuri creste va deveni o problema.

- Luand la intamplare de la EGD concursuri si de la noi si din alte parti ale europei jucate online (practic cam tot ce sa raportat in ultimele luni e online) am observat ca sunt destule castiguri care teoretic nu s-ar justifica la tabla.

Din pacate numarul de programe care pot sa bata omul este foarte mare si cu diferite stiluri de joc in functie de sistemul de antrenament.

Criterii de detectie inca nu am vazut desi am urmarit discutii si stiu ca in Rusia de exemplu se lucreaza la un program care sa detecteze partide suspecte

- In mare se analizeaza milioane de partide de diferite ranguri si dupa servere diferite (asta e Ai-ul are nevoie de multe date) si se incearca sa se observe diferentele in rata de greseli fata de mutarea optima in functie de rangul jucatorului.

- O problema este ca robotul bate profesionisti de top la 2 si chiar 3H. De exemplu Shin Jinseo numarul 1 mondial spune ca joaca in fiecare saptamana cu LeelaZero si ca p calculatorul sau are probleme la 2H (castiga mai putin decat pierde).

- O alta problema este in functie de rangul jucatorilor care folosesc robotul.

- La ranguri mari marja de eroare e mai mica. De ex. daca alegi intr-o faza a partidei o secventa a robotului nu prea mai poti varia in mutari si sa ai sperante ca poti intoarce un rezultat nefavorabil. Deci creste sansa sa detectezi daca partenerul a folosit sau nu robotul.

- La ranguri mici greselile sunt mai mari si mai multe de ambele parti deci ai o paleta mai larga de mutari de ales din recomandarile robotului nu neaparat din primele 2-3. Deci e mai greu sa observi daca sa folosit sau nu robotul.

Sahul in online a avut aceasta problema de aproape 15-20 de ani si a dezvoltat diferite metode de detectie.

- Ei au date statistice despre rata de imbunatatire a rangului unui jucator in timp si sansele de castig intre diferite ranguri.

- Jucatorii care au o rata de castig mai mare decat ar trebui cand joaca cu jucatori mai tari sau cei care cresc in rang mult prea repede devin suspecti si li se analizeaza o serie de partide (nu doar una doua) jucate in ultima perioada.

Oricum la ei nici o prtida jucata pe net nu este cotata de FIE deoarece nici o metoda nu e 100% sigura.


In concluzie partidele care chiar bat la ochi pot fi analizate si trasa o concluzie temporara pana cand vom putea iar sa jucam la tabla unde se va vedea clar cine a crescut pe bune si cine artificial.


Dar orice verdict va fi intampinat cu ostilitati. Exemplul este chiar al italianului care a trisat in turneul european de echipe tinut pe Pandanet.

Majoritatea jucatorilor pe net i-au luat apararea in special jucatorii de ranguri mici de la 3-4D in jos. S-u facut numeroase apeluri etc.

Abea mai tarziu a devenit evident pentru majoritate ca nu avea cum sa bata jucatori de 6D cand a participat la un turneu la tabla si l-au rupt si jucatori de 2 si 3D.

Oricum caz ca aflu de ceva metode noi de detectie o sa postez aici.

P.S. Exista o gluma la sah pe tema asta. Sti cum afli daca partenerul tau de joc a folosit un program ? Atunci cand iti bate programul tau la joc.
"There are times when the only choices you have left are the bad ones."

User avatar
Admin
Site Admin
Posts: 420
Joined: Sat Jan 17, 2015 6:30 pm
Rang: 1d

Re: Utilizarea AI

Postby Admin » Sun May 03, 2020 1:33 pm

Daca aveti link-uri in care sa se vorbeasca despre posibile metode folosite pentru depistarea cazurilor in care se joaca cu ajutorul AI, va rog sa le postati si aici.
Ma gandesc ca indiferent de AI-ul folosit, o mutare umana care pentru Leela e suboptimala cu 10% va fi vazuta aproximativ la fel de KataGo. Nu am verificat dar la asta m-as astepta. Daca este asa, atunci presupun ca pentru jucatorul investigat s-ar putea determina grafic care este distributia in procente a mutarilor suboptimale pe care le face in partidele jucate corect si apoi se poate compara cu ce s-a obtinut in partida suspectata. Diferentele ar trebui sa fie foarte vizibile cu ochiul liber.
Cum a zis si Dan in postarea precedenta, odata ce intri intr-o varianta de joc propusa de AI, nu prea mai poti iesi din ea fara a incasa pierderi poate chiar mai mari decat daca nu ai fi ales din start varianta propusa de AI. Asta ar insemna secvente care pot depasi 10 mutari. Si 10 mutari deja intuiesc ca ar putea lasa o amprenta vizibila pe grafic.
Din observatiile personale, deja pornind de la 3k spre rangurile dan, AI-ul creaza un dezechilibru atat de major in partida incat cred ca daca se analizeaza doar 3 partide jucate corect este suficient sa compari si sa depistezi fara mari dubii partidele in care nu s-a jucat cinstit.
Iulian Lungu

dr.Toma
Posts: 75
Joined: Mon Jan 19, 2015 6:16 pm
Location: Braila
Rang: 3d

Re: Utilizarea AI

Postby dr.Toma » Sun May 10, 2020 1:45 pm

Catalin Taranu ne-a explicat cum incearca EGF sa limiteze acest fenomen nefericit, legat de utilizarea AI in partidele oficiale. Exista un grup de jucatori tari preocupati si de IT care analizeaza partidele cu probleme de acest gen (Victor Lin, Lukas Podpera etc) si asigura pe cat posibil corectitudinea in partidele jucate la academia online si la alte concursuri (ex Corona Cup, daca am inteles corect). Exista disponibilitate pt asistenta in domeniu la nevoie, mai ales ca intentionam sa mutam online o serie de concursuri care nu mai pot avea loc fizic, din cauza restrictiilor legate de pandemie.

Ceea ce as vrea eu este sa facem un pas mai departe si sa incercam si noi sa facem ce se poate in acest sens. De aceea apelasem la cei care au cunostinte IT mai bune ca mine si poate chiar disponibilitate si preocupari legate de subiect. Exista?...

User avatar
Dan.A
Posts: 567
Joined: Mon Jan 19, 2015 12:58 pm
Location: Bucuresti
Rang: 3Kyu

Re: Utilizarea AI

Postby Dan.A » Sun May 10, 2020 7:45 pm

Chiar as fi curios sa stiu ce metode folosesc Europenii. Mai precis daca analizeaza manual partidel sau au dezvoltat o metoda automatizata.

Metoda manuala nu e grea si nu necesita cunostinte de IT.Trebuie doar sa sti sa rulezi un robot si sa-l pui sa analizeze o partida.

- Eu folosesc Lizzie dar se poate si in Sabaki. Amandoua programele au rubrica pe forum cu linkuri si mod de utilizare.

- Se analizeaza partida de la inceput pana la sfarsit sau o sectiune (Ex: de la mutare 25 la mutarea 180) si se noteaza primi 3 candidati (mutari alese de robot) pentru fiecare mutare.
- Dupa aia se calculeaza cate mutari au nimerit jucatorii. Ex: 45% din primii 3 candidati 30% din primii 2 candidati 15% mutarea cea mai buna.

* Aceasta este o metoda usor de efectuat dar costisitoare ca timp.

Metoda automata.

- Se analizeaza o partida sau mai multe partide si se creeaa un fisier cu statisticile deja calculate.

- Eu cel putin nu cunosc vre-un program care sa poata sa extraga automat parametrii si sa creeze statistici. Ar scurta enorm timpii.

Probleme care apar la ambele metote in faza de analiza a partidei (deoarece aceasta faza e identica)

- Cat timp se aloca la analiza pentru fiecare mutare ca rezultatul sa fie satisfacator.?

- Dece aceasta intrebare. Pentru ca de ex in functie de timpul alocat se pot modifica si candidatii. Ex: Am verificat pentru o mutare la un moment dat si inre 50 vizite si 1600 de vizite robotul si-a schimbat optiunea de vreo 5-6 ori.

- Deci poate sa difere umpic in functie de cat timp ii aloca potentialul trisor pentru mutare,

-De recomandat este sa se foloseasca minim 1200v . Parametru in care greseli de scara sau semeai mai lung sunt reduse la minim fata de mai putine vizite

- Deci e nevoie si de un calculator taricel. Al meu de exemplu face cam 70-80 vizite/secunda De EX: in timpul analizei daca-i dau multe vizite si-l las automat fara sa fac si pauza are tendinta sa se incinga repede si chiar sa se blocheze.

Una din marile probleme (as fi curios ce criterii aleg jucatori tari care se ocupa de asta) este de la ce procent de asemanare cu robotul se poate vorbi de o partida suspecta.

- Acest procent difera mult in functie de rang. Exemplul meu cu 45% in primele 3 mutari ar putea fi considerat suspect la nivel de kyu mic 8-10Kyu dar la nivel de Dan (4-5 si mai sus) ar putea fi considerata o partida jucata prost.

Probabil cand cineva se va apuca sa analizeze masiv partide de ranguri diferite si sa creeze statistici acest procent va fi mai usor de identificat.

- Problema este, nu lipsa de partide (exista milioane de partide de 20kyu-9d disponibile din diferite servere) , ci timpul enorm de mare necesar analizei centralizarii datelor si creerea de statistici.
"There are times when the only choices you have left are the bad ones."

Adin
Posts: 15
Joined: Mon Jan 19, 2015 1:37 pm
Rang:

Re: Utilizarea AI

Postby Adin » Mon May 11, 2020 6:00 pm

Ca admin KGS m-am confruntat des cu cazuri de trisat cu AI. Nu exista in prezent nicio metoda automata de detectie. In practica se analizeaza manual folosind Leela si comparand mutarile jucatorului cu cele ale AI-ului, de asemenea privind la evolutia in timp a jucatorului (e cam improbabil sa devii danist intr-o luna dupa ce ai stat zece ani la 5k...).

Ce pot sa va mai spun de asemenea e ca nimeni nu triseaza. Absolut nimeni. Toti au avut revelatii divine care i-au saltat brusc mai multe ranguri. Mai trist e ca in multe cazuri aduc fie prieteni cu rang mare fie antrenori care atesta progresul lor fenomenal. Si atunci desi stii ca 99% triseaza e dificil sa iei masuri. E nevoie de multa fermitate, daca pornesti de la ideea ca mai bine scapa 100 vinovati decat sa sanctionezi un nevinovat, atunci s-a terminat. Pentru ca deocamdata e imposibil de dovedit 100% daca triseaza sau nu. Si de asemenea e important ca jucatorii de rang mare sa NU ateste pentru cineva decat daca sunt extrem de siguri ca respectivul e corect.

User avatar
Admin
Site Admin
Posts: 420
Joined: Sat Jan 17, 2015 6:30 pm
Rang: 1d

Re: Utilizarea AI

Postby Admin » Mon May 11, 2020 10:47 pm

La nevoie, pentru semnalari de partide suspecte ma pot oferi, cel putin ca experiment, sa analizez partida cu Lizzie folosind motorul Leela sau KataGo. Nu am un calculator extraordinar dar am observat ca poate analiza o partida intr-un timp destul de rezonabil.
In ultimul timp am facut experimente pe cateva partide unde am suspectat ca adversarul ar fi putut folosi un AI si pe cateva unde mi s-a parut ca adversarul a jucat fara ajutor.
Intr-adevar pentru ca un sistem de detectie sa fie acceptat de marea majoritate a oamenilor din lumea Go-ului el trebuie sa fie foarte riguros si solid. Lucru pe care il intuiesc a fi destul de complicat daca nu e inca disponibil unul la aproape 4 ani de cand au aparut AI-urile open-source care joaca Go la nivel profesionist.
Insa cred ca am putea sa ne folosim de bunul simt aici fara sa generam prea mari discutii. Cel putin asa sper.
Intr-o partida in care un jucator din zona 1 dan amator (doar in zona asta am experimentat pana acum) se foloseste de AI chiar si pentru numai 10-15 mutari din 110 cate face in medie intr-o partida, am observat ca graficul procentelor de castig este alterat suficient de mult comparat cu unul normal incat sa se vada cu ochiul liber ca ceva e suspect.
In plus, de foarte multe ori AI-ul propune mutari surprinzatoare pentru care probabilitatea ca un jucator uman sa le faca este foarte mica.

Ma gandesc ca o solutie ar putea fi infiintarea unei comisii FRGO care sa primeasca analiza facuta de un motor AI si care sa aiba responsabilitatea de a da un verdict in baza votului membrilor sai.

Sunt foarte convins ca o astfel de comisie va putea sa-si formeze o parere foarte rapida. Din experienta mea, analizand partidele a catorva jucatori, (unele jucate cu ajutorul AI, altele fara) am observat o diferenta extraordinar de mare in procentul de mutari care coincid cu primele 3 propuneri ale AI-ului. Si se observa diferente foarte mari chiar si in stilul de joc nu doar punctual in secvente limitate de mutari.

Avand in vedere ca Leela si KataGo au ajuns sa poata da 3 pietre handicap jucatorilor profesionisti de Top, ma gandesc ca nu e greu de acceptat ideea ca folosirea unui astfel de motor va lasa urme foarte vizibile.
Iulian Lungu

dr.Toma
Posts: 75
Joined: Mon Jan 19, 2015 6:16 pm
Location: Braila
Rang: 3d

Re: Utilizarea AI

Postby dr.Toma » Tue May 12, 2020 5:48 pm

OK, deci incep sa se vada solutii... Sincer, ma bucur de interesul pe care-l arata Iulian si Dan Amira, poate si Adin (?) si sper sa mai fie cativa. Ideea este ca fiecare dintre noi are propriile abilitati si cunostinte, iar eu as fi bucuros ca, in masura in care timpul permite si exista interes si posibilitati in acest sens, sa putem realiza cate ceva. Oricum, putin inseamna mai mult decat nimic...

Adin
Posts: 15
Joined: Mon Jan 19, 2015 1:37 pm
Rang:

Re: Utilizarea AI

Postby Adin » Thu May 14, 2020 2:13 pm

E o lupta pierduta ca sa fiu sincer. Sa va dau un exemplu recent: un junior de 4 dani pe KGS, care in turnee live nu a invins vreodata un danist. Ii iau rangul, normal. Apoi vine antrenorul sau, un jucator pro, care il sustine ca in doi ani a ajuns de la 20k la 2 dani. Juniorul respectiv tocmai participase la europenele din martie unde pierduse inclusiv la 2k. Dar datorita interventiei jucatorului pro a trebuit sa-i dau rangul de 4 dani inapoi. Niciun din cei despre care am vorbit nu era roman. D-apoi la noi unde inconstienta si coruptia sunt si mai mari.

User avatar
Admin
Site Admin
Posts: 420
Joined: Sat Jan 17, 2015 6:30 pm
Rang: 1d

Re: Utilizarea AI

Postby Admin » Thu May 14, 2020 3:51 pm

Vedem... Încercăm si ne adaptam pe parcurs. Eu sper sa nu ajungem prea curând la astfel de cazuri în concursurile noastre românești online, dar dacă apar suspiciuni, ma ofer, cel puțin ca experiment, sa le analizez si sa furnize informații statistice cui va trebui sa ia decizii. În limita a 10 partide pe săptămână cred ca ma descurc.
Iulian Lungu


Return to “Arbitri”

Who is online

Users browsing this forum: No registered users and 1 guest

cron