Sprawdziliśmy, czy ChatGPT napisałby maturę z matematyki. Pojawiło się sporo problemów

Z wypracowaniami z języka polskiego ChatGPT sobie kompletnie nie poradził. Popełnił kardynalne błędy, wymyślał nazwiska reżyserów czy tytuły dzieł. Polonistka zmiażdżyła obie prace wygenerowane przez sztuczną inteligencję.

Inaczej było w przypadku egzaminu z języka angielskiego. ChatGPT popełnił tylko jeden błąd. Przyzwoicie zdałby tegoroczną maturę nawet bez napisania e-maila i rozwiązania zadań z części rozumienia ze słuchu.

Po opublikowaniu przez CKE arkuszy z matematyki, postanowiliśmy sprawdzić, czy da radę rozwiązać maturę z matematyki. I pojawiły się problemy.

Dalsza część artykułu pod materiałem wideo

W przypadku języka polskiego i angielskiego wygenerowanie odpowiedzi na zadane pytania zajęło Chatowi parę minut. Z matematyką jednak nie jest tak łatwo. Być może algorytmy GPT są w stanie rozwiązać postawione przed maturzystami zadania, ale sam czat nie zawsze jest w stanie je zrozumieć. Pojawiają się problemy.

Pierwszy jest prozaiczny - ChatGPT nie "widzi" rysunków, na podstawie których maturzyści muszą rozwiązać poszczególne zadania. Nie da się ich wczytać w sposób, w który mógłby się do nich odnieść.

Problem jest także z zapisem pytania. Maturzysta chcący szybko sprawdzić, czy dobrze rozwiązał zadanie, w wielu przypadkach nie jest w stanie szybko przekleić z arkusza treść i czekać na wygenerowanie odpowiedzi. Trzeba sporo zmienić i zweryfikować, czy ChatGPT dobrze nas zrozumiał.

Tak ChatGPT poradził sobie z jednym z zadań na maturze.

Gdy już poprawnie zadamy pytanie, sztuczna inteligencja daje radę. Poprawnie udało się mu się - na przykład - rozwiązać zadanie z logarytmami (tylko przekleiliśmy treść zadania) a także dobrze punktowane równanie (zmodyfikowaliśmy zapis - symbol kwadratu w indeksie górnym). Poradził sobie także z ciągiem geometrycznym.

Czy ChatGPT zdałby maturę? Trudno ocenić, ale zdaje się, że przeszkodą nie jest brak zdolności modelu do rozwiązywania zadań, a to, że trudno poprawnie sformułować pytanie, i że ChatGPT nie potrafi pracować z rysunkami.