Как программы искусственного интеллекта дискриминируют неанглоязычных пользователей?
Chat GPT стал настоящим открытием для пользователей интернета. Его возможности значительно упростили работу людей разных профессий.
Однако не все столь однозначно. Исследователи обнаружили, что чат-бот дискриминирует людей, для которых английский язык не является родным.
Что предшествовало?
Ученые проанализировали 91 эссе на английском языке, написанное не носителями английского языка, с помощью семи популярных детекторов GPT. Таким образом, учёные хотели проверить, насколько хорошо работают программы.
Результаты исследования показали, что большинство текстов, написанных для общепризнанного экзамена на знание английского языка (TOEFL), якобы создал искусственный интеллект.
Более того, одна из программ ошибочно указала, что процент написанных искусственным интеллектом текстов равен 98%.
В то же время те же детекторы определили, что 90% текстов, которые написали англоязычные 8-классники, создал человек.
Почему так происходит?
Ученые объясняют дискриминацию тем, как детекторы отличают ИИ от человека. Программы анализируют на так называемое «удивление текста» — мера «удивления» определяется при попытке предсказать следующее слово в предложении.
Если алгоритм легко справляется с заданием, то удивления текста оценивается как низкое. Но если следующее слово трудно предсказать, то изумление текста оценивается как высокое.
То есть, если человек использует простые слова и обороты — программа с большей вероятностью примет его как ИИ.
Как правило, не носители языка часто используют общие слова и выражения. Это, собственно, и влечет за собой так называемую дискриминацию неанглоязычных пользователей.
Интересно, что после обнаружения такой проблемы учёные попросили ChatGPT переписать эссе для TOEFL, используя более сложные формулировки.
Так, когда редактируемые тексты снова пропустили через детекторы, их всех идентифицировали как написанные человеком.
Несмотря на это, чат GPT является отличным инструментом для улучшения работы учителей и обучения учащихся. В частности, ИИ может помочь учителю генерировать идеи для уроков, создавать словари для различных тем, придумывать задачи, упрощать поиск материалов и даже помогает проверять домашнее задание учащихся.
