Как разработать честный тест: зачем нужны параллельные тексты для диагностики дислексии

© iStock

Исследователи из Центра языка и мозга ВШЭ разработали тест для точной оценки навыков чтения у взрослых — например, до и после занятий с логопедом. Он включает два разных по содержанию, но одинаковых по сложности текста: участники читали их с равной скоростью, делали равное количество ошибок и одинаково понимали смысл. Подобные параллельные тексты позволят точнее диагностировать дислексию и отслеживать прогресс коррекции. Исследование опубликовано в журнале «Вопросы образования».

Чтение — навык, без которого трудно учиться, работать, ориентироваться в мире. Но даже у взрослых людей могут возникать сложности: текст читается медленно, буквы прыгают, слова меняются, смысл ускользает, а после остается усталость. Часто такие симптомы остаются без внимания.  Однако они могут указывать на дислексию — специфическое нарушение чтения, которое возникает в детстве и при отсутствии специальной помощи может сохраняться во взрослом возрасте, несмотря на нормальный интеллект, отсутствие нарушений зрения и слуха, и  хорошее образование.

В России до сих пор сложно диагностировать дислексию у взрослого человека. Один специалист может поставить диагноз, другой — опровергнуть, третий — заметить новые проблемы. И это связано не с качеством работы, а с тем, что применяются разные подходы и диагностические инструменты.  А еще — с тем, что стандартизированных инструментов для диагностики дислексии у взрослых — не было.

Проблема в том, что без надежной диагностики сложно объективно оценивать эффективность коррекции. Чтобы проверить эффективность методики, нужно сравнивать навыки чтения до и после занятий. Но если использовать один и тот же текст, участник может частично запомнить его, и результаты окажутся недостоверными. Если же тексты разные, но их параметры неизвестны, невозможно определить, с чем связаны изменения — с терапией или с тем, что второй текст оказался проще или сложнее.

Чтобы решить эту задачу, исследователи из Центра языка и мозга НИУ ВШЭ разработали и протестировали два текста. Они различаются по содержанию, но не имеют значимых отличий по ключевым лингвистическим параметрам: длине и частотности слов, синтаксической структуре предложений, читаемости по индексу Флеша и другим показателям. Исследователи предполагали, что такие тексты будут одинаковыми по сложности для взрослых носителей русского языка. Итоговые версии теста проверяли на выборке из 111 студентов.

Яна Кокорева

«Тексты мы писали вручную, без помощи нейросетей — следили за синтаксисом предложений, длиной и частотностью слов, стараясь при этом сохранить связный и осмысленный сюжет. Такая работа была бы невозможна без инструментов коллег: мы опирались на лексическую базу StimulStat и сервис "Текстометр", которые позволили точно контролировать психолингвистические параметры текста», — комментирует соавтор теста, стажер-исследователь Центра языка и мозга НИУ ВШЭ Яна Кокорева.

Результаты подтвердили, что оба текста читаются одинаково: без статистически значимых различий в скорости, точности и понимании прочитанного. Это доказывает, что их можно использовать для оценки навыка чтения до и после коррекции дислексии — и делать обоснованные выводы об эффективности методики.  На основе бумажного теста команда Центра языка и мозга НИУ ВШЭ разработала цифровую версию теста, доступную для скачивания.

Светлана Дорофеева

«Тест уже можно использовать на практике — он подходит как для диагностики дислексии у взрослых, так и для оценки прогресса после коррекционных занятий. Исследование подтвердило: если тексты лингвистически выверены, они действительно одинаково сложны для читателя. А значит, методику можно масштабировать и на основе уже известных параметров создавать новые тексты для повторного тестирования взрослых. По тем же принципам можно разработать версии и для детей, если адаптировать параметры под их возраст», — говорит одна из авторов, научный сотрудник центра языка и мозга Светлана Дорофеева.

Работа выполнена при поддержке Программы фундаментальных исследований НИУ ВШЭ в рамках проекта «Центры превосходства».