Приложение 4. Инструменты оценки языковой доступности
Исследование языковой доступности проходило в два этапа. Первый этап — анализ текстов при помощи цифровых инструментов. Второй — экспертный анализ. Оба этапа выполнял один эксперт-исследователь.
- Для машинного тестирования использовались следующие ресурсы:
проверяет текст на соответствие так называемому «информационному стилю» и помогает очистить его от словесного «мусора». Сервис выделяет в тексте неуместные, лишние и неточные слова, например штампы и канцеляризмы, а также выявляет проблемы синтаксиса.
Сервис проверки уникальности текста «Текст.ру»
предлагает следующие возможности:
- проверку текстов (уникальность, SEO, орфография);
- проверку уникальности сайта;
- проверку уникальности документа;
- подбор синонимов к словам;
- работу не только с уникальностью (отображает заспамленность текста, проблемы с орфографией и наличием «воды»);
- загрузку статей большого объема (один из немногих ресурсов, который проверяет за раз до 15 000 символов)
Сервис анализа текстов на основе закона Ципфа PR-CY
помогает оценить естественность (качество и «читабельность» текста) и измеряет такие специальные характеристики, как «тошнота» и «плотность» текста. Сервис стимулирует писать текст так, чтобы было интересно не машинам, а людям.
Сервис «Простым языком»
использует для оценки «читабельности» текстов пять формул удобочитаемости, адаптированных для русского языка:
- Формула Флеша—Кинкейда
- Индекс Коулман — Лиау
- Автоматический индекс удобочитаемости (англ. automated readability index, ARI)
- Оценка SMOG (Simple Measure of Gobbledygook)
- Формула Дэйла-Чал
В результатах отображаются оценки по каждой из формул, а также совокупная оценка сложности текста. Кроме того, можно узнать значения расчетных показателей: число знаков, букв, слов, предложений, процент использования сложных слов и проч. Эти показатели помогают оценить сложность текста для восприятия.
Результатом первого этапа тестирования стало заполнение чек-листа для каждого из 30 сервисов. Каждый параметр оценивался с помощью цифровых инструментов по 10-балльной шкале.
Чек-лист 1
Автоматический анализ понятности языка
| САЙТ 1 | Главред | Текст.ру | pr-cy.ru | plainrussian.ru | |||
|---|---|---|---|---|---|---|---|
| чистота | читаемость | уникальность | орфография | заспамленность | естественность | читабельность | |
| Ссылка на тип текста № 1 | |||||||
| Ссылка на тип текста № 2 | |||||||
| Ссылка на тип текста № 3 | |||||||
| Ссылка на тип текста № 4 | |||||||
| Ссылка на тип текста № 5 | |||||||
| Итого | |||||||
| Общая оценка по всем сервисам | |||||||
- Экспертный анализ включает два блока.
1
В первом блоке тексты анализировались с точки зрения их ясности и простоты. Эксперт оценивал тексты по следующим критериям:
- «читабельность» (тексты должны быть написаны максимально простым, понятным языком, без использования узкопрофессиональной терминологии, канцеляризмов, сокращений, идиом и аббревиатур);
- уровень подготовки пользователя (если после исключения имен собственных и заголовков текст требует более продвинутых способностей чтения, чем те, что имеются у людей с неполным средним образованием, то пользователям предоставлен дополнительный контент или версия текста, прочтение которого не требует продвинутых способностей чтения);
- наличие краткого изложения или маркированного списка основной информации в начале содержания (структурирование);
- естественный порядок изложения;
- заголовки pdf и имена файлов (описательный заголовок или четкое имя файла для сокращения времени пользователя на поиск в документе, чтобы решить, релевантно ли содержимое), отсутствие в заголовках файлов автоматически сгенерированных последовательностей букв или символов, которые имеют мало значения или не имеют никакого значения;
- понятный текст гиперссылок, который предоставляет точную информацию о месте назначения ссылки;
- количество символов в одном абзаце текста;
- наличие инверсий, деепричастных и причастных оборотов в одном предложении;
- возможность упрощения текста без потери смысла;
- наличие грамматических ошибок.
Результатом этого этапа тестирования стало заполнение чек-листа 2 для каждого из 30 сервисов.
Чек-лист 2
Экспертный анализ понятности языка
2
Во втором блоке эксперт определяет коммуникативную стратегию сайта: административную, партнерскую или сервисную. Определение коммуникативной стратегии основано на сочетании оценок по следующим критериям:
- субъект повествования (пассивный залог, повествование от «мы» и т. д., делегирование ответственности за реализацию услуги на другие сервисы — ссылки на НПА, другие сайты);
- клиентоцентричность текстов (вежливость/директивность инструкций, текстов);
- актуальность информации в новостной ленте;
- наличие форм обратной связи, системы оценок, контактной информации руководителей;
- семантический анализ (соотношение «позитивной», «негативной», «нейтральной» лексики);
- наличие информации о санкциях, формах наказаний и штрафах; дисклеймеры.