6.3. Пример использования фреймворка
Авторы раздела:
П. А. Алферов
А. Ю. Кирин
Е. Г. Потапова
Д. О. Теплякова
О. С. Шепелева
Время чтения: 22 мин.
Чтобы понять, как фреймворк можно использовать на практике, предлагаем изучить вымышленный кейс разработки цифрового решения, который авторы придумали специально для этого доклада. Этот проект очень похож на те, которыми действительно занимаются руководители цифровой трансформации в России. Кейс максимально приближен к реальности, поэтому в нем есть зоны роста — области, которые могут вызвать этические проблемы. Авторы доклада проанализировали ответы вымышленной проектной команды и предложили возможные пути работы над болевыми точками.
Команда из мэрии города Энска планирует разработать приложение для маломобильных граждан с хроническими и излечимыми заболеваниями опорно-двигательного аппарата «Опора в пути». Работа над приложением планируется в июне — сентябре 2021 года. Команда проекта (включая разработчиков и специалистов по ИБ) организовала воркшоп по выявлению и оценке рисков, связанных с реализацией проекта. Воркшоп прошел 14 апреля 2021 года. В качестве плана воркшопа команда использовала опросник «Ответственная разработка цифровых решений».
Приложение будет включать несколько сервисов:
- запись на прием к врачам-специалистам в городские поликлиники;
- поиск кафе, ресторанов, кинотеатров, библиотек и музеев, оборудованных для маломобильных граждан;
- индивидуальное информирование граждан об их заболевании в соответствии с их состоянием здоровья и диагнозом (на основе заполненной анкеты в приложении);
- информирование о новых инициативах и средствах помощи от НКО.
Опросник заполнялся в электронном виде одним из участников команды прямо во время воркшопа. Там, где это необходимо, ответы на закрытые вопросы (с вариантами «да/нет») сопровождаются краткими пояснениями, зафиксированными письменно в ходе воркшопа. Ответы на открытые вопросы резюмируют устные ответы участников команды. Если какой-то вопрос не актуален для проекта, это отмечалось во фреймворке.
блок 1
Общая информация о цифровом решении
1.1. Название решения, дата и место разработки
Приложение «Опора в пути», цикл разработки: июнь — сентябрь 2021 года, г. Энск.
1.2. Участники проекта
Инициатива — мэрия г. Энска; партнеры — министерство здравоохранения Энской области, министерство социальной защиты населения Энской области, АНО «Энский центр гражданских инициатив и социального партнерства», Энское региональное общественное движение инвалидов «Доступная среда для всех».
блок 2
Цели
До старта проекта:
2.1. Какую пользу принесет цифровое решение тем, кто будет им пользоваться?
Маломобильные люди получат больше возможностей: смогут посещать больше мест в городе (кафе, кинотеатры, библиотеки и т. д.), получать сопровождение в органах социальной поддержки, получать актуальную информацию о предназначенных для них сервисах, предоставляемых НКО и коммерческими организациями (реабилитация, образование, спорт, досуг и т. д.).
2.2. Какую пользу принесет цифровое решение обществу в целом?
Приложение сделает городскую среду более доступной, то есть удобной не только для тех, кто маломобилен постоянно, но и для тех, кто маломобилен временно (человек со сломанной ногой, человек с коляской).
2.3. Есть ли группы граждан, которым цифровое решение может принести вред?
Нет
2.4. Что можно с этим сделать?
Не актуально
В ходе проекта:
2.5. Не изменились ли потребности пользователей?
2.6. По-прежнему ли проект приносит пользу обществу?
2.7. Не произошли ли события, которые могли повлиять на изначальные цели разработки цифрового решения?
• 2.7.1 (если да) Как вы можете адаптировать решение к новым условиям?
2.6. По-прежнему ли проект приносит пользу обществу?
2.7. Не произошли ли события, которые могли повлиять на изначальные цели разработки цифрового решения?
• 2.7.1 (если да) Как вы можете адаптировать решение к новым условиям?
Не актуально, однако в ходе обсуждения стало понятно, что необходимы инструменты, которые помогут адаптировать решение к изменениям ситуации. На этом этапе таких инструментов нет.
2.8. Можно ли измерить пользу, которую принесет цифровое решение?
Да. Можно измерить количество пользователей, собирать пользовательский опыт (в том числе через само приложение), отслеживать количество сервисов внутри приложения (участников, которые предоставляют услуги); если мы сотрудничаем с НКО, которые представляют целевую социальную группу, они тоже могут дать отзывы и решения.
2.9. Есть ли группы граждан, которые не получат от цифрового решения никакой пользы?
Да. Например, люди старшего возраста, которые не умеют пользоваться мобильными устройствами, или люди с низким уровнем дохода, которые не могут позволить себе такие устройства.
2.9.1 Что можно с этим сделать?
Для людей, которые не умеют пользоваться мобильными устройствами, и для тех, у кого их нет, — находить решения, чтобы люди получали такие устройства (например, субсидирование, организация акций типа «Подари смартфон»).
2.9.1 Что можно с этим сделать?
Для людей, которые не умеют пользоваться мобильными устройствами, и для тех, у кого их нет, — находить решения, чтобы люди получали такие устройства (например, субсидирование, организация акций типа «Подари смартфон»).
блок 3
Технология реализации проекта
3.1. Какие технические решения будут использоваться в ходе проекта?
Мы создаем приложение для IOS и Android с функцией геолокации и чат-ботом
3.2. Насколько функционирование проекта будет зависеть от специфики таких решений?
Можно сказать, что функционирование проекта полностью зависит от специфики технологических решений
3.3. Почему выбрали именно эти решения?
Мы выбираем приложение, а не сайт, потому что важно, чтобы люди пользовались этим в процессе перемещения по городу; для этого же и нужна служба геолокации; чат-бот поможет решить простые вопросы и предоставить персонализированные рекомендации.
3.5. Какие варианты рассматривались?
Другие варианты не рассматривались.
3.5. Были ли у этих решений в прошлом инциденты, связанные с утечками данных или иными нарушениями в области приватности?
Да.
3.6. Какие этапы развертывания технологий предусмотрены?
Стандартные этапы разработки приложения и регулярные обновления после релиза.
3.7. Будет ли возможность использования (встраивания) сертифицированных ФСТЭК/ФСБ средств защиты информации и/или проведения аттестации решений/проекта по требованиям ФСТЭК/ ФСБ?
Нет.
блок 4
Команда
4.1. Есть ли в команде четкое распределение полномочий и сфер ответственности?
Да.
4.2. Есть ли в команде DPO (Data Protection Officer)?
Нет. В нашей организации нет такой должности
4.3. Есть ли четкое распределение ролей среди сотрудников, работающих с данными?
Нет.
4.4. Обладают ли сотрудники уровнем компетенций, необходимым для выполнения своих обязанностей?
Да.
4.5. Есть ли в команде человек, ответственный за хранение данных?
Нет.
4.6. Какие курсы и тренинги, в том числе по хранению данных, нужны членам команды?
Мы не думали об этом.
блок 5
Заинтересованные стороны
5.1. Перечислите основные заинтересованные стороны проекта.
Мэрия г. Энска, люди с заболеваниями опорно-двигательного аппарата, люди, осуществляющие уход за ними, частные компаниипартнеры, НКО.
5.2. Кому этот проект будет полезен?
Людям с заболеваниями опорно-двигательного аппарата, людям, осуществляющим уход за ними, частным компаниям-партнерам, НКО.
5.3. Есть ли группы граждан, чьи возможности может ограничить цифровое решение?
Нет.
5.4. Какие группы граждан будут непосредственно вовлечены в работу цифрового решения?
Сотрудники НКО и сотрудники коммерческих структур, предоставляющих услуги для людей с заболеваниями опорно-двигательного аппарата, служба соцзащиты, медицинские организации.
5.5. Кого проект может затронуть в будущем?
Возможно, людей с нарушениями опорно-двигательного аппарата, которые живут в интернатах или других организациях.
5.6. Понимают ли заинтересованные стороны цель проекта и ход его реализации?
Да. Мы уже провели консультации с партнерскими НКО, сетью кафе и руководством двух крупных городских ТРЦ. Кроме того, мы планируем кампанию по информированию целевой аудитории.
блок 6
Коммуникации
6.1. Можете ли вы объяснить гражданам, какую пользу принесет цифровое решение?
Да. Мы планируем информационную кампанию для целевой аудитории, а также информационное сотрудничество с НКО.
6.2. Можете ли вы объяснить, в чем суть вашего цифрового решения и как будет проходить его разработка?
Да.
6.3. Можете ли вы объяснить, почему вы использовали те или иные данные?
Да. В приложении будут оповещения, которые объясняют пользователям, почему мы собираем данные.
6.4. Можете ли вы объяснить неспециалисту, как работают модели и алгоритмы?
Нет. Пока что мы не готовы это сделать.
6.5. Проверяли ли вы, насколько выбранные вами каналы коммуникации соответствуют привычным для целевых групп способам информации?
Да, с распространением информации нам помогают партнерские НКО. Например, одним из каналов коммуникации будет реклама в залах ожидания в поликлиниках.
6.6. Есть ли каналы обратной связи для пользователей?
Да, обратную связь можно давать прямо в чат-боте. Кроме того, есть система оценок (рейтинга) каждого сервиса.
6.7. Могут ли пользователи отправить запрос на изменение своих данных или отозвать их?
Нет. Пока у нас нет такого механизма, мы не подумали об этом.
6.8. Могут ли пользователи подать жалобу?
Да. Внутри приложения можно оставить жалобу на сервис или услугу, которую мы предлагаем.
6.9. Разработаны ли стратегии коммуникации на случай кризисной ситуации?
Сейчас четко видим две группы реальных рисков: первая — плохая координация между сервисом и ведомством или учреждением, которое предоставляет услуги. Например, система записи к врачам в каких-то поликлиниках не будет достаточно связана с приложением, и человека, который записался к врачу через приложение, не примут в поликлинике в выбранное при записи время. Вторая — недобросовестность со стороны коммерческих партнеров. Например, в киноцентре номинально будет туалет для людей на колясках, но на практике он не будет работать или не будет достаточно приспособлен для них. Наша основная стратегия — своевременно реагировать на жалобы и исключать из приложения недобросовестных партнеров.
блок 7
Общественные ценности
7.1. Приведет ли разработка цифрового решения к ограничению законных прав и интересов каких-то людей и организаций?
Нет.
7.2. Приведет ли разработка цифрового решения к возникновению дополнительных обязанностей для каких-то людей и организаций?
Нет.
7.3. Как проект способствует:
- расширению возможностей человека?
- инклюзии слабо представленных слоев населения?
- уменьшению экономического, социального, гендерного, этнического неравенства?
Ответы на эти вопросы напрямую связаны с целями нашего приложения: оно в целом направлено на расширение возможностей человека и инклюзию.
7.4. Повлияет ли цифровое решение на окружающую среду?
Нет.
7.4.1 (если да) Как можно уменьшить это влияние?
Неактуально
7.4.1 (если да) Как можно уменьшить это влияние?
Неактуально
7.5. Какова вероятность того, что решение усиливает цифровое неравенство?
Эта вероятность есть. Для того чтобы ее избежать, мы будем принимать меры, описанные в ответе на вопрос 2.9.1.
7.6. Если вы используете в работе ИИ, оценивались ли данные на предвзятость?
Нет.
7.7. Что вы сделали, чтобы избежать предвзятости?
Не актуально.
блок 8
Доступность и инклюзивность
8.1. Следуете ли вы стандарту WCAG 2.0 при разработке интерфейсов и при верстке?
Мы не знаем, что есть такой стандарт.
8.2. Есть ли аналоговая замена цифровому решению?
Для записи на прием в государственные учреждения и взаимодействия с НКО — да. Для сервиса поиска доступных коммерческих учреждений — нет.
8.3. Если вы используете языковые модели для коммуникации с пользователем (например, чат-боты):
— предупреждаете ли вы пользователя, что с ним говорит не человек?
Да.
— предупреждаете ли вы пользователя, что с ним говорит не человек?
Да.
— кто несет ответственность за решения, принятые ИИ?
Планируется, что чат-бот будет давать ответы на простейшие вопросы. Решения будет принимать сам пользователь.
Да.
— предупреждаете ли вы пользователя, что с ним говорит не человек?
Да.
— кто несет ответственность за решения, принятые ИИ?
Планируется, что чат-бот будет давать ответы на простейшие вопросы. Решения будет принимать сам пользователь.
блок 9
Данные
До старта проекта:
9.1. Можно ли достичь целей проекта, используя меньший объем данных?
Нет. Данные геолокации нужны для определения ближайших доступных кафе, кинотеатров, магазинов и т. п., данные о диагнозе — для получения актуальной и персонализированной информации о вариантах соцподдержки и других полезных услугах.
9.2. Можно ли достичь целей проекта, используя псевдонимизированные или анонимизированные данные?
Не актуально.
Контроль доступа
9.3. Используете ли вы данные, с помощью которых можно идентифицировать человека (персональные данные)?
У наших пользователей бывают очень редкие диагнозы. Мы осознаем, что некоторые данные о здоровье в случае утечки можно соотнести с субъектом этих данных. Поэтому мы сразу относимся к данным о здоровье как к персональным. Наш отдел информационной безопасности делает все, чтобы не допустить утечек.
9.3.1 (если да) Как контролируется доступ к данным?
Этим занимается отдел ИБ.
9.4. У кого из членов команды есть доступ к данным?
У тимлида разработчиков.
9.5. Собираетесь ли вы передавать данные в другие организации? В какие? На каких условиях?
Мы сами не передаем данные в другие организации. Однако если пользователь, например, записывается через наше приложение на прием к врачу, он соглашается на передачу данных в поликлинику.
9.6. Есть ли у вас обязательство публиковать данные в открытом доступе (или, наоборот, не публиковать их)?
Такого обязательства у нас нет, но с согласия пользователя мы можем включить его в статистику, как часто приложение использовалось для записи в социальные службы или на прием к врачу.
9.7. Проводилось ли тестирование устойчивости системы к взломам?
Протестируем, когда будет создана сама система.
9.8. Какие положительные и отрицательные последствия могут быть у публикации всего корпуса данных или его части?
Неактуально.
Анонимизация данных
9.9. Проверяли ли вы процессы сбора, хранения и обработки данных на соответствие методическим рекомендациям Роскомнадзора?
Нет, но проверка планируется.
9.10. Если в проекте используются анонимизированные данные, ответьте на следующие вопросы:
- Можете ли вы продемонстрировать, что данные были анонимизированы в максимально возможной степени?
Да, это могут сделать наши специалисты по ИБ. - Можно ли соотнести данные с другими датасетами, которые сделают возможной идентификацию субъекта данных?
Нет. - Какие меры вы приняли, чтобы этого не допустить?
Меры по контролю доступа, которые зафиксированы в регламенте по управлению данными.
9.11.У кого из команды есть доступ к ключу шифрования, с помощью которого можно соотнести псевдонимизированные данные с их субъектами?
Ни у кого.
блок 10
Риски
10.1. К каким негативным последствиям может привести внедрение цифрового решения?
В случае утечки данных может сложиться ситуация, когда данные могут быть использованы неправомерно.
10.2. Перевешивают ли эти негативные последствия те риски, которые возникнут, если проект не будет реализован?
Нет.
10.3. Может ли цифровое решение усугубить социальное, гендерное или этническое неравенство?
Нет.
10.3.1. (Если да) Есть ли механизмы, которые помогут вам этого избежать?
Неактуально
10.3.1. (Если да) Есть ли механизмы, которые помогут вам этого избежать?
Неактуально
10.4. Может ли цифровое решение вызвать возмущение граждан?
Нет.
10.5. Можно ли с помощью данных, которые вы используете, узнать что-то о частной жизни граждан?
Да.
10.6. Есть ли риск, что проект приведет к дискриминации определенных людей или группы людей?
Нет.
10.7. Все ли группы граждан, которых касается проект, в равной степени представлены в корпусе данных?
Неактуально
10.8. Можете ли вы представить ситуацию, в которой результаты вашего проекта будут использоваться незаконно?
Это может произойти в случае утечки данных, но мы делаем все, чтобы ее не допустить.
10.9. Что самое плохое может произойти в результате использования (в том числе противоправного) вашего цифрового решения (скандал на местном/региональном/российском/ международном уровне)?
Самый плохой вариант развития событий — утечка персональных данных о здоровье пользователей приложения. Мы предполагаем, что это риск скандала регионального уровня, однако если среди пользователей приложения будут публичные персоны, скандал может стать общероссийским. Еще один серьезный риск, если окажется, что мы не сможем в полной мере гарантировать добросовестность партнеров. Это сильно скомпрометирует и наш проект, и подобные социальные проекты в целом.
Классификация рисков
10.10. Есть ли классификация рисков?
Да, стандартная классификация «высокий риск — средний риск — низкий риск».
10.11. Сведены ли они в отдельный документ (реестр/карту рисков)?
Да.
10.12. Определена ли категория критических рисков?
Да.
Стратегии и инструменты управления рисками
10.13. Есть ли стратегия управления рисками?
Пока нет.
10.14. Можете ли вы рассказать, какие инструменты управления рисками вы используете?
Да, оценка влияния и оценка вероятности.
10.15. Есть ли план мероприятий по снижению рисков?
В процессе разработки.
10.16. Есть ли сотрудник, ответственный за управление рисками?
Да.
блок 11
Соблюдение законодательства
11.1. Обсуждали ли вы цифровое решение с юристами вашей организации?
Да, в команде проекта работают два юриста.
11.2. Обсуждали ли вы цифровое решение с отделом информационной безопасности?
Да.
11.3. Какие законы и нормативные акты применимы к вашему проекту?
Федеральный закон от 17.07.1999 № 178-ФЗ «О государственной социальной помощи» (с учетом внесенных изменений);
Федеральный закон от 27.07.2010 № 210-ФЗ (ред. от 30.12.2020) «Об организации предоставления государственных и муниципальных услуг» (с изм. и доп., вступ. в силу с 01.01.2021);
Федеральный закон от 24.11.1995 № 181-ФЗ «О социальной защите инвалидов в Российской Федерации» (с учетом внесенных изменений).
Федеральный закон от 27.07.2010 № 210-ФЗ (ред. от 30.12.2020) «Об организации предоставления государственных и муниципальных услуг» (с изм. и доп., вступ. в силу с 01.01.2021);
Федеральный закон от 24.11.1995 № 181-ФЗ «О социальной защите инвалидов в Российской Федерации» (с учетом внесенных изменений).
11.4. Проверили ли вы решение на соответствие:
— Федеральному закону от 27.07.2006 № 149-ФЗ «Об информации, информационных технологиях и о защите информации»?
Да.
— Федеральному закону от 27.07.2006 № 152-ФЗ «О персональных данных»?
Да.
Да.
— Федеральному закону от 27.07.2006 № 152-ФЗ «О персональных данных»?
Да.
11.5. Придерживаетесь ли вы стандартов Ethically Aligned Design (IEEE) и ISO/IEC JTC 1/SC 42 Artificial Intelligence?
Нет.
КОММЕНТАРИЙ: ЗОНЫ РОСТА
Эксперты, проанализировав ответы на опросник, выделили очевидные болевые точки проекта (критические зоны отмечены красным цветом; важные, но не критические области — желтым). К красным зонам эксперты предложили краткие комментарии.
ЗОНА РОСТА «КОМАНДА»
4.2. Есть ли в команде DPO (Data Protection Officer)?
Нет. В нашей организации нет такой должности.
Даже если такой должности нет в организации, можно выбрать человека
в команде, имеющего достаточный уровень квалификации и достаточное
количество времени, который будет выполнять функции DPO, совмещая их
с другими задачами.
в команде, имеющего достаточный уровень квалификации и достаточное
количество времени, который будет выполнять функции DPO, совмещая их
с другими задачами.
4.3. Есть ли четкое распределение ролей среди сотрудников, работающих с данными?
Нет.
Рекомендуется распределить роли среди специалистов по данным, работающих в команде, и отразить это в соответствующих документах. Важно, чтобы все участники команды понимали не только свою роль, но и роли коллег по проекту, чтобы была возможность оперативно решать возникающие проблемы/вызовы.
4.5. Есть ли в команде человек, ответственный за сохранение данных?
Нет.
Критически важно выделить эту функцию, в том числе для демонстрации всем заинтересованным в проекте сторонам (внутренним и внешним).
ЗОНА РОСТА «КОММУНИКАЦИи»
6.7. Могут ли пользователи отправить запрос на изменение своих данных или отозвать их?
Нет. Пока у нас нет такого механизма, мы не подумали об этом.
Это критически важный элемент управления данными. Он поддерживает
автономию пользователя (возможность самостоятельно принимать
решения о своих ПДн) и, соответственно, повышает доверие к сервису.
автономию пользователя (возможность самостоятельно принимать
решения о своих ПДн) и, соответственно, повышает доверие к сервису.
6.9. Разработаны ли стратегии коммуникации на случай кризисной ситуации?
Сейчас четко видим две группы реальных рисков. Первая — плохая координация между сервисом и ведомством или учреждением, которое предоставляет услуги. Например, система записи к врачам в каких-то поликлиниках не будет достаточно связана с приложением и человека, который записался к врачу через приложение, не примут в поликлинике в выбранное при записи время. Вторая — недобросовестность со стороны коммерческих партнеров. Например, в киноцентре номинально будет туалет для людей на колясках, но на практике он не будет работать или не будет достаточно приспособлен для них. Наша основная стратегия — своевременно реагировать на жалобы и исключать из приложения недобросовестных партнеров.
Недобросовестных коммерческих партнеров действительно можно просто удалить из приложения на основании поданных жалоб. Однако у команды не разработаны стратегии коммуникации для государственных партнеров, чьи услуги безальтернативны. Проектной группе нужно быть готовой к тому, что им придется решать проблемы с каждой конкретной организацией путем переговоров. Чтобы этого избежать, нужно провести очень тщательную подготовительную работу по заключению договоренностей. Еще один риск, который упустила команда проекта, — отсутствие или малое число коммерческих структур, которые готовы стать партнерами. Без них приложение будет мало полезно для целевой группы. Команде необходимо продумать механизм привлечения партнеров.
ЗОНА РОСТА «ОБЩЕСТВЕННЫЕ ЦЕННОСТИ»
7.6. Если вы используете в работе ИИ, оценивались ли данные на предвзятость?
Нет.
Предвзятость алгоритмов — один из самых распространенных рисков. Существуют инструменты, которые помогут выявить предвзятость и минимизировать ее (например, AI Fairness от IBM).
ЗОНА РОСТА «ДОСТУПНОСТЬ И ИНКЛЮЗИВНОСТЬ»
8.1. Следуете ли вы стандарту WCAG 2.0 при разработке интерфейсов и при верстке?
Мы не знаем, что есть такой стандарт.
Команде разработчиков неизвестны международные стандарты инклюзивного и этичного дизайна, которыми необходимо руководствоваться при создании приложения для уязвимой группы населения. Это может значительно снизить доступность приложения для целевой группы, так как двигательные ограничения могут сопровождаться другими особенностями, которые не позволяют с удобством пользоваться обычными интерфейсами.
ЗОНА РОСТА «ДАННЫЕ»
9.3.1. Как контролируется доступ к данным?
Этим занимается отдел ИБ.
Наличие отдела ИБ и его работа не гарантируют абсолютную защиту от утечек данных. Все члены команды должны знать, какие существуют риски при работе с чувствительными данными, и понимать, какие действия (пусть даже неосознанные) могут поставить под угрозу безопасность данных.
ЗОНА РОСТА «РИСКи»
10.13. Есть ли стратегия управления рисками?
Пока нет.
Стратегия управления рисками должна быть сформирована на раннем этапе разработки проекта и пересматриваться по мере его реализации.
Trusted AI. // GitHub.
Результаты тестовой работы с опросником говорят о том, что он может быть полезным инструментом для выявления этических болевых точек на ранней стадии проекта. Безусловно, фреймворк не дает абсолютной гарантии этичности сервиса, однако он поможет команде прояснить вопросы, которые могут оставаться в тени при разработке продукта. Кроме того, сам процесс заполнения опросника поможет не только структурировать видение сервиса с этической точки зрения, но и тщательнее проанализировать риски, наметить пути их снижения.