Исследования и данные
Комплексная система управления проектами (TPM)
Исследования показывают как пользу ИИ, так и риски его использования. Важны задача, рабочий процесс и оценка результатов.
Изучить исследования ↓
Brynjolfsson, Li & Raymond · The Quarterly Journal of Economics
Среди 5 172 сотрудников поддержки доступ к ИИ увеличил число решённых обращений в час в среднем на 15%. Эффект зависел от опыта; исследование также обнаружило признаки обучения.
Одна компания и один вид работы. Эти результаты не подтверждают эффект TPM.
Читать первоисточник ↗
Lee et al. · CHI · Microsoft Research / CMU
В опросе 319 работников умственного труда большая уверенность в генеративном ИИ была связана с меньшими усилиями критического мышления по их собственной оценке.
Самооценки описывают воспринимаемые усилия. Они не доказывают, что ИИ вызвал устойчивую утрату навыков.
Читать первоисточник ↗
Shen & Tamkin · Anthropic Fellows Program / Anthropic · Препринт исследования
В исследовании освоения новой программной библиотеки помощь ИИ в среднем снижала понимание при проверке сразу после обучения. Способы взаимодействия, сохранявшие мыслительную вовлечённость, были связаны с лучшими результатами обучения.
Конкретная учебная задача и немедленная оценка. Способы взаимодействия не распределялись случайным образом отдельно; это не проверка долгосрочных профессиональных навыков.
Читать первоисточник ↗
Dell’Acqua et al. · Organization Science · консультанты BCG
В рандомизированном эксперименте с 758 консультантами BCG группа из 373 человек решала бизнес-задачу за пределами возможностей проверяемой модели. Помощь GPT-4 снижала долю правильных решений, но рекомендации, подготовленные с ИИ, оценивались как более связные и убедительные — даже когда были ошибочными.
В эксперименте использовалась GPT-4 в 2023 году. Результаты относятся к конкретным задачам, а не к современным моделям, долгосрочной утрате навыков или эффективности TPM.
Читать первоисточник ↗Инструмент может улучшать текущие результаты. Само по себе это не показывает, чему учатся люди.
Наглядные шаги, редактируемые результаты и содержательные проверки — возможные способы поддержать участие человека.
TPM требует собственной оценки. Эти исследования дают основания поставить вопрос, но не отвечают на него применительно к TPM.
| Область оценки | Что изучать |
|---|---|
| Качество работы | Точность, полезные подтверждения, упущения и качество решений. |
| Понимание | Могут ли люди объяснить допущения и выявить слабые места в рассуждениях. |
| Перенос навыков | Могут ли они применить метод к новой задаче с меньшей помощью. |
| Время и усилия | Где помощь экономит усилия и где внимание человека остаётся необходимым. |
Предлагаемые критерии оценки. Здесь не заявляются ни завершённое исследование TPM, ни подтверждённые результаты клиентов.
Нет аккаунта? Регистрируйся прямо сейчас
Are you a member? Login now
