Критерии оценки произвольного ответа можно написать самостоятельно или сгенерировать с помощью AI. Если у вас есть образец правильного ответа на вопрос теста, передайте его AI. По этому образцу AI предложит критерии. Проверьте их и при необходимости отредактируйте.
Где найти поля для критериев оценки ответа на вопрос теста?
Под текстом вопроса расположены поля «Балл» и «Критерии оценки содержания». Они есть у вопросов типа «Произвольный ответ», «Аудиоответ», «Видеоответ» и «Загрузить файл». Для аудио- и видеоответов можно также включить оценку звука. Тогда появится поле «Критерии оценки звука». Для видеоответа можно отдельно включить оценку видимых действий и заполнить поле «Критерии оценки видимых действий».
Как задать баллы и самостоятельно написать критерии?
У каждой части ответа есть своё поле «Балл». Введите в нём максимум, который участник может получить за эту часть. По умолчанию стоит 1. Можно ввести любое целое число от 1 до 100. Отведите больше баллов тому навыку, который важнее для задания.
Предположим, вы составляете тест для обучения консультантов и просите участника представить покупателю модель кроссовок. В поле «Критерии оценки содержания» напишите, что хотите услышать от консультанта. Например, «Объясняет, для какой поверхности подходят кроссовки и чем гибкая подошва полезна покупателю». Если полное объяснение стоит 4 балла, введите 4 в соседнем поле «Балл». Повторять число в тексте не нужно.
Когда добавлять критерии для звука и действий в кадре?
Если нужно оценить только содержание ответа, достаточно задать критерии содержания. Если важно и то, как участник говорит, заполните поле «Критерии оценки звука». Например, опишите, по каким признакам AI должен оценивать интонацию, уверенность в голосе или паузы. Если вы оцениваете и то, что участник показывает на видео, заполните поле «Критерии оценки видимых действий».
В примере с презентацией кроссовок помимо содержания можно оценить речь консультанта и демонстрацию товара.
-
Как звучит презентация. Для аудио- или видеоответа включите «Звук влияет на оценку (необязательная функция)». Ниже появятся поле «Критерии оценки звука» и отдельное поле «Балл». Например, напишите «Консультант говорит разборчиво и делает паузу после объяснения, чтобы покупатель мог задать вопрос» и укажите 2 балла за речь.
-
Что увидит покупатель. Для видеоответа включите «Оценивать видимые действия (необязательная функция)». В поле «Критерии оценки видимых действий» напишите, например, «Консультант сгибает подошву и поворачивает кроссовок к покупателю, чтобы показать место сгиба». В поле «Балл» рядом укажите 4 балла за демонстрацию.
В вопросе с видеоответом эти настройки можно включать независимо друг от друга. Анализ звука или кадров может заметно увеличить расход AI-токенов.
Как из этих баллов складывается оценка за ответ?
AI оценивает каждую часть от нуля до её максимума, а затем складывает баллы. За частичное выполнение оценка может быть дробной.
В нашем примере консультант объяснил преимущества кроссовок (4 из 4) и говорил разборчиво, с паузой для вопроса (2 из 2). Он согнул подошву, но покупателю не было видно места сгиба. Если AI поставит за демонстрацию 1,5 из 4, итоговая оценка составит 7,5 из 10. В комментарии AI объяснит свою оценку.
Как сгенерировать критерии оценки по образцу ответа с помощью AI?
Подготовьте образец правильного ответа на вопрос.
| Тип вопроса | Какой образец подготовить | Формат и ограничения |
|---|---|---|
| «Произвольный ответ» | Текст ответа. Например, напишите, как консультант объяснил бы покупателю преимущества кроссовок. | До 30 000 символов. |
| «Аудиоответ» | Запись устного ответа. Например, запишите, как консультант представляет модель покупателю. | MP3, WAV, MP4 с аудио, OGG или WebM, до 500 МБ. |
| «Видеоответ» | Видеозапись выполнения задания. Если оцениваете демонстрацию товара, покажите в кадре, как это делать правильно. | MP4, WebM или MOV, до 500 МБ и до 10 минут включительно. |
| «Загрузить файл» | Образец документа, который должен подготовить участник. Например, презентация товара для покупателя. | PDF, DOCX, PPTX, XLSX или TXT, до 500 МБ. |
-
Если нужны критерии для звука или действий в кадре, включите соответствующие флажки. Под полями критериев нажмите «Сгенерировать критерии оценки по образцу».
-
Для вопроса «Произвольный ответ» введите или вставьте текст в поле «Образец правильного ответа». Для остальных типов нажмите «Выбрать файл». Дождитесь окончания загрузки и проверки. Рядом с кнопкой появится название файла.
-
Нажмите «Сгенерировать». Когда появится сообщение «AI готовит черновик инструкции», можно закрыть вкладку или перейти на другую страницу. Генерация продолжится. Через несколько минут вернитесь к вопросу и проверьте результат.
Как проверить критерии и сохранить вопрос?
После генерации черновик появится в поле критериев содержания и в полях включённых функций. Если вы уже что-то написали, AI добавит свои предложения ниже через пустую строку. Баллы останутся такими, как вы их задали. Перечитайте текст, уберите повторы и оставьте только требования вашего задания. Если AI не смог подготовить критерии для какой-либо части ответа, под соответствующим полем появится пояснение. Впишите недостающие критерии в это поле.
Когда критерии готовы, проверьте баллы и нажмите «Сохранить» под списком вопросов. Если ответы участников будет оценивать AI, откройте вкладку «Настройки» этого теста и выберите способ оценивания.
Что изменится для участника, который уже начал тест?
Для этой попытки действуют критерии и баллы, с которыми участник начал тест. Если вы измените критерии или баллы и сохраните вопрос, новые условия будут действовать для следующих попыток.
Как вернуться к готовому черновику?
В течение 30 дней откройте тот же вопрос под своей учётной записью. Рядом с кнопкой генерации указана дата, до которой доступен черновик. Если вы успели изменить настройки, нажмите «Восстановить черновик с его настройками». Так вы вернёте готовый текст без повторной генерации и расхода AI-токенов. Если изменился текст или тип самого вопроса, для нового задания нужно подготовить новые критерии.
Что произойдёт с файлом образца?
Система удаляет файлы, которые загрузили больше суток назад и которые уже не нужны для генерации. Черновик хранится отдельно, поэтому его можно открыть и после удаления файла.
Что делать, если загрузка или генерация прервалась?
Если вы обновили страницу во время загрузки, выберите тот же файл в той же вкладке. Если вы закрыли вкладку, снова откройте вопрос и проверьте, нужно ли прикрепить файл ещё раз.
Если файл загрузился, но во время генерации появилось сообщение о нехватке AI-кредитов, пополните баланс. Затем вернитесь к вопросу и снова нажмите «Сгенерировать».