Новий платформний продукт Google «Vantage» використовує аватари з штучним інтелектом для тестування критичного мислення, співпраці та навичок у реальному світі

Коротко

Google представляє систему Vantage AI для розвитку та оцінки майбутніх людських навичок, включаючи критичне мислення, співпрацю, креативність, вирішення конфліктів і управління проектами у міру розвитку штучного інтелекту.

Технологічна компанія Google представила систему штучного інтелекту, розроблену для розвитку майбутніх людських навичок. Оскільки ШІ продовжує еволюціонувати, так звані довговічні м’які навички, які важко автоматизувати, стають все більш цінними. До них належать критичне мислення, співпраця, креативне мислення, вирішення конфліктів, управління проектами та інші міжособистісні здібності.

Представлена як “Vantage”, експериментальна система на базі ШІ, яка розроблена для підтримки розвитку та оцінки цих компетенцій через імітаційні середовища взаємодії, ініціатива була створена у співпраці з педагогічними експертами та дослідниками, зокрема з Нью-Йоркським університетом. Вона має функціонувати як структурований пісочниця для студентів, щоб практикувати та оцінювати навички, орієнтовані на майбутнє, за допомогою методологій, подібних до тих, що застосовуються у основних академічних предметах, таких як математика або наука. Система наразі доступна англійською мовою через Google Labs.

Процес працює шляхом розміщення користувачів у імітаційних багатогравцевих середовищах, де вони взаємодіють з аватарами, створеними ШІ, у відкритих сценаріях, таких як дебати, спільне розв’язання проблем або планування проектів. У цьому налаштуванні координуючий “Виконавчий LLM” використовує заздалегідь визначені рамки оцінювання для керування взаємодією та динамічного коригування умов розмови. Це включає введення розбіжностей, оскарження припущень або спрямування діалогу для отримання спостережуваних поведінкових доказів, що стосуються цільових навичок.

Модель оцінювання на основі симуляцій для майбутніх навичок

Тим часом окрема модель оцінювання ШІ аналізує всю взаємодію після завершення завдання. Використовуючи ті ж структуровані рубрики, вона оцінює транскрипт розмови та створює детальний профіль продуктивності, що відображає спостережені поведінки у конкретні категорії навичок. Вихідні дані включають кількісні бали та якісний зворотний зв’язок, перетворюючи складні міжособистісні взаємодії у структуровані та вимірювані індикатори виконання навичок.

Щоб забезпечити методологічну надійність, система була протестована у партнерстві з Нью-Йоркським університетом через контрольовані дослідження з участю 188 осіб віком від 18 до 25 років. Ці оцінки зосереджувалися на компетенціях, пов’язаних із співпрацею, таких як вирішення конфліктів і координація проектів. Результати показали, що адаптивне керування розмовою на основі ШІ створювало більшу кількість оцінюваних доказів навичок у порівнянні з моделями нерегульованої взаємодії, при цьому зберігалася послідовність і природність діалогу під час виконання кількох завдань.

Додаткові випробування порівнювали оцінки, згенеровані ШІ, з оцінками людських експертів, використовуючи однакові педагогічні рубрики. Результати показали, що рівень згоди між оцінювачем ШІ та людськими рейтерами був порівнянним із міжлюдською згодою. Це свідчить про те, що автоматизовані системи можуть наближатися до рівня експертної послідовності у структурованих оцінювальних контекстах.

Додаткова перевірка з зовнішніми партнерами, включаючи OpenMic, розширила тестування на творчі та мовні завдання, що включають мультимедіа та літературні вправи. У цих випадках оцінки, згенеровані ШІ, демонстрували сильну кореляцію з оцінками експертів, що підсилює потенціал системи застосовуватися не лише у структурованих командних сценаріях, а й у більш відкритих творчих сферах.

Такі системи на основі симуляцій можуть бути інтегровані в освітнє середовище як додатковий рівень оцінювання поряд із традиційними методами у найближчому майбутньому. Це дозволить оцінювати студентів не лише за знаннями предмету, а й за застосовними міжособистісними та когнітивними навичками у контрольованих імітаційних умовах. Глобальна мета дослідження — зробити майбутні навички більш вимірюваними у масштабі та більш тісно узгодити освітню оцінку із змінюваними вимогами робочої сили.