Система, яка мала на меті спростити процес отримання даних, демонструє, як важливо управляти змінами в технологіях штучного інтелекту (ШІ). Вона дозволяла аналітикам і менеджерам підготувати звіти за допомогою простих запитів, які перетворювалися в API-клики.
З моменту впровадження, система генерувала сотні звітів щомісяця, які використовувалися керівництвом і аналітиками. Однак, після оновлення моделі ШІ, виникли серйозні проблеми, які вплинули на її роботу:
- Фільтри запитів не доходили до API, що призводило до отримання некоректних даних.
- Модель почала ставити уточнюючі запитання, що ускладнювало автоматизацію процесу.
“Зміни в моделі ШІ можуть мати непередбачувані наслідки, що ускладнює управління системою.”
Проблеми виявилися в недосконалості нашого початкового запиту до моделі, що призвело до необхідності повернення до попередньої версії. Це викликало додаткові зусилля для повторної сертифікації нових інтеграцій, які були розроблені під нову модель.
Традиційні підходи до інженерії не спрацьовують у випадках, коли система залежить від моделей ШІ, які не піддаються детермінованому контролю. Зміни в таких моделях можуть мати необмежений вплив на функціонування системи.
При розробці нових систем необхідно впроваджувати ефективні методи оцінки, які дозволяють контролювати якість і передбачати можливі помилки. Це особливо важливо, коли мова йде про автоматизацію важливих бізнес-процесів.
Залишити відповідь