Dziesięć razy taniej za sesję — jak cztery decyzje governance'owe opanowały koszty AI

Wyzwanie

Trzy pytania bez odpowiedzi

Firma uruchamiała kolejne funkcje oparte na AI i planowała sprzedawać je swoim klientom. Na trzy podstawowe pytania nie miała jednoznacznej odpowiedzi. Ile to kosztuje — poszczególne zespoły korzystały z różnych narzędzi i kont. Kto ma do czego dostęp — we wdrażanym narzędziu dostęp mieli wyłącznie administratorzy. Co dzieje się z danymi — pytanie stawało się krytyczne w momencie, gdy funkcje miały objąć dane klientów.

Co zrobiliśmy

Cztery rozstrzygnięcia zamiast rozbudowanej polityki

• Skonsolidowaliśmy dostęp do modeli — jedno konto firmowe z pulą środków zamiast rozproszonych subskrypcji indywidualnych, umożliwiając bieżącą kontrolę wydatków i porównanie kosztów między aplikacjami.
• Dopasowaliśmy model do zadania zamiast stosować jeden wszędzie — zmiana modelu w funkcji przetwarzania korespondencji obniżyła koszt sesji około dziesięciokrotnie przy zachowaniu jakości.
• Ustaliliśmy politykę przetwarzania danych — dla modeli operujących na danych klientów: wymóg braku retencji oraz przetwarzania na terenie UE. Dla najbardziej wrażliwych zastosowań przewidziano wariant w infrastrukturze klienta.
• Uporządkowaliśmy uprawnienia — utworzyliśmy grupę użytkowników z jawnie określonym zakresem dostępu do modelu, bazy wiedzy i funkcji, zamiast pozostawiania pełnego dostępu tylko administratorom.
• Wprowadziliśmy pomiar przed sprzedażą — każda funkcja kliencka jest najpierw uruchamiana testowo z jednym odbiorcą, by zmierzyć rzeczywiste zużycie i wybrać model rozliczeń.
• Zatwierdziliśmy budżet AI jako jedną pozycję z horyzontem półrocznym.

Efekt

Rezultaty wdrożenia

Koszt korzystania z AI jest znany, przypisany do zastosowań i podlega bieżącej kontroli. Zasady przetwarzania danych są sformułowane na piśmie i możliwe do przedstawienia klientowi lub audytorowi. Zespół ma dostęp adekwatny do roli. Funkcje sprzedawane klientom mają policzoną rentowność przed wejściem do oferty.