Co to jest AI wyjaśnialna?

Techniki wyjaśnialności dzielą się na dwie szerokie rodziny:

• Interpretowalność wewnętrzna — używanie modeli, których logika jest przejrzysta dzięki projektowi, takich jak modele liniowe, drzewa decyzyjne lub zestawy reguł. Wyjaśnienie jest modelem: możesz przeczytać, jak dane wejściowe mapują się na dane wyjściowe wprost.
• Wyjaśnienie post-hoc — stosowanie technik po fakcie, aby wyjaśnić zachowanie złożonego, nieprzezroczystego modelu. Metody takie jak SHAP (wyjaśnienia addytywne Shapleya), LIME (lokalne wyjaśnienia modelu niezależnego od modelu) i inne podchodzenia do atrybucji cech szacują, jak bardzo każde dane wejściowe przyczyniły się do danego danych wyjściowych.

Modele wewnętrzne wymieniają pewną moc predykcyjną na przejrzystość; metody post-hoc pozwalają zachować potężny model i przybliżyć wyjaśnienie. Obie mają ten sam cel: uczynienie danych wyjściowych zrozumiałymi dla człowieka.

Wyjaśnialność nie jest ćwiczeniem akademickim — służy trzem konkretnym potrzebom:

• Zaufanie — ludzie słusznie wahają się, aby polegać na danych wyjściowych, których nie mogą zrozumieć. Wyjaśnienie jest tym, co pozwala człowiekowi zaakceptować, zastąpić lub eskalować wynik z pewnością.
• Debugowanie — gdy model popełnia błąd, wyjaśnienie wskazuje dlaczego, abyś mógł naprawić przyczynę, a nie zgadywać. Bez niego każdy błąd jest czarną skrzynką.
• Regulacja — dla systemów o wysokim ryzyku, możliwość wyjaśnienia decyzji jest podstawą zobowiązań prawnych dotyczących przejrzystości i nadzoru. Istotny nadzór ludzki (Artykuł 14) jest niemożliwy, jeśli człowiek nie może zrozumieć, co system zrobił lub dlaczego.

Klasyczna XAI została zbudowana dla modeli predykcyjnych — wyjaśnij jedną klasyfikację lub wynik. Autonomiczni agenci stawiają trudniejsze pytanie: wyjaśnienie decyzji, która może obejmować wiele kroków, wywołań narzędzi, odzyskanych dowodów i kontroli polityki. Liczba atrybucji cech dla jednego wywołania modelu nie ujmuje tego.

Najbardziej niezawodne wyjaśnienie decyzji agenta jest ustrukturyzowanym rozumowaniem za nim — dowody zważone, rozważane alternatywy, zastosowana polityka — ujęte podczas podejmowania decyzji zamiast odtwarzane później. Jest to wyjaśnienie przez konstrukcję: zamiast przybliżać, dlaczego czarna skrzynka zachowywała się w określony sposób, rejestrujesz rzeczywiste rozumowanie w momencie decyzji. To sprawia, że wyjaśnienie jest wiernym domyślnie. Jest to serce warstwy decyzyjnej — zobacz śledzenie decyzji, aby dowiedzieć się, jak to rozumowanie jest ujmowane, oraz monitorowanie agenta AI w celu uzyskania informacji o tym, jak jest śledzone w czasie.