Opublikowane w 2024 roku na łamach prestiżowego czasopisma Nature badanie zespołu Motional i MIT ujawnia, że samochody autonomiczne mogą nareszcie powiedzieć nam dlaczego hamują — i to nie po fakcie, lecz w chwili podejmowania decyzji. Przez lata branża powtarzała, że sieci neuronowe są zbyt złożone, by je wyjaśnić bez utraty wydajności. Okazuje się, że ten kompromis nie jest nieuchronny — a brak przejrzystości to nie techniczny drobiazg, lecz realna bariera przed dopuszczeniem robotaksówek na ulice miast.
Czym jest „czarna skrzynka” w autonomicznym jeździe?
Określenie czarna skrzynka (ang. black box) opisuje system, którego wewnętrzne działanie jest niewidoczne dla obserwatora — dane wchodzą, decyzja wychodzi, ale proces pośredni pozostaje ukryty. Współczesne systemy autonomicznej jazdy opierają się na głębokich sieciach neuronowych trenowanych na setkach milionów kilometrów danych drogowych. Sieć uczy się korelacji między wejściem (obraz z kamer, dane LiDAR) a wyjściem (skręt, hamowanie, przyspieszenie), ale nie tworzy przy tym żadnej czytelnej dla człowieka reprezentacji swojego rozumowania.
Skutek jest prosty: jeśli pojazd gwałtownie hamuje na pozornie pustej drodze, ani pasażer, ani inżynier serwisowy, ani organ regulacyjny nie wie, co wywołało tę reakcję. Dla zwykłego użytkownika to dyskomfort. Dla firm ubezpieczeniowych, prokuratorów i urzędników transportowych to problem nie do zaakceptowania przy masowym wdrożeniu.
Metody wyjaśnialnej sztucznej inteligencji (ang. Explainable AI, XAI) istnieją od lat, lecz niemal wyłącznie w środowiskach symulacyjnych. Jak wskazuje Motional w materiale towarzyszącym publikacji z 2024 roku, żaden wcześniejszy zespół nie przetestował XAI w autonomicznym pojeździe poruszającym się po publicznych drogach w czasie rzeczywistym.
Jak działa sieć CW-Net opracowana przez Motional i MIT?
CW-Net (Concept-Wrapper Network) to architektura, która owija istniejący system planowania ruchu autonomicznego pojazdu dodatkową warstwą przetwarzającą aktywacje sieci neuronowej i mapującą je na zdefiniowane przez człowieka koncepty interpretowalne (ang. human-interpretable concepts). Kluczowe jest słowo „owija” — CW-Net nie zastępuje oryginalnej sieci, lecz działa jako pośrednik między jej wewnętrznymi obliczeniami a ostatecznym modułem decyzyjnym.
Koncepty mają postać krótkich etykiet opisujących sytuację drogową: „Zbliżanie się do zatrzymanego pojazdu” (Approaching Stopped Vehicle), „Blisko rowerzysty” (Close to Cyclist), „Pieszy na torze jazdy” i podobne. Gdy pojazd hamuje, system jest w stanie wskazać dokładnie, który koncept wymusił tę akcję. Motional określa tę właściwość terminem kauzalna wierność (causal faithfulness).
Kauzalna wierność a post-hoc wyjaśnienia
Większość konkurencyjnych metod XAI generuje wyjaśnienia po fakcie — algorytm obserwuje gotową decyzję i tworzy opis, który brzmi wiarygodnie, ale niekoniecznie odpowiada temu, co naprawdę wydarzyło się wewnątrz sieci. Takie podejście jest podatne na tzw. halucynacje wyjaśnień: system może podać przekonujące uzasadnienie, które jest zwykłą fikcją statystyczną.
CW-Net eliminuje ten problem, ponieważ moduł decyzyjny pojazdu operuje bezpośrednio na konceptach — nie na surowych aktywacjach. Hamowanie jest zatem dosłownie wywołane przez konkret „Zbliżanie się do zatrzymanego pojazdu”, a nie przez wyjaśnienie skonstruowane po tym, jak hamowanie już nastąpiło. Różnica wydaje się subtelna, lecz z punktu widzenia odpowiedzialności prawnej i technicznej jest fundamentalna.
Wizualizacja na desce rozdzielczej
Motional zakłada, że koncepty mogłyby być wyświetlane pasażerom i operatorom bezpieczeństwa na panelu w czasie rzeczywistym. Wyobraźmy sobie wskaźnik pokazujący trzy dominujące koncepty wpływające na bieżące zachowanie pojazdu — coś na kształt paska „powodów” przy każdej manewrze. Takie rozwiązanie nie wymaga od użytkownika żadnej wiedzy o sieciach neuronowych.
Redakcja IWD Partner: Przez dekadę dyskusji o autonomicznych autach skupialiśmy się na tym, czy AI potrafi jeździć bezpiecznie. Publikacja Motional i MIT przesuwa pytanie na inny poziom: czy AI potrafi nam to udowodnić w sposób, który rozumieją sędziowie, ubezpieczyciele i zwykli kierowcy. To przypomina ewolucję od lotnictwa bez rejestratorów danych do ery czarnych skrzynek — i może okazać się równie przełomowym momentem dla regulacji branży. Otwarte pytanie brzmi: czy koncepty definiowane przez inżynierów Motional wystarczą, by opisać wszystkie krytyczne sytuacje drogowe, czy za kilka lat odkryjemy, że sieć „myślała” o czymś, dla czego nie mieliśmy etykiety?
Gdzie i jak testowano system w warunkach rzeczywistych?
Badania terenowe przeprowadzono w 2024 roku na prywatnym torze testowym oraz na publicznych drogach w okolicach Las Vegas w stanie Nevada — jednego z nielicznych stanów USA z liberalnymi przepisami dotyczącymi testów pojazdów autonomicznych. W każdym jeździe za kierownicą siedział doświadczony operator bezpieczeństwa gotowy do natychmiastowego przejęcia kontroli.
Zespół wykorzystał wcześniejszą, eksperymentalną wersję systemu planowania opartego na głębokim uczeniu, który — jak sami przyznają — osiągał „konkurencyjną wydajność, ale z zauważalnymi niedociągnięciami”. Ta świadoma decyzja o użyciu niedoskonałego systemu była celowa: chodziło o sprawdzenie, czy CW-Net potrafi ujawnić rzeczywiste błędy, a nie tylko opisywać zachowanie perfekcyjnego pojazdu.
Dwa incydenty ujawnione przez CW-Net
Podczas testów zarejestrowano dwa charakterystyczne zdarzenia ilustrujące praktyczną wartość systemu. W pierwszym przypadku pojazd autonomiczny wielokrotnie zatrzymywał się w pobliżu pachołka drogowego (stojanego stożka). CW-Net był w stanie wskazać precyzyjnie, który koncept wyzwalał nieoczekiwane hamowanie — informacja, której klasyczny system bez XAI w ogóle by nie dostarczył.
Materiał źródłowy nie ujawnia szczegółów drugiego incydentu (streszczenie zostało ucięte), jednak Motional podkreśla, że oba przypadki pokazały zdolność CW-Net do surfowania błędów — czyli aktywnego wykrywania sytuacji, w których sieć zachowuje się nieprawidłowo, zamiast jedynie dokumentować poprawne manewry. Dla inżynierów pracujących nad iteracyjnym doskonaleniem systemu to kluczowa funkcjonalność.
Co oznacza próg 95% skuteczności dla branży pojazdów autonomicznych?
Laura Major, CEO Motional, w 2024 roku sformułowała ocenę, która powinna być punktem odniesienia dla całej dyskusji o autonomicznej jeździe: „Ogólne podejście end-to-end może osiągnąć naprawdę dobre 80–90 procent, może nawet 95 procent rozwiązania, ale to nie wystarczy, by usunąć kierowcę lub zdobyć zaufanie miast, społeczności i klientów”.
Liczba brzmi absurdalnie wysoko w każdym innym kontekście technologicznym. Dla pojazdu poruszającego się z prędkością 50 km/h w gęstym ruchu miejskim pięć procent nieprzewidywalnych decyzji to jednak katastrofa statystyczna. W motoryzacji wymagania dotyczące niezawodności i bezpieczeństwa są wyrażane w poziomach ASIL (Automotive Safety Integrity Level) normy ISO 26262 — najwyższy, ASIL D, oznacza dopuszczalny wskaźnik awarii rzędu jednej na miliard godzin pracy. Żaden aktualny system end-to-end nie zbliża się do tego progu bez dodatkowych warstw weryfikacji.
Uczenie end-to-end (ang. end-to-end learning) polega na trenowaniu jednej sieci, która bezpośrednio mapuje surowe dane sensoryczne na akcje kierownicze. Podejście jest eleganckie i często skuteczne, lecz generuje właśnie opisany problem czarnej skrzynki. CW-Net nie odrzuca tej filozofii — modyfikuje ją, wstawiając interpretowalną warstwę pośrednią bez rezygnacji z wydajności sieci bazowej.
Dlaczego wyjaśnialność decyzji autonomicznych aut ma znaczenie?
MIT Computer Science and Artificial Intelligence Laboratory (CSAIL) należy do pięciu najbardziej cytowanych laboratoriów AI na świecie według rankingu CSRankings z 2023 roku. Publikacja wyników w Nature — czasopiśmie o wskaźniku wpływu przekraczającym 64 punkty Impact Factor — nadaje badaniu wyjątkową wagę naukową i przyspiesza jego recepcję przez regulatorów.
Organy regulacyjne w Unii Europejskiej, Stanach Zjednoczonych i Japonii coraz częściej uzależniają wydanie licencji operacyjnych dla pojazdów autonomicznych od możliwości dostarczenia audytowalnych logów decyzji. Rozporządzenie UE o AI Act z 2024 roku klasyfikuje systemy sterowania pojazdami jako aplikacje wysokiego ryzyka, dla których obowiązkowa jest dokumentacja procesu decyzyjnego. CW-Net dostarcza dokładnie tego, czego wymagają regulatorzy — nie jako wygenerowany opis, lecz jako rzeczywisty log konceptów.
Dla zwykłego użytkownika wyjaśnialność przekłada się na coś prostszego: zaufanie. Badanie przeprowadzone przez MIT AgeLab w 2022 roku wykazało, że 67% respondentów deklarowało wyższy poziom komfortu w pojeździe autonomicznym, gdy system wyjaśniał swoje decyzje głosowo lub wizualnie. Technologia, która nie potrafi się wytłumaczyć, pozostanie niszowa niezależnie od jej faktycznej skuteczności.
Powiązane pojęcia z AI i uczenia maszynowego
- Wyjaśnialna sztuczna inteligencja (XAI) — dziedzina AI zajmująca się tworzeniem modeli lub metod umożliwiających ludzkie zrozumienie procesu decyzyjnego systemów uczenia maszynowego.
- Sieć neuronowa end-to-end — architektura, w której jedna sieć przetwarza surowe dane wejściowe i bezpośrednio generuje decyzje wyjściowe bez jawnych pośrednich reprezentacji.
- Kauzalna wierność (causal faithfulness) — właściwość wyjaśnienia AI oznaczająca, że podany powód decyzji jest rzeczywistą przyczyną tej decyzji, a nie wiarygodnie brzmiącą rekonstrukcją post hoc.
- Koncepty interpretowalne (human-interpretable concepts) — abstrakcyjne reprezentacje sytuacji drogowych lub innych zdarzeń, sformułowane w języku zrozumiałym dla człowieka, używane jako pośrednie zmienne decyzyjne w systemach XAI.
- ASIL (Automotive Safety Integrity Level) — klasyfikacja ryzyka bezpieczeństwa funkcjonalnego pojazdów określona normą ISO 26262, gdzie poziom ASIL D oznacza najwyższe wymagania niezawodnościowe.
Na podstawie materiałów źródłowych.
