Kosmos, sztuczna inteligencja i nowe technologie - IWD Partner

FALCON Verify: weryfikacja odpowiedzi AI od 1-i.ai

Firma 1-i.ai ogłosiła dziś uruchomienie systemu FALCON Verify — narzędzia zaprojektowanego specjalnie po to, by weryfikować odpowiedzi generowane przez modele sztucznej inteligencji i budować do nich zaufanie użytkowników. To reakcja na jeden z najpoważniejszych problemów współczesnych systemów AI: generowania odpowiedzi brzmiących pewnie, ale pozbawionych faktycznego oparcia w rzeczywistości. Jeśli FALCON Verify spełni swoje obietnice, może zmienić sposób, w jaki organizacje i indywidualni użytkownicy korzystają z narzędzi opartych na dużych modelach językowych. Na czym polega problem, który rozwiązuje FALCON Verify? Modele językowe od lat zmagają się z tzw. halucynacjami — zjawiskiem, w którym system generuje odpowiedzi pozornie spójne i wiarygodne, lecz faktycznie nieprawdziwe lub niemające podstaw w dostępnych danych. Problem nie jest marginalny: dotyczy praktycznie każdego komercyjnie dostępnego modelu językowego, niezależnie od jego skali czy producenta. Dotychczasowe podejścia do ograniczania halucynacji skupiały się głównie na etapie trenowania modeli — lepsze dane, lepsze metody dopasowywania do ludzkich preferencji (RLHF, czyli uczenie ze wzmocnieniem na podstawie ludzkiej informacji zwrotnej). FALCON Verify proponuje inne podejście: zamiast naprawiać model u źródła, weryfikuje jego odpowiedzi na wyjściu, zanim dotrą do użytkownika. Jak działa mechanizm weryfikacji FALCON? Szczegóły techniczne architektury FALCON Verify nie zostały w pełni ujawnione przez 1-i.ai, jednak firma wskazuje, że system koncentruje się na…