Følgende artikel hjælper dig med: Teraz Microsoft pomoże Ci debugować Twoje modele NLP
Poznajmy AdaTest wprowadzony przez Microsoft do testowania adaptacyjnego i debugowania modeli NLP
Przetwarzanie języka naturalnego jest wybitnym sztuczna inteligencja technologia, która umożliwia maszynom czytanie, deszyfrowanie, rozumienie i nadawanie sensu językom ludzkim. Modele NLP służą do zrozumienia struktury i znaczenia ludzkiego języka poprzez analizę różnych aspektów, takich jak składnia, semantyka, pragmatyka i morfologia. Debugowanie modeli NLP jest wyzwaniem, a poważne problemy dotyczą praktycznie każdego podstawowego i komercyjnego modelu NLP o otwartym kodzie źródłowym.
Obecnie istnieją dwie metody debugowania modeli NLP: zorientowana na użytkownika i zautomatyzowana. Chociaż modele NLP są często niedookreślone i wykazują różne błędy w uogólnianiu, znalezienie i naprawienie takich błędów pozostaje wyzwaniem. Microsoftu podejście badaczy do testowania i debugowania modeli NLP opiera się na bardzo zmiennej ludzkiej kreatywności i rozległej pracy. Może być znacznie krótszy niż tradycyjne testy, bez utraty wiarygodności i dokładności. Daje to znaczną oszczędność czasu zarówno kandydatowi, jak i klientowi.
AdaTest do debugowania modeli NLP:
Firma Microsoft wprowadziła AdaTest, proces adaptacyjnego testowania i debugowania Modele NLP zainspirowany cyklem test-debug w tradycyjnej inżynierii oprogramowania. Zachęca do partnerstwa między użytkownikiem a dużym modelem językowym (LM). LM mogą generować i uruchamiać setki propozycji testów w oparciu o istniejące testy, ale te testy są często nieprawidłowe i nie odzwierciedlają zachowania oczekiwanego przez użytkownika.
AdaTest to nazwa nadana przez badaczy podejściu opartemu na zespole ludzi i sztucznej inteligencji. Jest bardziej precyzyjny niż tradycyjne testy, zapewniając bardziej wiarygodne i wiarygodne wyniki. Przekłada się to na znacznie większy zwrot z inwestycji niż tradycyjne testy dla organizacji zatrudniającej. Poprawiło to wyniki nawet dziesięciokrotnie. Badania użytkowników wykazały, że każdy może korzystać z AdaTest. Oceniono także skuteczność AdaTest w typowym środowisku programistycznym.
AdaTest może doprowadzić do powstania bardziej niezawodnych modeli dużych języków, które będą w stanie analizować i generować tekst z zaawansowaniem na poziomie ludzkim. Podstawową jednostką specyfikacji w AdaTest jest test zdefiniowany jako ciąg wejściowy lub para oraz oczekiwanie co do zachowania modelu. Według badań firmy Microsoft narzędzie to może wnieść znaczący wkład w naprawianie błędów przy ułamku wysiłku wymaganego w przypadku standardowych metod.
Microsoftu eksperymenty badacza wskazują, że pętla debugowania AdaTest niezawodnie naprawia błędy bez wprowadzania nowych, w przeciwieństwie do innych form powiększania danych. AdaTest można postrzegać jako zastosowanie pętli naprawa-ponowne testowanie testu od inżynierii oprogramowania do NLP. Zawiera wewnętrzną pętlę testową do wyszukiwania błędów i zewnętrzną pętlę debugującą do ich naprawiania. Zatem pętla debugowania służy jako przyjazny przeciwnik, przesuwając granice bieżącej specyfikacji, aż do stworzenia zadowalającego modelu.
W tych eksperymentach Ada Test z użytkownikami-ekspertami i nie-ekspertami oraz modelami badawczymi dla 8 różnych zadań, AdaTest sprawia, że użytkownicy są 5–10 razy skuteczniejsi w znajdowaniu błędów w porównaniu z obecnymi podejściami i pomaga użytkownikom skutecznie naprawiać błędy bez dodawania nowych. Dzięki AdaTest duży model językowy ma obowiązek tworzenia wielu testów w celu wykrycia błędów w modelu. Współpraca człowieka i sztucznej inteligencji to realna ścieżka rozwoju uczenia maszynowego, a ta synergia będzie rosła wraz ze wzrostem możliwości dużych modeli językowych.
