Jak wybrać model AI?

Wybór modelu sztucznej inteligencji coraz rzadziej jest prostą decyzją technologiczną. Organizacja musi porównać nie tylko możliwości modeli, lecz także ich warianty, dostawców, ceny API, wymagania sprzętowe, licencje, sposób przetwarzania danych oraz jakość działania w konkretnym procesie.

Naturalnym rozwiązaniem wydaje się ranking. Wystarczy przecież wybrać model zajmujący pierwsze miejsce i rozpocząć wdrożenie.

W tym miejscu kończy się jednak proste porównanie narzędzi, a zaczyna analiza biznesowo-systemowa.

Najwyżej oceniony model nie musi być najlepszym komponentem konkretnego procesu.

Model może doskonale wypadać w testach programistycznych, a jednocześnie słabo radzić sobie z polskimi dokumentami. Może oferować wysoką jakość, lecz generować nieakceptowalny koszt przy dużej skali. Może być atrakcyjny cenowo, ale wymagać przesyłania poufnych danych do zewnętrznej infrastruktury.

AI nie zaczyna się od modelu

W dyskusjach o sztucznej inteligencji często zaczynamy od nazw produktów. Padają pytania, czy lepszy jest ChatGPT, Gemini, Claude, DeepSeek, Bielik albo PLLuM. Z perspektywy użytkownika indywidualnego jest to zrozumiałe. Wybiera aplikację, opłaca abonament i rozpoczyna pracę.

Organizacja powinna rozpocząć wcześniej — od problemu, procesu oraz oczekiwanego rezultatu.

Wymaganie „wdrożyć model X” jest już propozycją rozwiązania. Potrzeba biznesowa może natomiast dotyczyć skrócenia czasu analizy dokumentów, automatyzacji obsługi zgłoszeń, poprawy dostępu do wiedzy albo zmniejszenia kosztu przygotowania treści.

Dopiero później należy określić rodzaj danych, poziom ich poufności, sposób pomiaru jakości, dopuszczalny koszt oraz odpowiedzialność za zatwierdzenie wyniku.

Model jest wtedy jednym z elementów większego systemu. Obok niego znajdują się dane, baza wiedzy, integracje, instrukcje, mechanizmy bezpieczeństwa, monitoring oraz nadzór człowieka.

Model, wariant, dostawca i oferta

Jednym z podstawowych problemów rynku AI jest używanie słowa „model” do opisania kilku różnych obiektów.

Rodzina modeli może obejmować wiele rozmiarów i generacji. Model bazowy jest zazwyczaj przeznaczony do dalszego trenowania, a wersja instrukcyjna do wykonywania poleceń. Wariant dialogowy może być dodatkowo dostrojony do prowadzenia rozmowy.

Osobnym zagadnieniem jest kwantyzacja, która pozwala zmniejszyć wymagania sprzętowe. Format GGUF, FP8 lub wersja przeznaczona dla MLX opisują sposób zapisania albo uruchomienia modelu, ale nie zawsze oznaczają powstanie zupełnie nowej konstrukcji.

Następnie pojawia się dostawca. Ten sam model może być dostępny przez API producenta, platformę pośredniczącą albo usługę chmurową. Każdy kanał posiada własną cenę, limity, regiony przetwarzania, politykę retencji danych oraz warunki świadczenia usługi.

Ostatecznie organizacja nie kupuje abstrakcyjnej „inteligencji modelu”. Korzysta z konkretnej oferty dostawcy, działającej w określonej infrastrukturze i na podstawie konkretnego regulaminu.

AI-TOP PL jako warstwa informacyjna

AI-TOP.PL powstał jako niezależny katalog modeli AI, dostawców oraz ofert API. Jego zadaniem jest uporządkowanie rozproszonych informacji i skrócenie drogi od danych do decyzji.

Serwis pozwala filtrować modele według zastosowania, sposobu dostępu, modalności, ceny, wymagań sprzętowych i zweryfikowanej obsługi języka polskiego. Oddziela modele od ich wariantów, dostawców oraz konkretnych ofert.

Taka struktura nie eliminuje ryzyka błędnego wyboru. Ogranicza jednak ryzyko podjęcia decyzji na podstawie pojedynczego artykułu reklamowego, nieaktualnego zestawienia albo efektownego benchmarku.

Ranking AI jest modelem analitycznym

Każdy ranking zawiera decyzje projektowe. Ktoś wybiera kryteria, nadaje im wagi, ustala źródła danych oraz sposób postępowania z brakującymi wartościami.

Nie istnieje ranking całkowicie wolny od założeń. Można natomiast zbudować ranking, którego założenia są jawne, wersjonowane i możliwe do zakwestionowania.

W metodologii AI-TOP.PL oceniane są między innymi jakość modelu, konkurencyjność kosztowa, aktualność danych i popularność. Największy wpływ posiada jakość, ale nie jest jedynym kryterium. Model osiągający wysoki wynik może stracić część punktów, jeżeli jest bardzo drogi albo dane na jego temat są nieaktualne.

Szczegółowe zasady obliczania wyników są dostępne na stronie metodologii AI-TOP.PL.

Jawność metodologii jest ważniejsza niż pozorna obiektywność. Pozwala zrozumieć, dlaczego model znalazł się w określonym miejscu i jakie dane wpłynęły na jego wynik.

Benchmark mierzy test, nie cały proces

Benchmarki są potrzebne, ponieważ umożliwiają powtarzalne porównanie określonych zdolności. Mogą mierzyć kodowanie, rozumowanie, wiedzę, pracę z tekstem, obrazem lub wykonywanie instrukcji.

Problem zaczyna się wtedy, gdy wynik pojedynczego testu jest przedstawiany jako uniwersalny poziom jakości modelu.

Model może dobrze rozwiązywać zadania wielokrotnego wyboru, ale pomijać informacje w dokumentach. Może tworzyć poprawny fragment kodu, lecz gorzej radzić sobie z większym repozytorium. Może osiągać wysoką jakość w języku angielskim i znacząco niższą w języku polskim.

Na wynik wpływa również wersja modelu, prompt systemowy, temperatura, liczba prób, limit tokenów i sposób przyznawania punktów.

Benchmark może pomóc zbudować shortlistę. Nie zastąpi testu na rzeczywistych danych organizacji.

Cena tokenu to nie koszt procesu

Ceny modeli API są zwykle przedstawiane jako koszt miliona tokenów wejściowych i wyjściowych. Pozwala to porównać podstawowe stawki, ale nie pokazuje całkowitego kosztu wykorzystania AI.

Na rachunek wpływają również ponowienia, dodatkowe kroki wnioskowania, wywołania narzędzi, wyszukiwanie, przetwarzanie obrazu, cache oraz czas pracownika potrzebny na sprawdzenie i poprawienie wyniku.

Droższy model może okazać się tańszy, jeśli poprawnie wykonuje zadanie w jednym przebiegu. Model o niższej stawce może wymagać kilku prób, dodatkowej walidacji albo ponownego przetworzenia przez większy model.

Dlatego przed wdrożeniem należy określić średnią długość zapytania, oczekiwany wynik, liczbę wywołań, odsetek błędów i wymagany udział człowieka. Dopiero wtedy można porównywać koszt procesu, a nie tylko koszt tokenu.

API, model lokalny czy architektura hybrydowa?

API pozwala szybko rozpocząć pracę i nie wymaga utrzymywania własnej infrastruktury. Organizacja pozostaje jednak zależna od dostępności usługi, zmiany ceny, limitów i polityki dostawcy.

Model lokalny zwiększa kontrolę nad danymi i środowiskiem wykonawczym, ale wymaga sprzętu, konfiguracji, aktualizacji, monitorowania oraz odpowiednich kompetencji.

Nie zawsze trzeba wybierać tylko jedną drogę. W architekturze hybrydowej mały model lokalny może klasyfikować zadania, anonimizować informacje i obsługiwać proste operacje. Duży model chmurowy jest uruchamiany dopiero wtedy, gdy potrzebne są jego bardziej zaawansowane możliwości.

Prowadzi to od pytania „który model jest najlepszy?” do pytania „jakie modele powinny pełnić poszczególne role w naszym systemie?”.

Język polski wymaga osobnej weryfikacji

Deklaracja obsługi języka polskiego może oznaczać jedynie zdolność rozpoznania prostego polecenia. Nie gwarantuje poprawnej terminologii branżowej, naturalnego stylu ani rozumienia dokumentów prawnych, finansowych lub urzędowych.

W przekazach medialnych często miesza się również polskie rodziny modeli, konkretne wersje, modele bazowe, warianty instrukcyjne i kwantyzacje.

Model bazowy nie powinien być oceniany tak samo jak gotowy chatbot. Brak płynnej rozmowy może oznaczać, że wybrano nieodpowiedni wariant do zadania, a nie że sam model jest niskiej jakości.

AI-TOP.PL prowadzi osobny przegląd polskich modeli LLM, oddzielając konkretne wersje, ich przeznaczenie, sposób dystrybucji oraz licencję.

Od rankingu do decyzji

Odpowiedzialny wybór modelu można uporządkować w kilku etapach.

1. Opisanie problemu. Należy ustalić, jaki proces ma zostać usprawniony i jak będzie mierzona wartość.
2. Określenie ograniczeń. Trzeba zdefiniować rodzaj danych, język, prywatność, koszt, wydajność i wymagane integracje.
3. Zbudowanie shortlisty. Ranking i filtry pomagają odrzucić rozwiązania niespełniające warunków.
4. Test na własnych danych. Należy sprawdzić jakość, stabilność, czas odpowiedzi i liczbę ponowień.
5. Analiza kosztów i ryzyk. Koszt powinien obejmować model, integrację, infrastrukturę, kontrolę jakości i pracę człowieka.
6. Monitoring. Po wdrożeniu trzeba obserwować jakość, ceny, zmiany wersji i dostępne alternatywy.

Brak danych również jest informacją

Jedną z podstawowych zasad odpowiedzialnej analityki jest niewypełnianie braków domysłem.

Jeżeli model nie posiada porównywalnego wyniku, nie oznacza to automatycznie, że jest słaby. Nie oznacza również, że jest dobry. Oznacza jedynie, że nie dysponujemy odpowiednią informacją.

Podobna zasada dotyczy trendów. Jeden pomiar jest punktem, a nie kierunkiem zmiany. Dopiero historia porównywalnych danych pozwala ocenić, czy obserwujemy trwały rozwój, chwilowy skok czy zmianę metodologii.

Czasami najbardziej profesjonalną odpowiedzią systemu analitycznego jest: „nie posiadamy jeszcze wystarczających danych”.

Ranking jako element AI Governance

Wybór modelu nie powinien kończyć się w dniu uruchomienia rozwiązania. Dostawca może zmienić cenę, regulamin, limit kontekstu albo sam sposób działania usługi. Może pojawić się nowa wersja modelu lub rozwiązanie lepiej dopasowane do procesu.

Organizacja powinna więc rejestrować używane modele, wersje, dostawców, kryteria wyboru i wyniki testów. Powinna także posiadać mechanizm ponownej oceny oraz bezpiecznej zmiany modelu.

AI-TOP.PL nie zastępuje analizy prawnej, oceny bezpieczeństwa, testów ani odpowiedzialności decydenta. Może jednak uporządkować pierwszą warstwę problemu: modele, warianty, dostawców, ceny, źródła i aktualność.

Najlepszy model to model właściwie dobrany

Rynek AI przechodzi od fascynacji pojedynczymi chatbotami do specjalizacji. Inne modele są projektowane do kodowania, inne do wyszukiwania, analizy dokumentów, obrazu, dźwięku lub pracy lokalnej.

Wraz z tą specjalizacją maleje wartość jednego uniwersalnego rankingu. Rośnie znaczenie katalogów, filtrów, porównywarek, jawnych źródeł oraz datowanych pomiarów.

Najważniejszym pytaniem nie powinno więc być:

„Który model wygrał ranking?”

Znacznie ważniejsze jest pytanie:

„Który model, w jakiej roli i pod jaką kontrolą tworzy wartość w naszym procesie?”

Ranking nie powinien podejmować decyzji za organizację. Powinien być mapą rynku, która pomaga zobaczyć dostępne możliwości, ograniczenia i kierunki dalszej analizy.

Mapa nie wybiera celu i nie prowadzi pojazdu za kierowcę. Pozwala jednak uniknąć przypadkowego skrętu w stronę technologii, która akurat miała najgłośniejszą premierę.