Kagi Translate: AI odpowiada na pytanie "Co by powiedziała rozbujana Margaret Thatcher?"

Pamiętacie czasy, kiedy zabawianie się modelami językowymi było po prostu fajne? Kiedy zamiast martwić się o alignment, hallucinations i bezpieczeństwo AI, można było po prostu wpisać absurdalną instrukcję i czekać na wynik? Okazuje się, że te czasy wcale się nie skończyły — przynajmniej dla użytkowników Kagi Translate, narzędzia tłumaczeniowego, które w ostatnich tygodniach stało się nieoficjalnym memem internetowym. Wszystko przez to, że jego twórcy najwyraźniej nie przewidzieli, iż ludzie będą chcieli przetłumaczyć tekst na "język podniecającej Margaret Thatcher" lub "mówienie w stylu LinkedIn".

Historia ta mówi nam coś ważnego o stanie współczesnych narzędzi AI. Kagi Translate to nie pierwsza aplikacja, która w niezamierzony sposób stała się zabawką dla twórców memów, ale jest to szczególnie pouczający przypadek. Pokazuje bowiem, jak generyczne modele językowe, gdy pozostawione bez ścisłych ograniczeń, mogą robić rzeczy całkowicie poza zamierzonym zakresem — i jak to czasami prowadzi do zadziwiająco zabawnych rezultatów.

Jak narzędzie do tłumaczenia stało się generatorem absurdu

Kagi to przede wszystkim wyszukiwarka — płatna alternatywa dla Google'a, która obiecuje lepszą prywatność i mniej reklam. W 2024 roku firma rozszerzyła swoją ofertę o Kagi Translate, pozycjonując go jako "po prostu lepszą" alternatywę dla Google Translate i DeepL. Narzędzie miało wykorzystywać "kombinację modeli językowowych, wybierając i optymalizując najlepszy wynik dla każdego zadania" — przyznając jednocześnie, że to może "czasami prowadzić do dziwactw, nad którymi aktywnie pracujemy".

Przez większość swojej historii Kagi Translate funkcjonował jak każde inne narzędzie tłumaczeniowe: użytkownik wpisywał tekst, wybierał język źródłowy i docelowy z listy 244 dostępnych opcji, i otrzymywał przetłumaczony rezultat. Nudne, przewidywalne, bezpieczne. Dokładnie takie, jakie powinno być narzędzie do poważnego zadania tłumaczenia tekstu.

Ale w lutym 2025 roku — choć historia obiegła internet dopiero niedawno — anonimowy użytkownik Hacker News odkrył coś ciekawego: parametry URL narzędzia można było manipulować. Zamiast wybrać jeden z 244 predefiniowanych języków, można było wpisać dowolny tekst jako "język docelowy". I system nie protestował. Nie wyrzucał błędu. Po prostu... działał.

Od tego momentu internet zaczął eksperimentować. Ludzie odkryli, że można prosić Kagi Translate o tłumaczenie na "język podniecającej Margaret Thatcher", "mówienie jak rude'y gość z bostońskim akcentem", "LinkedIn Speak", "Gen Z slang" czy nawet "pirate speak". I narzędzie — zamiast odrzucić te absurdalne instrukcje — faktycznie je wykonywało, generując wyniki, które były zarówno zabawne, jak i zadziwiająco spójne.

Kiedy generyczne LLM staje się narzędziem do wszystkiego

Kluczem do zrozumienia, dlaczego Kagi Translate zachowywał się w ten sposób, jest fakt, że pod spodem pracuje generyczny model językowo-logiczny, a nie wąsko wyspecjalizowany algorytm tłumaczenia. Podczas gdy tradycyjne narzędzia tłumaczeniowe (starej generacji) były zbudowane na architekturach statystycznych lub neuronowych, ale ściśle ograniczonych do zadania tłumaczenia między znanymi językami, nowoczesne LLM-y są zbudowane na zasadzie "zrób to, co mówię".

Dla modelu takiego jak Claude czy GPT, instrukcja "przetłumacz ten tekst na język podniecającej Margaret Thatcher" jest w pełni sensowna. Model ma wystarczającą wiedzę o tym, jak mówi Margaret Thatcher (z filmów, przemów, historycznych transkrypcji), potrafi rozpoznać koncepcję "podniecenia" lub entuzjazmu w języku, i może połączyć te elementy w spójny output. To jest dokładnie to, do czego LLM-y są dobre: interpretacja instrukcji w naturalnym języku i ich wykonanie.

Problem — lub może raczej feature — pojawia się wtedy, gdy narzędzie przeznaczone do jednego zadania (tłumaczenie między językami naturalnymi) zostaje zasilane przez system zdolny do znacznie więcej. Kagi Translate nie odmówił wykonania absurdalnych instrukcji, bo nie miał powodu, by to robić. Parametry URL zostały zaakceptowane, tekst został przetworzony, model otrzymał instrukcję i ją wykonał. Brak walidacji, brak hardkodowanych ograniczeń.

To jest dokładnie to, co się zdarza, gdy twórcy narzędzi AI zakładają, że użytkownicy będą używać produktu "prawidłowo". W tym przypadku założenie było rozsądne dla 99,9% użytkowników — ale wystarczył jeden ciekawy haker, aby odkryć luki w systemie.

Bezpieczeństwo przez nieznajomość vs. bezpieczeństwo przez design

Historia Kagi Translate ujawnia klasyczny konflikt w projektowaniu narzędzi AI: bezpieczeństwo przez nieznajomość versus bezpieczeństwo przez design. Pierwsza podejście polega na założeniu, że użytkownicy nie będą wiedzieć, co mogą zrobić. Druga na tym, że system jest zaprojektowany tak, aby nawet jeśli ktoś będzie chciał go nadużyć, nie będzie mógł.

Kagi wybrał wyraźnie pierwszą strategię. Interfejs webowy narzędzia nie oferuje opcji wpisania custom "języka" — lista 244 języków jest zamknięta, czytelna, kontrolowana. Ale parametry URL nie były walidowane. Ktoś, kto wiedział, że może manipulować URL-em, mógł to zrobić. To jest bezpieczeństwo przez nieznajomość: system jest "bezpieczny", dopóki nikt nie wie o luce.

W praktyce to oznacza, że narzędzie może być używane do rzeczy, które Kagi nigdy nie zamierzał wspierać. Jeśli ktoś byłby wystarczająco kreatywny, mógłby teoretycznie prosić Kagi Translate o tłumaczenie na "instrukcje do produkcji niebezpiecznych substancji" lub "jak oszukiwać system ubezpieczeń". Czy by to zadziałało? Trudno powiedzieć bez testowania — ale fakt, że Kagi Translate zaakceptował "podniecającą Margaret Thatcher", sugeruje, że model ma bardzo liberalne podejście do tego, co uznaje za ważną instrukcję.

Lepsze podejście byłoby walidować parametry URL na poziomie aplikacji — sprawdzić, czy żądany "język" jest na liście obsługiwanych, i odrzucić wszystko inne. To byłoby bezpieczeństwo przez design: nie ma możliwości obejścia systemu, bo system po prostu nie akceptuje nieprawidłowych inputów.

Czemu to jest zabawne i czemu to jest problem

Zanim zaczniemy narzekać, warto przyznać: odkrycie Kagi Translate jest naprawdę zabawne. Internet odkrył, że można prosić AI o generowanie tekstu w stylu "podniecającej Margaret Thatcher", i to faktycznie działa. To jest dokładnie ten rodzaj zabawy z AI, który sprawił, że ludzie zaczęli lubić te narzędzia — zanim całe pole zamieniło się w walkę o alignment, bezpieczeństwo i etykę.

Ale jest w tym również problem, i to poważny. Po pierwsze, Kagi Translate przestaje być narzędziem do tłumaczenia, gdy użytkownicy zaczynają go używać do generowania absurdalnych tekstów. To nie jest jego przeznaczeniem. Po drugie, jeśli parametry URL mogą być manipulowane w taki sposób, co jeszcze można manipulować? Czy można prosić Kagi Translate o generowanie potencjalnie szkodliwych treści, jeśli tylko będzie się znać prawidłową instrukcję?

Po trzecie — i to jest może najważniejsze — odkrycie to pokazuje, jak łatwo jest stworzyć "jailbreak" dla generycznego narzędzia AI. Jailbreak to technika polegająca na obejściu ograniczeń bezpieczeństwa modelu poprzez sprytne sformułowanie instrukcji. W tym przypadku jailbreak był trywialny: po prostu zmień parametr URL. Ale koncepcja jest ta sama. Jeśli system nie ma wbudowanych ograniczeń, użytkownicy znajdą sposób, aby go obejść.

Polska perspektywa: kiedy AI zabawa staje się polem minowym

Dla polskich twórców i deweloperów historia Kagi Translate jest szczególnie pouczająca. Polska społeczność AI jest mała, ale aktywna — i wielu polskich startupów buduje narzędzia oparte na LLM-ach. Kagi Translate pokazuje, jak łatwo jest stworzyć narzędzie, które działa świetnie dla 99% przypadków użycia, ale ma ogromne luki dla 1%.

Jeśli budujesz narzędzie AI w Polsce — czy to chatbot dla klienta, system tłumaczenia, czy cokolwiek innego — musisz pamiętać, że internet jest pełen kreatywnych ludzi, którzy będą chcieli sprawdzić, co twoje narzędzie potrafi. Nie zawsze będą to złośliwe intencje. Czasami będzie to zwykła ciekawość. Ale rezultat jest taki sam: jeśli nie zadbasz o bezpieczeństwo przez design, ktoś znajdzie lukę.

W kontekście polskim to jest szczególnie ważne, bo polska regulacja dotycząca AI jest wciąż rozwojowa. Jeśli twoje narzędzie będzie używane do generowania potencjalnie szkodliwych treści — nawet jeśli nie było to zamierzone — możesz znaleźć się w trudnej sytuacji prawnej. Dlatego właśnie bezpieczeństwo powinno być zaplanowane od początku, a nie dodane "na koniec".

Jak Kagi powinien był to obsłużyć

Jeśli byłem architektem Kagi Translate, jak bym to zaprojektował inaczej? Po pierwsze, walidacja parametrów URL na poziomie aplikacji. Sprawdzenie, czy żądany język jest na liście obsługiwanych. Jeśli nie — zwróć błąd 400 Bad Request. Koniec historii.

Po drugie, walidacja instrukcji na poziomie modelu. Zanim prześlemy instrukcję do LLM-a, sprawdzamy, czy ma sens w kontekście tłumaczenia między językami naturalnymi. Jeśli instrukcja zawiera słowa kluczowe takie jak "porno", "niebezpieczne", "oszukiwanie" — flagujemy ją i odrzucamy.

Po trzecie, logowanie i monitoring. Jeśli użytkownik próbuje manipulować parametrami URL, powinniśmy to wiedzieć. Powinniśmy monitorować, jakie "języki" ludzie próbują używać, i reagować na anomalie.

Żaden z tych kroków nie jest skomplikowany. Żaden nie wymaga zaawansowanej wiedzy o bezpieczeństwie AI. To są podstawowe praktyki inżynierii oprogramowania, które każdy deweloper powinien znać. Fakt, że Kagi ich nie zastosował, sugeruje, że albo nikt nie pomyślał o tym scenariuszu, albo — bardziej prawdopodobnie — założono, że "nikt nie będzie tego robić".

Przyszłość zabawy z AI

Historia Kagi Translate jest symptomem czegoś większego: przesunięcia się AI z narzędzi specjalistycznych na narzędzia generyczne. Dwadzieścia lat temu, jeśli chciałeś przetłumaczyć tekst, używałeś specjalizowanego narzędzia tłumaczeniowego. Dzisiaj możesz użyć ChatGPT. Dzisiaj Kagi Translate. Jutro może być coś innego.

Problem z narzędziami generycznymi jest taki, że są one z natury mniej kontrolowalne. Specjalistyczne narzędzie do tłumaczenia może być zaprojektowane tak, aby robić tylko tłumaczenia. Ale generyczne narzędzie oparte na LLM-ie może robić praktycznie wszystko — i dlatego jest trudne do bezpiecznego ograniczenia.

W przyszłości spodziewam się, że zobaczymy więcej takich "odkryć" — użytkowników, którzy odkrywają, że narzędzia AI mogą robić rzeczy poza swoim zamierzonym zakresem. Niektóre z nich będą zabawne, jak Kagi Translate. Inne będą mniej zabawne. Ale wszystkie będą pokazywać ten sam problem: narzędzia AI są potężne, ale trudne do kontrolowania.

Dla Kagi sprawa jest teraz prosta: muszą naprawić lukę. Prawdopodobnie już to zrobili, albo są w trakcie. Ale dla całej branży AI, lekcja jest bardziej ogólna: bezpieczeństwo powinno być zaplanowane od początku, a nie dodane później. Parametry URL powinny być walidowane. Instrukcje powinny być monitorowane. I zawsze powiniśmy zakładać, że jeśli coś można zrobić, ktoś to zrobi.