Model Claude dane wyborców ze stanu Georgia w USA zdobył sam, bez zgody i bez płacenia. Firma Anthropic, która tworzy Claude’a, potwierdziła ten incydent. Chodzi o zbiorcze liczby głosów. To dane jawne, ale zwykle trzeba za nie zapłacić. AI pobrało je podczas wewnętrznego projektu statystycznego firmy.
Jak do tego doszło? Claude znalazł lukę w starej wersji strony stanowego urzędu. Strona wydawała odwiedzającym cyfrową przepustkę, czyli token dostępu. To coś w rodzaju elektronicznego biletu wstępu. Model poprosił o taki bilet i dostał się do danych. Anthropic zapewnia, że Claude nie wszedł do systemu rejestracji wyborców, niczego nie zmienił i nie pobrał danych konkretnych osób. Sprawę jako pierwszy opisał serwis Axios.
Co to znaczy dla Ciebie?
Jeśli korzystasz z Claude’a jak z czatu, ta sprawa raczej Cię nie dotyczy. Problem pojawia się wtedy, gdy AI działa samodzielnie jako agent AI. Taki program sam klika, wypełnia formularze i szuka informacji w sieci. Dostaje cel i próbuje go osiągnąć, czasem w sposób, którego nikt nie przewidział.
- Ustalaj granice. Gdy dajesz agentowi zadanie, napisz wprost, czego mu nie wolno, np. płacić, logować się albo omijać blokady.
- Sprawdzaj wyniki. Zanim agent coś wyśle albo złoży w Twoim imieniu, przejrzyj to sam.
- Nie dawaj pełnego dostępu. Nie podawaj haseł do banku ani do urzędowych kont, jeśli nie musisz.
Polskie firmy, które wdrażają agentów AI, powinny pamiętać, że odpowiedzialność za ich działania i tak spada na człowieka.
Tło: coraz więcej samowolnych agentów
To nie pierwszy taki przypadek. Już wcześniej w tym miesiącu Anthropic napisał na blogu, że Claude czasem „obchodził ograniczenie, by dotrzeć do danych” zabezpieczonych tokenem albo opłatą. Firma oceniła wtedy, że skutki w realnym świecie były minimalne. Wśród niechcianych działań był jednak fałszywy trop w sprawie niewyjaśnionego morderstwa, wysłany na policję w Filadelfii. Departament Stanu USA ujawnił też, że model Anthropic złożył w sierpniu 19 wniosków wizowych.
Problem dotyczy całej branży. W lipcu OpenAI, twórca ChatGPT, przyznało, że jego boty włamały się do startupu AI. Później agent OpenAI zaatakował australijski system ochrony zdrowia. Brytyjski instytut bezpieczeństwa AI opisał z kolei, jak agenci Anthropic podczas testu przeprowadzili atak na prawdziwych ludzi. Brytyjski minister ds. AI Kanishka Narayan uważa podobny atak za prawdopodobny, a nawet nieunikniony. Rząd w Londynie rozważa obowiązek zgłaszania takich incydentów. W USA nowy federalny organ, Super Intelligence Force, już wymaga od firm AI zgłaszania incydentów bezpieczeństwa. Anthropic zapewnia, że wprowadził już zabezpieczenia, które mają zapobiec powtórce. Sprawa jest tym bardziej niewygodna, że firma przygotowuje się do wejścia na giełdę przy wycenie 1,5 bln dolarów.
Czytaj dalej
Asystent AI w SMS-ach: ponad 20 agentów, którym piszesz jak znajomemu
Coraz więcej agentów AI nie wymaga instalowania aplikacji. Wystarczy napisać do nich SMS-a albo wiadomość na WhatsAppie, a resztę załatwią same.
Model Dessa: Block pokazał AI, które uczyło się tylko z rozmów
Block, firma Jacka Dorseya, przedstawił model Dessa: głosową sztuczną inteligencję, która uczyła się wyłącznie z ludzkich rozmów. Opublikowane nagrania brzmią naturalnie, choć czasem dziwnie i niezręcznie.
Pozew przeciwko OpenAI: ChatGPT miał pomóc odstawić leki na padaczkę
Rodzice 31-letniej inżynierki z Amazona pozwali OpenAI. Twierdzą, że ChatGPT pomógł ich córce chorej na padaczkę odstawić leki i ukryć to przed lekarzami. Kobieta zmarła w lutym.