Test wyszukiwarek obrazem i ich przydatności w pracy OSINT-owca

Wyszukiwanie obrazem pozwala na szybkie znalezienie zdjęć online. Dla OSINT-owca może to być niezwykle przydatne narzędzie. Ze zdjęcia możemy wyczytać wiele, ale która z wyszukiwarek sprawdza się do tego najlepiej?

W pracy śledczej z zakresu Open Source Intelligence narzędziem, które niemal obowiązkowo powinno znaleźć się w arsenale analityka, jest wyszukiwanie obrazem (z ang. reverse image search). Najczęściej używaną wyszukiwarką do wyszukiwania obrazem pozostaje Google, choć nie zawsze okazuje się ona najskuteczniejsza. Ma jednak dwie wyraźne zalety.

Po pierwsze, dysponuje ogromną bazą obrazów, co sprawia, że świetnie sprawdza się przy poszukiwaniu popularnych fotografii, rozpoznawalnych osób czy znanych miejsc. Po drugie, wyróżnia się niezwykle intuicyjnym interfejsem: wystarczy przeciągnąć obraz, wkleić link lub wyszukać wizualnie podobne elementy.

Od pewnego czasu Google rozwija też tryb AI, który znacznie rozszerza możliwości wyszukiwania wizualnego. Sztuczna inteligencja potrafi nie tylko wskazać interesujący fragment zdjęcia, ale również rozpoznać jego szczegóły, takie jak kolor, rodzaj czy nawet marka i model przedmiotu. Przykładowo, po wgraniu zdjęcia popularnych trampek, Google automatycznie zaznaczył ich fragment i zasugerował dokładny model oraz producenta.

Google posiada jednak istotne ograniczenia. Chociaż świetnie radzi sobie z fotografiami znanych miejsc, osób publicznych czy produktów komercyjnych, to wygląda to znacznie gorzej z mniej popularnymi oraz nowymi fotografiami. W wyszukiwaniu obrazem możemy nie znaleźć wyników dla naszego lokalnego boiska szkolnego lub zdjęcia z festynu w małej miejscowości. Co prawda baza obrazów Google ma globalny zasięg, ale jej indeks nie zawsze jest tak szczegółowy w niektórych regionach, szczególnie w Europie Wschodniej, Azji Centralnej czy Afryce. Kolejnym aspektem jest modyfikacja zdjęć. Google słabo radzi sobie z dopasowaniem przerobionej wersji oryginalnego obrazu z pierwowzorem, szczególnie jeśli posiadamy jedynie fragment oryginalnego obrazu.

Wskazówka: Wyszukiwanie obrazem Google jest dobre jako punkt startowy. Warto jednak uzupełnić poszukiwania o inne wyszukiwarki takie jak Yandex czy Bing.

Yandex Images

Yandex to rosyjska wyszukiwarka, która w kontekście wyszukiwania obrazem powszechnie plasowana jest jako lider spośród typowych wyszukiwarek. W wywiadzie jawnoźródłowym do analizy infosfery przeciwnika dobrze jest też wykorzystywać jego własne narzędzia. Yandex doskonale radzi sobie z rozpoznawaniem twarzy, krajobrazów oraz obiektów.

W przypadku Yandex również istnieje ograniczenie geograficzne dla wyszukiwania zdjęć. Silnik Yandex doskonale radzi sobie z obrazami z Rosji, Ukrainy czy Białorusi, ale jego efektywność spada przy zdjęciach z innych regionów, np. Ameryki Północnej, Azji Południowo-Wschodniej czy Afryki. W dodatku Yandex często dopasowuje obrazy na podstawie wizualnego podobieństwa, a nie znaczenia. Może więc zwracać zdjęcia osób w podobnej pozie, kolorystyce lub oświetleniu, ale nie tę samą osobę.

Pojawia się także ograniczenie językowe. Domyślnie interfejs Yandex jest w języku rosyjskim. Choć można włączyć automatyczne tłumaczenie przeglądarki, nie wszystkie elementy (np. filtry, komunikaty błędów) są poprawnie tłumaczone.

Wskazówka: Silnik dobrze indeksuje rosyjskojęzyczne serwisy, portale turystyczne i serwisy społecznościowe z obszaru Europy Wschodniej, co może być atutem w śledztwach obejmujących te regiony. Jeśli wyniki nie pokazują się po pierwotnym wyszukaniu, spróbuj zmodyfikować obraz: przyciąć, obrócić, zamazać fragment (np. twarz).

Realny przykład

Praktyczny aspekt pracy z wyszukiwarkami obrazem dobrze pokazuje zadanie „shipwrecked” z DownUnderCTF w 2023 roku. Organizatorzy CTF-a opublikowali zadanie, które polegało na znalezieniu konkretnego przedmieścia, gdzie wykonano poniższe zdjęcie.

Spostrzegawcze oko zwróci uwagę na nietypową flagę w prawnym dolnym rogu fotografii. Nie jest to flaga żadnego kraju, ani regionu. Z racji na to, że jest to australijski CTF, możemy wyjść z założenia (które nie musi być prawdziwe), że fotografię wykonano w Australii. Statek, widoczny tuż obok flagi, wskazuje na to, że zdjęcie musiało zostać wykonane w miejscu z dostępem do jeziora lub morza. Potwierdzałoby to również uchwycenie mewy. Ukształtowanie terenu Australii pokazuje, że najprawdopodobniej chodzi tutaj o teren położony blisko oceanu.

Poszukiwań ciąg dalszy

Australia podzielona jest na sześć stanów: Australię Południową (ang. South Australia), Australię Zachodnią (ang. Western Australia), Nową Południową Walię (ang. New South Wales), Queensland, Tasmanię i Wiktorię (ang. Victoria). Kluczowe jest znalezienie flagi – w tym celu można wpisać nazwę stanu oraz frazę „biała flaga”. Z racji na język używany w Australii, zapytania muszą być kierowane w języku angielskim. Wpisanie frazy „new south wales flag white” lub „nsw australia flag white” w popularnych wyszukiwarkach pozwala odnaleźć wspomnianą flagę. Warto jednak dodać, że wyniki znacznie różnią się od zastosowanego portalu oraz frazy. W przypadku Grafiki Google, pożądana flaga pojawiła się nam w okolicach trzydziestego oraz trzydziestego piątego wyniku. Okazało się, że jest to flaga ratowników Nowej Południowej Walii.

Wyszukiwanie zdjęcia

Udało się zawęzić poszukiwania miejsca prawdopodobnego wykonania fotografii do jednego australijskiego stanu. Możemy również zakładać, że obiekt znajduje się blisko australijskiego wybrzeża. Jednocześnie, wciąż nierozstrzygnięta jest dokładna lokalizacja zdjęcia. Co ciekawe – jeśli wyszukamy całość zdjęcia na Google Grafika, Bingu i Yandex, otrzymamy zupełnie różne wyniki, lecz żaden z nich nie dotyczy poszukiwanego pomnika.

Mała zmiana, duży efekt

Narzędzia wyszukiwania graficznego pozwalają nam na przycinanie zdjęcia. W tym przypadku wykorzystanie Google Grafika pozwoliło nam znaleźć pożądany obiekt – należy jednak zaznaczyć, że zastosowanie danej wyszukiwarki jestależne od poszukiwanego zdjęcia. Podczas zadań CTF, warto używać wszelkich dostępnych narzędzi w tym zakresie.

Znalezienie celu

W artykule lokalnej prasy możemy znaleźć zdjęcie poszukiwanego obiektu wraz z informacją, że znajduje się on w Camden Haven, mieście obejmująjającym kilka przedmieść. Wpisując „Maine Rescue Camden Haven” – zgodnie z znalezioną wcześniej flagą - możemy znaleźć miejsce, gdzie wykonano fotografię – było to „Laurieton”. Flaga z zadania CTF: ductf{laurieton}.

W tym przypadku najużyteczniejsza była wyszukiwarka od Google. Należy jednak podkreślić, że nie zawsze tak jest – w wielu przypadkach warto skorzystać również z Binga czy Yandexa.