Poświęcę 3 miesiące, aby gruntownie przetestować konkretny pomysł dotyczący tego, jak trenować Interpretowalne Sieci Neuronowe. Konkretnie chcę sprawdzić hipotezę, czy zastosowanie uczenia ze wzmocnieniem (tzw. Reinforcement Learning) w klasyfikacji może doprowadzić do wytworzenia modeli, które będą korzystały z interpretowalnych cech obrazu. Mam konkretny plan działania oraz wybrane technologie i serwery, na których przeprowadzę badania. Potrzebuję tylko czystej głowy, aby usiąść i zacząć pracę.

Ponadto sukces zrzutki byłby to dla mnie mocnym sygnałem, że idea niezależnych badań podstawowych w Polsce ma sens. Mógłbym wtedy jeszcze mocniej rozkręcić temat i zorganizować większy zespół oraz powalczyć o większe środki (np. w ramach założonej przeze mnie Fundacji 314).

Jeśli moja hipoteza naukowa się sprawdzi, to byłby przełomowy rezultat na skalę światową, uzyskany w Polsce w unikalnym modelu crowdfundingowym. Oznaczałoby to niezwykłą promocję dla naszego kraju, jak również okazję, żeby stanąć w samym czubie innowacji technologicznej i stworzyć w Polsce coś więcej, niż źródło tanich podwykonawców usług IT.

Sieci neuronowe stały się zakładnikami własnego sukcesu

Sieci neuronowe działają na tyle dobrze, żeby przyciągać inwestycje, jednak mają zasadniczą wadę - nie uczą się zrozumiałych dla człowieka modeli, tylko dziwnych i zasadniczo przypadkowych statystycznych korelacji. W efekcie dotychczasowy sukces głębokiego uczenia jest w dużym stopniu zaledwie marketingowy - pomimo wysokiej skuteczności na wybranych zbiorach testowych sieci neuronowe są kompletnie nieprzewidywalne nawet na nieznacznie zmodyfikowanych danych, co przesądza o ich ciągle marginalnej użyteczności w realnym życiu, pomimo dużego powodzenia na rynku inwestorów.

Sieci uczą się na skróty

Przykładowo sieć, która zdaje się poprawnie klasyfikować obraz tkanki rakowej może kompletnie zawodzić na obrazach z innej kliniki, gdzie używany jest trochę inny sprzęt lub trochę inne parametry. Powszechne są tzw. przykłady adwersaryjne - dodanie do wejścia niezauważalnego dla człowieka szumu całkowicie zmienia predykcję sieci - tam, gdzie jest świnka, sieć z dużą pewnością wykryje samolot. Model, który wydawał się perfekcyjnie rozpoznawać krowy okazuje się wykrywać zieleń pastwiska i zawodzi w przypadku krów sfotografowanych na tle jeziora. Pojazdy autonomiczne pomimo treningu na miliardach kilometrów nagrań ciągle są zbyt zawodne, aby dopuścić je do pełnoskalowego ruchu, bo zawsze trafi się sytuacja, w której model nie potrafi się odnaleźć. Sieci neuronowe nie potrafią improwizować.

Przedstawione zjawisko jest powszechnie znane w środowisku akademickim i nosi nazwę Shortcut Learning (sieci uczą się na skróty). Więcej informacji można znaleźć w tym pięknym opracowaniu naukowców z Niemiec i Kanady.

Jak wygląda finansowanie projektów badawczych w praktyce

Największą bolączką jest jednak wpływ tego efektu na środowisko badawcze. Zamiast rozwiązywać ten fundamentalny i trudny problem w pełnej ogólności, dużo łatwiej próbować go załatać na tyle, aby w partykularnym przypadku dowieźć produkt dostarczający jakąkolwiek wartość rynkową - i w ten sposób rozliczyć kolejny grant, pozyskać kolejną rundę inwestycji lub dostać zielone światło na kontynuowanie badań. Nawet uniwersytety generalnie finansują relatywnie krótkowzroczne projekty, które dobrze rokują rynkowo - przecież trzeba jakoś uzasadnić wydawanie publicznych pieniędzy. Tutaj chlubnym wyjątkiem jest właśnie Instytut Maxa Plancka, Uniwersytet w Tübingen czy Vector Institute z Kanady.

Naukowiec z Polski zainteresowany badaniami fundamentalnymi może więc:

- przeprowadzić się do Niemiec 

- zająć się innymi tematatmi

- pracować na etacie i robić badania po godzinach jako hobby.

Dlaczego ja

Ja od prawie trzech lat podążam tą ostatnią ścieżką. Zdobyłem szerokie doświadczenie jako AI Research Engineer, prowadziłem duży projekt badawczy związany z detekcją 3D na obrazach USG oraz szereg mniejszych projektów z innych obszarów AI. Pomagałem też przy pisaniu grantów badawczych. Wcześniej pracowałem przez kilka lat jako full-stack developer. Dzięki mojej wysokiej kulturze pracy firmy powierzały mi największe i najtrudniejsze projekty, a ja dzięki temu nabyłem rzadkiej kombinacji kompetencji technicznych, naukowych, biznesowych i kreatywnych. Więcej o moim doświadczeniu można poczytać na moim LinkedIn.

Cechuje mnie duża samodzielność. Już w licencjacie rozwiązałem problem otwarty z topologii zgrubnej, a praca doczekała się cytowań. To dowodzi, że potrafię rozwiązywać trudne problemy.

Dzięki mojej pasji do badań fundamentalnych Piotr Sankowski zaproponował mi połączenie etatu z badaniami nad solidnymi sieciami neuronowymi (tzw. robust neural networks). W ten sposób w zasadzie od 3 lat badam w gruncie rzeczy temat Shortcut Learning.

Dlaczego zrzutka

Łączenie badań podstawowych z pracą nad komercyjnym projektem jest bardzo trudne z uwagi na potrzebę przełączania się między rozłącznymi kontekstami - zarówno projekt badawczy, jak i projekt komercyjny wymagają głębokiego „wejścia w temat”, aby robić je na wysokim poziomie. Każdorazowe „przełączenie” się z jednego projektu na drugi wymaga wiele energii, aby ustawić się w odpowiednich kontekstach. To kosztowało mnie sporo zdrowia, gdyż poświęcałem stanowczo zbyt dużo czasu na pracę i badania. W połowie zeszłego roku potrzebowałem przerwy i odszedłem z pracy.

Od tego czasu pracuję jako freelancer, wykonałem m.in. stronę dla projektu non-profit #RozejrzyjSię! wspierającego rozwój społecznej empatii w rodzinie i szkole. Okazuje się jednak, że nie potrafię porzucić pasji do badań podstawowych i często wracam myślami do zagadnienia Shortcut Learning. Z drugiej strony wiem, że nie mogę prowadzić badań w nieskończoność - albo wyczerpię swoją poduszkę finansową, albo zaniedbam życie osobiste i w końcu się wypalę, dalej łącząc pracę z badaniami. Dlatego pomyślałem, aby przetestować model crowdfundingowy.

Zapraszam do komentowania i wsparcia!