Grant dziekański (TK 2013)
504M 1031 0044
scientific project
Wykorzystanie graficznych modeli probabilistycznych w procesie rozpoznawania obiektów dla potrzeb aktywnej percepcji otoczenia robota usługowego
Finish: December 2013
Principal Investigator: Tomasz Kornuta,
Researchers: Michał Laszkowski, Karol Katerżawa, Łukasz Żmuda, Rafał Chojecki, Artur Wilkowski, Maciej Stefańczyk,
W ramach grantu osiągnięto dwa główne cele: * Rozbudowano dwuramiennego robota Velma o kamerę zintegrowaną z jego chwytakiem, * Opracowano metody percepcji wizyjnej umożliwiające rozpoznawanie obiektów oraz agregację informacji z różnorodnych czujników (m.in. kamer RGB-D zamontowanych na głowie robota oraz kamer kolorowych zintegrowanych z jego chwytakami).
Pierwszy, podrzędny cel grantu związany był z zakupem kamery kolorowej NET ICube NS4133CU (1280 x 1024, 25 FPS) oraz zaprojektowaniem i wykonaniem elementów integrujących kamerę wraz z chwytakiem Barrett Hand oraz łączących je z manipulatorem KUKA LWR 4+. Przeprowadzone prace są synergiczne z tegorocznym grantem dziekańskim „Obrotowy korpus robota usługowego” oraz zeszłorocznym grantem dziekańskim „Głowica uchylno-obrotowa do wykorzystania w systemie wizyjnym robota” oraz konsekwentnie prowadzą do skonstruowania dwuramiennego robota usługowego. Opracowaną konstrukcję mocowań opisano w raporcie “Wykonanie mocowań do chwytaków oraz kamer dla manipulatorów KUKA”. Dodatkowo w ramach grantu dokonano przeglądu obecnych na rynku czujników umożliwiających akwizycję map głębi oraz obrazów RGB-D. Stworzony na jej bazie artykuł „Akwizycja obrazów RGB-D: czujniki” przyjęto do publikacji w czasopiśmie „Pomiary – Automatyka – Robotyka PAR” (planowana data ukazania się publikacji to luty 2014 r.), a dzięki przeprowadzonym pracom wyselekcjonowano czujnik, który zostanie w przyszłości zakupiony oraz zamontowany na drugim chwytaku robota (czas jego sprowadzenia ze Stanów Zjednoczonych uniemożliwił jego zakup w trakcie trwania grantu dziekańskiego).
Drugi, nadrzędny cel dotyczył bezpośrednio rozpoznawania obiektów w obrazach kolorowych oraz obrazach RGB-D. W ramach prac stworzono stanowisko do akwizycji różnych widoków obiektów oraz opracowano proces tworzenia modeli poprzez łączenie poszczególnych widoków. Idea działania tego procesu oparta została o przekształcenie obrazu RGB-D do postaci chmury punktów oraz ekstrakcji cech, które wykorzystywane są zarówno w procesie łączenia chmur, jak i w procesie rozpoznawania. W opracowanym w ramach grantu rozwiązaniu wykorzystano klasyczne cechy ekstrahowane z obrazu kolorowego: SIFT (warte jednak podkreślenia jest, iż od momentu zakończeniu grantu wciąż trwają prace nad wykorzystaniem cech ekstrahowanych z map głębi (SHOT) oraz zastąpieniem SIFT cechami ORB, posiadającymi binarny deskryptor przyśpieszający znacznie czas wyznaczania podobieństwa dwóch cech). Na opracowane w ramach grantu modele składają się dwie chmury: chmura punktów obiektu oraz chmura cech. Pierwsza z nich wykorzystywana jest głównie do wizualizacji, natomiast druga we właściwym procesie rozpoznawania instancji obiektów. Rozpoznawanie to oparto o dopasowanie cech obserwowanych w aktualnym obrazie do cech zestawu wczytanych modeli obiektów. Mając dany zbiór dopasowań tworzona jest tzw. krata hipotez. Do ewaluacji (oceny) każdej z hipotez wchodzących w skład kraty wykorzystano Sieć Bayesa. Sieć ta generowana jest automatycznie dla danego, wczytanego podczas inicjalizacji zestawu modeli. Powyższe zagadnienia opisano dokładnie w raporcie „Rozpoznawanie obiektów trójwymiarowych w obrazach RGB-D z wykorzystaniem cech oraz sieci Bayesa”.
Równolegle do rozwoju algorytmów przewarzania obrazów RGB-D oraz akwizycji modeli przez pierwsze miesiące trwania grantu prowadzono prace nad wykorzystaniem sieci Bayesa w znacznie prostszym zadaniu – rozróżniania obiektów trójwymiarowych od ich płaskich imitacji. Prace ty były w istocie kontynuacją badań nad aktywną wizją, opublikowanych m.in. na konferencjach KKR 2012 oraz IEEE MMAR 2013. Opracowano trzy warianty sieci, która w zależności od różnych cech agregowanych z kolejno otrzymymywanych z kolorowej kamery obrazów zwraca kratę złożoną z dwóch hipotez (obiekt trójwymiarowy, płaska imitacja). Zadanie, implementację oraz wyniki eksperymentów opisano w raporcie „Wykorzystanie sieci Bayesa do oceny hipotez w zadaniu rozróżniania obiektu płaskiego od wypukłego”.
Na koniec warto również podkreślić, iż prowadzone w ramach grantu prace doprowadziły do dalszego rozwoju programowej struktury ramowej DisCODe oraz jej bibliotek komponentów. Zaowocowało to nie tylko nowymi komponentami, ale także rozwojem narzędzi dydaktycznych (m.in. rozwinięto zajęcia laboratoryjne z przedmiotu ECOVI dla studiów EMARO). Dodatkowo, wytworzone mechanizmy aktywacji funkcji przetwarzania w zależności od otrzymywanych danych opisano w artykule “Obsługa asynchronicznego przepływu danych w komponentowych podsystemach percepcji robotów”, który został przyjęty na konferencję AUTOMATION 2014 (publikacja materiałów pokonferencyjnych w czasopiśmie „Pomiary – Automatyka – Robotyka PAR”).
- Michał Laszkowski - prace nad modelami obiektów oraz potokiem przetwarzania obrazów RGB-D
- Karol Katerżawa - prace nad metodami wnioskowania probabilistycznego
- Łukasz Żmuda - akwizycja widoków obiektów trójwymiarowych, prace nad bazami przechowywującymi modele obiektów
- Rafał Chojecki (Mechatronika PW) - opracowanie oraz wykonanie konstrukcji mocować do kamer i chwytaków robota Velma
- Artur Wilkowski (GiK PW, PIAP) - prace nad algorytmami łączenia chmur punktów z różnych widoków
- Maciej Stefańczyk - prace publikacyjne
List of selected publications:
- T. Kornuta and M. Stefańczyk Akwizycja obrazów RGB-D: czujnikiPomiary – Automatyka – Robotyka PAR, vol. 18, no. 2, pp. 92–99, 2014[ BIB | DOI | abstract | URL ]
- T. Kornuta, M. Stefańczyk, M. Laszkowski, M. Figat, J. Figat, and C. Zieliński Obsługa asynchronicznego przepływu danych w komponentowych podsystemach percepcji robotówPomiary – Automatyka – Robotyka PAR, vol. 18, no. 5, pp. 127–133, 2014[ BIB | DOI | abstract | URL ]