MNiSW

Grant MNiSW 514128733

scientific project

Problemy aktywnego czucia, interpretacji informacji sensorycznej i manipulacji w robotach usługowych


Start: January 2007
Finish: December 2010
Principal Investigator: Cezary Zieliński,
Researchers: Włodzimierz Kasprzak, Tomasz Kornuta, Maciej Staniak, Wojciech Szynkiewicz, Tomasz Winiarski,

Zmiany demograficzne zachodzące w wysoko uprzemysłowionych krajach Europy i Dalekiego Wschodu, a także i Polski, wskazują, że w niezbyt odległej przyszłości zmniejszy się populacja ludzi w wieku produkcyjnym chętnych do wykonywania monotonnych prac domowych i biurowych, natomiast zwiększy się liczba ludzi w wieku poprodukcyjnym, a więc starych i zniedołężniałych. Oznacza to, że coraz mniejsza liczba ludzi aktywnych zawodowo będzie musiała utrzymywać coraz większą grupę emerytów. Dotyczy to zarówno ich utrzymania materialnego jak i wspierania ich w codziennych obowiązkach. Sytuację dodatkowo pogarsza zwiększający się wskaźnik skolaryzacji, przez co zmniejsza się liczba chętnych do wykonywania prac uciążliwych i monotonnych. Jednym z rozwiązań tego problemu jest stworzenie robotów usługowych, które będą w stanie stać się inteligentnymi pomocami domowymi, biurowymi, szpitalnymi czy asystentami w firmach usługowych. Zarówno sam problem, jak i proponowany sposób jego rozwiązania, został już dostrzeżony w krajach wysoko rozwiniętych, stąd olbrzymie zainteresowanie zarówno ośrodków badawczych jak i przemysłu rozwojem tego typu urządzeń. Niemniej jednak przydatność robotów usługowych w dużym stopniu będzie zależała od stopnia ich inteligencji, a więc zdolności do komunikowania się z ludźmi oraz postrzegania i rozumienia środowiska, w którym będą pracowały, czyli środowiska ludzkiego (dom, biuro etc.). Stąd niniejsza propozycja wyposażenia stworzonego przez autorów dwurękiego robota w takie zdolności.

Duża część problemów technicznych oraz badawczych o charakterze podstawowym została rozwiązana w ramach zakończonego w roku 2006 grantu MNiI4T11A00325, w wyniku którego miedzy innymi powstał system zdolny do ułożenia kostki Rubika podanej przez człowieka. System ten posiadał serwomechanizmy wizyjne umożliwiające uchwycenie powoli poruszających się obiektów, zdolność dwuręcznej manipulacji obiektami, czucie siły zapobiegające zakleszczaniu się ścianek kostki przy ich obrocie, możliwość identyfikacji stanu początkowego kostki oraz wyznaczenia planu ruchów ścianek prowadzących do rozwiązania tej skomplikowanej układanki, a ponadto możliwość rozpoznawania jednosłowowych komend głosowych. Przedkładana propozycja zmierza do zdecydowanego rozszerzenia możliwości stworzonego systemu prototypowego o zdolności poznawcze oraz znacznie udoskonaloną możliwość komunikacji werbalnej i pozawerbalnej z człowiekiem. Ponadto zadanie testowe będzie bardziej zbliżone do rzeczywistych zadań, które będą wykonywane przez roboty usługowe. W tym względzie wybrano zadania wykonywane przez pomoce kuchenne i kelnerów, a więc krojenie, przelewanie płynów między naczyniami, manipulację obiektami twardymi i miękkimi, zbieranie i segregacja sztućców i talerzy ze stołu po posiłku, nakrywanie do stołu etc. Realizacja tak skomplikowanego zadania wymaga aktywnego czucia, a więc wykonania ruchu w celu zdobycia potrzebnej do wykonania zadania informacji. Ta ogólna wizja zostanie zrealizowana poprzez opracowanie algorytmów: szybkiego wyodrębniania cech elementarnych z obrazów, na podstawie których metodami lingwistycznymi (rozmytymi) będą rozpoznawane i lokalizowane obiekty; sterowania koncentracją uwagi oraz stereowizją w systemie z niezależnym ruchem oczu (oczy kameleona); integracji serwomechanizmów z kamerą ruchomą i nieruchomą, z wykorzystaniem rozmytego przełączania między nimi; zastosowania czujników siły do rozpoznawania cech obiektów; fuzji informacji z sensorów o róznej wiarygodności; integracji poziomu senso-motorycznego (reaktywnego) z kognitywistycznym (deliberatywnym); sterowania ruchem palców chwytaka wielopalczastego w celu realizacji różnorodnych chwytów. Zostaną też zaprojektowane i wykonane chwytaki wielopalczaste wyposażone w kamery oraz czujniki sił i dotyku, a ponadto stworzone zostaną ich sterowniki elektroniczne. Prace również obejmą manipulacje dwuręczną oraz zagadnienie pokrewne, jakim jest manipulowanie obiektem uchwyconym przez palce chwytaka wielopalczastego. Dodatkowo zdefiniowana zostanie lista działań elementarnych (senso-motorycznych) wykorzystujących informacje uzyskaną z czujników sił i momentów sił oraz kamer. Działania elementarne, traktowane jako reakcje lub zachowania, zostaną wykorzystane do budowy planów działań realizujących cele złożone. Podstawą do definicji tych działań elementarnych będą funkcje przejścia, które leżą u podstaw generatorów ruchu wykorzystywanych przez MRROC++. Będą również prowadzone prace nad komunikacja multi-modalną człowieka z robotem. Zakładamy tu trzy możliwe scenariusze interakcji człowieka z maszyną za pośrednictwem wizji: 1) rozpoznanie sylwetki człowieka i skoncentrowanie na nim uwagi robota, 2) interakcja prowadzona za pomocą ruchu głowy, ust i oczu; 3) interakcja prowadzona za pomocą dłoni. Opracowany zostanie zestaw metod analizy obrazu, który w dużym stopniu byłby wspólny dla wszystkich trzech problemów. Podstawą takiego wspólnego rozwiązania będzie detekcja i śledzenie „aktywnego” konturu i jego rozszerzeń przeznaczonych do symbolicznego opisu deformowalnych powierzchni. W szczególności wyróżnimy tu zadania: opracowanie krzepkich metod detekcji i śledzenia aktywnego konturu i obszaru deformowalnego w obrazie kolorowym, opracowanie metod pozyskiwania sekwencji cech konturu - wyznaczanie istotnych dla zrozumienia komendy położeń istotnych obiektów obrazu (stanów) i wyznaczanie wektorów cech takich stanów, klasyfikacja sekwencji cech lub dopasowywanie sekwencji z modelem komend, oraz opracowanie sposobu reprezentacji modeli komend i ich powiązanie z sekwencjami stanów obserwowanych obiektów. W zakresie rozpoznawania mowy zostanie rozszerzony opis symboliczny sygnału mowy. Stworzony będzie model zdań, wypełniany zależnie od zastosowania pewnym przyjętym językiem komunikacji człowieka z robotem. Wyróżnimy w tym modelu: składnię i semantykę reprezentacji oraz sposoby aktywacji, czyli rozpoznawania początkowego opisu fonetycznego. Rozpoznawanie zdań polegać będzie na optymalnym, z punktu widzenia modelu zdań, wyróżnieniu poprawnej składniowo i znaczeniowo sekwencji słów lub sylab. Głównym problemem badawczym będzie poszukiwanie sposobu integracji podejść statystycznych, takich jak ukryte modele Markowa, dynamiczne sieci Bayesa lub „filtracja cząsteczkowa”, często stosowanymi do modelowania procesu rozpoznawania sekwencji wzorców, z gramatykami składni tolerującymi przekłamania, stosowanymi do weryfikacji poprawności składniowej zdania i z sieciami semantycznymi, modelującymi znaczenie zdania.



List of selected publications:
  1. T. Winiarski and A. Woźniak
    Indirect force control development procedure
    Robotica, vol. 31, no. 03, pp. 465–478, Apr. 2013
     [ | DOI | | URL ]
  2. W. Szynkiewicz, K. Czajkowski, C. Zieliński, T. Winiarski, K. Mianowski, and K. Banachowicz
    Chwytak wielopalczasty dla robota usługowego – planowanie chwytów
    Pomiary Automatyka Robotyka, no. 7–8, pp. 75–81, 2011
     [ | | URL ]
  3. C. Zieliński, T. Winiarski, W. Szynkiewicz, K. Mianowski, K. Banachowicz, and K. Czajkowski
    Sterownik manipulatora z chwytakiem wielopalczastym
    KAiR – Postępy Automatyki i Robotyki, vol. 16, no. 2, pp. 577–592, 2011
     [ | | URL ]
  4. T. Winiarski, K. Banachowicz, C. Zieliński, W. Szynkiewicz, K. Mianowski, and K. Czajkowski
    Chwytak wielopalczasty dla robota usługowego – sterowanie
    Pomiary Automatyka Robotyka, no. 6, pp. 52–57, 2011
     [ | | URL ]
  5. K. Mianowski, K. Banachowicz, T. Winiarski, C. Zieliński, W. Szynkiewicz, and K. Czajkowski
    Chwytak wielopalczasty dla robota usługowego – konstrukcja
    Pomiary Automatyka Robotyka, no. 5, pp. 46–52, 2011
     [ | | URL ]
  6. T. Kornuta and M. Pruchniak
    Utilization of GPU for real–time vision in robotics
    in Signal Processing: Algorithms, Architectures, Arrangements, and Applications, 2010, pp. 44–49
     [ | URL ]
  7. C. Zieliński and T. Winiarski
    General specification of multi-robot control system structures
    Bulletin of the Polish Academy of Sciences – Technical Sciences, vol. 58, no. 1, pp. 15–28, 2010
     [ | DOI | | URL ]
  8. T. Kornuta
    Zastosowanie wizyjnej struktury ramowej FraDIA w aplikacjach robotycznych. Część I: Struktura
    in XI Krajowa Konferencja Robotyki – Problemy Robotyki, 2010, vol. 175, no. 2, pp. 563–572
     [ | URL ]
  9. T. Kornuta
    Application of the FraDIA vision framework for robotic purposes
    in Proceedings of the International Conference on Computer Vision and Graphics, Part II, 2010, vol. 6375, pp. 65–72
     [ | URL ]
  10. C. Zieliński and T. Winiarski
    Motion Generation in the MRROC++ Robot Programming Framework
    International Journal of Robotics Research, vol. 29, no. 4, pp. 386–413, 2010
     [ | DOI | | URL ]
  11. T. Bem, T. Kornuta, and T. Winiarski
    Zastosowanie wizyjnej struktury ramowej FraDIA w aplikacjach robotycznych. Część II: Aplikacje
    in XI Krajowa Konferencja Robotyki – Problemy Robotyki, 2010, vol. 175, no. 2, pp. 573–582
     [ | | URL ]
  12. T. Winiarski and C. Zieliński
    Specification of multi-robot controllers on an example of a haptic device
    in Robot Motion and Control 2009 (LNCiS) Lecture Notes in Control & Information Sciences, 2009, vol. 396, pp. 227–242
     [ | DOI | | URL ]
  13. T. Winiarski and C. Zieliński
    Sterowanie interakcją manipulatora ze środowiskiem - część druga
    in X Krajowa Konferencja Robotyki – Problemy Robotyki, 2008, vol. 2, pp. 483–492
     [ | | URL ]
  14. T. Winiarski and C. Zieliński
    Sterowanie interakcją manipulatora ze środowiskiem - część pierwsza
    in X Krajowa Konferencja Robotyki – Problemy Robotyki, 2008, vol. 2, pp. 473–482
     [ | | URL ]