Co takhle naučit robota, aby sám zavíčkoval a uložil lahev? A pak aby naskládal mnoho lahví do přepravky a ještě ji polepil etiketami? Nebo by robot mohl složit nábytek, auto či hračky… To vše by se naučil pouhým pozorováním a posloucháním člověka, který před ním úkol udělá. Tedy naučil by se to sám, bez speciálního programu od programátora. Přesně takového průmyslového robota nyní vyvíjejí čeští výzkumníci, konkrétně Český institut informatiky, robotiky a kybernetiky ČVUT (CIIRC ČVUT) v Praze ve spolupráci s firmou Factorio Solutions, která se zaměřuje na digitalizaci. Robot, jejž vyvíjejí už od roku 2017, se dokáže naučit plnit zadanou úlohu pozorováním a napodobováním pohybů lidského pracovníka. A navíc bude rozumět slovům, která člověk při motorickém předvádění úkolu použije.
„Představte si, že chcete navrtat do desky větší množství děr, nanést do nich lepidlo a zastrčit do děr dřevěné kolíky. Jedna z možností by byla, že celou úlohu skutečně provedete, přičemž každou z akcí popíšete také jazykem. To by ale bylo velmi zdlouhavé. Proto je možné jednotlivé akce pojmenovat a následně jen pomocí ukazování zadat, kde danou akci provést. Robot bude vědět, že v určitých místech má vykonat úlohu, kterou se předtím na jednom místě naučil,“ popisuje řešitelka projektu Karla Štěpánová z CIIRC ČVUT.
Na začátku celého projektu bylo několik vědeckých článků, softwarové balíčky a první demonstrační úlohy na robotovi. Tomu napomohl grant od Technologické agentury ČR, který celou věc odstartoval. Nyní je na světě skutečný fyzický a fungující robot, respektive celé pracoviště v sídle ČVUT v pražských Dejvicích, s robotickou rukou, která úkony fyzicky dělá. V tomto navazujícím projektu už do hry vstupuje spolupráce s firmou Factorio Solutions, která společně s ČVUT toto kolaborativní pracoviště, tedy takové, v němž spolupracuje více softwarových a hardwarových systémů, navrhla.
Vědci v něm využili a rozšířili části softwaru vyvinutého v původním projektu jako například jazykový balíček pro zadávání instrukcí robotovi. Věnují se také tomu, jak robota naučit vykonávat jednotlivé pohyby, například nasadit víčko na lahev, a tuto schopnost zobecnit a umožnit ji tak i v jiném prostředí, tedy třeba když je k dispozici jiný typ lahve a závitu. Vědci navíc kombinují nejen jazykové instrukce, ale i instrukce pomocí gest, které jsou pro člověka při komunikaci naprosto přirozené. „Zkoumáme také, jak pojmenovat a robotovi zadávat jednotlivé akce, aby se řešení mohlo přenášet mezi různými pracovišti a úlohami,“ přibližuje Štěpánová.
Robot pohyb vidí jako trhaný film
Problémů, které museli vědci až do této fáze řešit, byla spousta. Jeden příklad zapeklitého úkolu popisuje Štěpánová na běžné situaci. „Pokud pozorujete člověka, který manipuluje s objekty, je vám jasné, který z objektů vzal a přemístil. Je to proto, že dokážeme v reálném čase zpracovávat obrovské množství informací, takže vidíme plynulý pohyb manipulovaného objektu, plynulý pohyb ruky a všech dalších objektů, které nás zajímají. Bohužel v umělém systému je skoro nemožné zpracovávat všechna data z kamer a dalších senzorů v reálném čase,“ vysvětluje výzkumnice.
Softwaru totiž nějakou dobu trvá základní zpracování a přenos dat, následně je třeba počítat s určitým časem na detekci pomocí neuronových sítí a tak dále. Kvůli tomu všemu dochází ke zpoždění a místo plynulého pohybu je vidět spíše něco jako velmi trhaný film. „V takovém filmu je ale sledování pohybů všech objektů velmi obtížné nebo skoro nemožné. Představte si, že najednou vám objekty poskakují po scéně, zakrývají se a vy nevíte, jestli vám objekt zmizel, protože ho někdo drží schovaný v ruce, nebo protože ho zrovna zakryl jiný objekt. To ilustruje, jak složitý problém to pro současné systémy je,“ připomíná Štěpánová.
Jak doplňuje další řešitel projektu Radoslav Škoviera, expert na robotické vnímání rovněž z CIIRC ČVUT, pro roboty je typickým problémem dosažení lidské zručnosti. Proto se v projektu nesnažili člověka nahradit, ale odlehčit mu od rutinních úkolů a lidskou práci tak zefektivnit. Robot tedy nebude člověka zastupovat, ale pomáhat mu. „Asistence spočívá v podávání nebo odkládání nástrojů nebo součástí výrobku a může být pasivní nebo aktivní. Při pasivní asistenci robot jednoduše vykonává lidské příkazy jako například: Podej mi vrtačku, ukliď všechno nářadí apod.,“ dává příklady Škoviera. Při aktivní asistenci robot sleduje kroky výrobního procesu, které člověk provádí, a snaží se předvídat nástroje a součásti, které bude člověk potřebovat v dalším kroku. Ty pak automaticky na pracovišti připraví.
Velkou výhodou pracovní stanice je komunikace pomocí řeči, díky tomu má člověk volné ruce k práci i při zadávání příkazů. Stejně tak odpovědi nebo dotazy robota se sdělují prostřednictvím syntetizované řeči. Člověk se tak nemusí dívat na monitor s uživatelským rozhraním, i když i ten je v případě potřeby k dispozici. „Pro člověka je tak práce nejen pohodlnější, ale také bezpečnější,“ podotýká Škoviera.
Výsledkem projektu je tedy funkční model pracovní stanice, který zahrnuje několik softwarových modulů, například modul pro rozpoznávání objektů, reprezentaci a porozumění scéně, pro rozhodování a podobně. Případně lze jednotlivé moduly použít samostatně pro jiné účely, například modul pro rozpoznávání objektů lze použít pro samostatný robotický systém.
Robot pomůže hlavně v malovýrobě
Ve finále by vědci chtěli nabídnout robota v takové fázi vyspělosti, že sám dokáže sestavit výrobek z jednotlivých komponent. Výsledná pracovní stanice se ale nemusí omezit jen na jednu aplikaci. Modul, který rozpoznává objekty, lze poměrně snadno naučit na nové objekty. Jak Škoviera upozorňuje, učení však probíhá offline a vyžaduje digitální model objektů. Takový modul se pak dá připravit pro různé výrobní úkoly.
„Primárně je naše řešení vhodné pro malou až střední výrobu – tam, kde se výrobní procesy často mění a kde se vzhledem k počtu výrobních dávek finančně nevyplatí používat ručně programované roboty. Zároveň je systém vhodný v aplikacích, kde je obtížné nebo finančně neefektivní nahradit člověka,“ uvažuje Škoviera. Dodává, že vyvinuté pracoviště je poměrně snadné také připojit k dopravníkovému pásu. V takovém případě může robot kromě asistence podávat výrobky z pásu a vracet je zpět. „Pokud by firma měla použít robota s rozšířenými schopnostmi, například by byl schopen sám provádět některé výrobní kroky, je poměrně snadné přidat nové řečové příkazy, které budou tyto schopnosti ovládat. Možnosti nasazení jsou tedy široké,“ je přesvědčen Škoviera.
Stáhněte si přílohu v PDF
Vědci se s robotem zaměřují také na úlohy jako sváření či lepení, což se může uplatnit například při výrobě letadel či aut. Člověk jen na začátku robotovi ukáže, v jakých bodech je potřeba výrobek navrtat, svařit či slepit. „Největší omezení jsou zatím v přesnosti vizuální detekce z kamer, takže uplatnění bude relevantní spíše pro úlohy, kde není potřeba submilimetrová přesnost. Obecně vidíme hlavní využití v malovýrobách s kolaborativními roboty, kde se výrobní postupy často mění a je potřeba být dostatečně flexibilní a jednoduše naučit robota novým úlohám,“ shrnuje Štěpánová.
Firma Factorio Solutions, jež pomáhala s návrhem a konstrukcí robotického pracoviště, se rovněž snažila vyřešit problémy, kterými v této úloze robotika trpí. Běžné programování pro tento úkol nestačilo, proto vymysleli způsob, jak převést lidský pohyb na pohyb robota. „K tomu jsme navrhli plánovač nesingulárních trajektorií, který robotem hýbe tak, aby se nepostavil do situace, ze které se nedokáže sám dostat,“ upřesňuje Martin Ron, vedoucí oddělení strojové inteligence ve Factorio Solutions. V současnosti firma používá poznatky z projektu ve svých komerčních zakázkách, například v robotizaci výroby polovodičů ve smíšeném provozu s lidskými pracovníky.
Článek byl publikován ve speciální příloze HN Automatizace a digitalizace.
