Whitepaper

Het zijn spannende tijden in de industrie en met Tollenaar Industries staan we daar middenin. De (r)evolutie van Industrie 4.0 is in volle gang, gedreven door de markt die almaar hogere eisen stelt en met complexere vragen komt. Producten worden bij toenemende variatie in kleinere series geleverd, en dat in steeds kortere tijd. Daarbij moet de kwaliteit gewaarborgd blijven en staat de kostprijs continu onder druk, want de wereldwijde concurrentie wordt almaar heftiger.

Smart Industry

Producenten en toeleveranciers spelen hierop in met automatisering, robotisering en digitalisering – in Nederland heet dat Smart Industry. Flexibele automatisering is het toverwoord, om altijd te kunnen voldoen aan de uitdagende, onvoorspelbare klantbehoefte. Daarvoor zijn robots nodig die meer kunnen dan alleen strak voorgeprogrammeerde taken uitvoeren. Dergelijke intelligente robots moeten snel, zonder lange omsteltijden, verschillende producten kunnen verwerken in ongestructureerde omgevingen.

De Heilige Graal

Cruciaal is dat deze robots niet alleen de gewenste bewegingen uitvoeren en uiteenlopende producten kunnen pakken, maar ook zicht hebben op die producten en hun omgeving om te kunnen zien hoe ze dat precies moeten doen. Naast motion control en gripper hebben robots vision nodig. Met hulp daarvan kunnen ze bijvoorbeeld ongesorteerde producten uit een box of van een pallet pakken – dat heet bin picking en het is de ‘heilige graal’ voor flexibele robotisering.

Robot vision

De automatisering voor bin picking en andere vormen van flexibele productie waarbij gebruik wordt gemaakt van 3D-vision noemen we vision guided robotics. Vanuit onze visie op de toekomst van flexibele productieautomatisering hebben we daar bij Tollenaar Industries in 2016 een nieuwe dochteronderneming voor opgericht, Teqram. Teqram voert automatiseringsprojecten uit voor bin picking en vision guided robotics en ontwikkelt daarvoor eigen oplossingen: besturing, softwareplatform en een compleet robotsysteem.

Op deze website willen wij onze visie op vision guided robotics presenteren en het belang daarvan voor de Nederlandse (en West-Europese) industrie demonstreren.

Robotica

Robot Teqram

De opkomst van robots

Het fenomeen robot is al bijna 100 jaar oud en heeft bij het grote publiek vooral bekendheid gekregen door science fiction films. In de (automobiel)industrie verschenen de eerste robots in de jaren zestig en in die tijd kwam ook de ruimtevaart op. Daar werden al snel robots ingezet voor op afstand bestuurde (tele-operated) handelingen in ruimtestations en voor autonome voertuigen op de maan.

Intussen zijn robots nu ook gemeengoed in het huishouden (stofzuigers) en de medische wereld (operatierobots) en worden ze gezien als mogelijke oplossing voor het tekort aan ‘handen aan het bed’ in de zorg.

Programmeerbare machine

Een robot is een programmeerbare machine die verschillende taken kan uitvoeren met hulp van diverse sensoren en actuatoren. De uitvoering kan uiteenlopen van een statische manipulator (robotarm) of een mobiele versie met bijvoorbeeld wielen, tot een humanoïde robot met ‘armen’, ‘benen’, ‘hoofd’ en ‘hersenen’, waarvoor kunstmatige intelligentie wordt ontwikkeld. Vaak is de robot voorzien van een of meerdere grippers om objecten te kunnen manipuleren.

Toepassing in de industrie

De industrie zet robots in voor de automatisering van uiteenlopende productietaken die voorheen werden uitgevoerd door mensen. Die vervanging van menselijke door gerobotiseerde arbeid gebeurt op basis van drie redenen:

  • Ergonomisch
    De opdrachten zijn vuil of lichamelijk erg belastend. Ook saaie en repeterende handelingen vallen hieronder.
  • Kwaliteit
    Robots kennen geen slechte dag. Een robot werkt dag in dag uit met de hoogste nauwkeurigheid en garandeert een kwaliteitsstandaard ongeacht de productiehoeveelheid.
  • Besparingen
    Het automatiseren van productieprocessen kan ook om economische redenen gedaan worden. Bijvoorbeeld door hoge arbeidskosten of het gebrek aan geschoolde werknemers.

Naast de robotarm, voor bijvoorbeeld lasautomatisering in de automobielindustrie, is een bekende uitvoering de deltarobot, die pick & place-handelingen verzorgt voor het verpakken van producten in food en non-food.

Ontwerp

Bij het ontwerpen van industriële robots is de ‘vrijheidsgraad’ een leidend begrip. Elke robot kent een aantal vrijheidsgraden, translaties en/of rotaties (ook wel aangeduid als assen), die het bewegingsbereik bepalen van een bepaald punt. Dat is bijvoorbeeld het punt waar een gripper op een robotarm is gemonteerd.

De vrijheidsgraden worden, elk afzonderlijk of gecombineerd, aangedreven door actuatoren, vaak elektromotoren. De positioneringsnauwkeurigheid, snelheid en kracht waarmee de actuatoren werken worden bepaald door de robotbesturing.

Besturing

Bin-PickingDe besturing van een robot werkt op software en wordt gevoed door de informatie van sensoren. Die sensoren geven informatie over de vrijheidsgraden, zoals posities en oriëntatie van een robotarm, maar bijvoorbeeld ook over de kracht die een gripper uitoefent. Op basis van deze informatie kan de besturing de actie aanpassen, waarna de sensoren het resultaat van die actie laten zien. Zo werkt de regeltechniek voor de robot met terugkoppeling (feedback). In veel gevallen is (visuele) informatie over de te manipuleren objecten onontbeerlijk; denk aan producten die ongesorteerd worden aangevoerd – bin picking.

Vision

Machine vision

Beeldinformatie is te verkrijgen met behulp van vision. Het gaat om beelden die worden verkregen met behulp van een digitale camera (een camera met beeldsensor opgebouwd uit pixels) en vervolgens met behulp van beeldverwerkingssoftware worden geanalyseerd. Voor het bepalen van de vorm en oriëntatie van objecten volstaat het gebruik van zichtbaar licht. Andere delen van het elektromagnetische spectrum kunnen uiteraard ook waardevolle informatie opleveren. Deze techniek noemt men computer vision en bij industriële toepassingen machine vision.

Camera

EasyEye cameraDe optiek en de beeldsensor (afmetingen en aantal pixels) bepalen de resolutie van de camera: het aantal pixels per cm2 lengte x breedte van het object, oftewel de mate van detail van de opname. De optiek, het samenstel van lenzen, diafragma, autofocus, enzovoort, bepaalt de scherptediepte van de camera: tot hoe dichtbij en van hoe veraf scherpe opnames mogelijk zijn. Met één camera kan van een stilstaand object slechts één opname worden gemaakt, een platgeslagen beeld van één aanzicht.

3D-Vision

Voor het creëren van een driedimensionaal beeld zijn één of meer camera’s nodig, die samen een 3D-visionsysteem vormen.

3D-VisionAls de afmetingen van het af te beelden object niet bekend zijn, kan de exacte positie niet uit de beelden worden afgeleid. Daarvoor moet aanvullend de afstand tot het object worden bepaald. Dat kan met de time-of-flight-methode, waarbij wordt gemeten hoe lang het duurt voor uitgezonden led- of laserlicht terugkeert na reflectie door het object. In een time-of-flight-camera is deze meting geïntegreerd: naast lengte en breedte wordt ook diepte (afstand) in een beeld bepaald.
3D-vision is ook mogelijk met triangulatie: een laser voert een lijnscan uit op het object terwijl dat beweegt, waardoor een camera de lijn onder een andere hoek kan waarnemen als een contour van het te meten object.

Door combinatie van lijnscans ontstaat een reconstructie van het object in de vorm van een puntenwolk. In plaats van het object kan ook het meetsysteem, camera + scanner, bewegen.

Opname

EasyFlexibleFrameworkEen visionsysteem omvat naast de camera een zogeheten frame grabber, die ervoor zorgt dat er opnamen worden gemaakt en opgeslagen in een (werk)geheugen. Dat gebeurt met een bepaalde frame rate, het aantal beelden per seconde, dat typisch in de orde van enkele tientallen ligt. Vaak vinden in de frame grabber al bewerkingen op het beeld plaats, zoals compressie. Dan worden niet de ruwe data, alle informatie van alle pixels, opgeslagen, maar worden – vanwege de altijd beperkte opslag- en verwerkingscapaciteit – de beelden meteen gecomprimeerd, met weglating van niet-relevante informatie. Compressieformats zijn onder meer MPEG2 en JPEG.

Beeldanalyse

Voor de analyse van de beelden zijn uiteenlopende softwaretools beschikbaar die algoritmes voor beeldverwerking bevatten. De eerste stap is vaak filtering van het beeld, om ruis te onderdrukken, contrast aan te scherpen of te corrigeren voor specifieke belichtingsomstandigheden. Oppervlakte-eigenschappen van het object, zoals ruwheid of textuur, kunnen hierbij van invloed zijn, omdat ze de reflectie van licht beïnvloeden. Ook op kleur kan worden gefilterd, bijvoorbeeld om bepaalde onderdelen in het beeld te onderscheiden.

Vervolgens is het de kunst in het beeld features van het object te herkennen. Belangrijk is bijvoorbeeld ‘edge detection’, voor het bepalen van de vorm. Maar ook patroonherkenning is mogelijk, van patronen die onderdeel zijn van het object of erop aangebracht zijn in de vorm van bijvoorbeeld een barcode of QR-code voor logistieke doeleinden.

Uiteindelijk kan herkenning van een object, en bepaling van de exacte positie en oriëntatie, plaatsvinden door vergelijking met referentiebeelden. In het geval van kwaliteitscontrole volgt dan nog een goedkeur/afkeur op grond van de afwijking tussen referentie en meting.

Voor de real-time verwerking van beelden is snelheid cruciaal; dat zit hem in de rekenkracht en geheugencapaciteit van de gebruikte processors en in de snelheid en slimheid van de algoritmes.

Systeemintegratie

Specificatie

Het implementatieproject voor een vision guided robotics systeem begint met probleemdefinitie en specificatie.

De belangrijkste elementen in de specificatie zijn:

  • Producteigenschappen
    massa, vorm, oppervlaktestructuur, structuur/textuur, dimensies, toleranties, enzovoort
  • Configuratie van de productielijn
    waar de robot ingepast moet worden
  • Omgeving
    beschikbare ruimte, licht, stof, enzovoort
  • Verwerkingssnelheid
  • fouttolerantie / max. foutenpercentage
Vision guided robotics

Daarnaast kent het implementatietraject ook specificaties in termen van budget, tijdpad, beschikbare interne projectcapaciteit en meer.

Ontwerp

Op grond van de specificaties wordt een ontwerp gemaakt van het complete systeem. De output van de beeldverwerking (positie en oriëntatie van een object in het geval van bin picking) geldt als input voor de robotbesturing (aansturing van assen en grippers).

Waar mogelijk worden – met het oog op kosten, doorlooptijd en betrouwbaarheid – bestaande componenten (robots, camera’s, andere sensoren, besturings-/verwerkingseenheid, software) geselecteerd. De nadruk ligt op de integratie van ‘proven technology’ tot een goed werkend systeem. Veel robotleveranciers bieden visionsystemen aan die geïntegreerd kunnen worden op hun robots.

Installatie

In de laatste projectfase, die van installatie en programmering, wordt het geïntegreerde systeemontwerp opgebouwd en afgestemd op de feitelijke toepassing en productieomgeving.

De hardware en de besturingssoftware worden ingeregeld en waar nodig gekalibreerd. De beeldverwerkingssoftware wordt geparametriseerd op de exacte condities waaronder de opnames worden gemaakt. Zo nodig moet het systeem eerst worden ‘ingeleerd’ met behulp van bekende, exact gedefinieerde testsituaties. Zijn de resultaten gevalideerd aan de hand van de specificaties, dan kan het systeem worden opgeleverd.

Problemen en oplossingen

Veiligheid

Object ScannenBij vision guided robotics is net als bij elke andere robottoepassing veiligheid een belangrijk aandachtspunt. Traditioneel werden industriële robots achter een hek geplaatst en schakelden ze automatisch af bij opening van het hek of een andere verstoring. De trend is dat industriële robots meer en meer in de nabijheid van mensen opereren of zelfs met mensen samenwerken, bijvoorbeeld voor de handling van zware objecten. De robots moeten dan intrinsiek veilig zijn: hun besturing reageert op de signalen van sensoren die een ongewenste interactie met een persoon kunnen detecteren.

Denk aan krachtsensoren, maar ook weer aan vision. Bij vision guided robotics kan het gebruikte visionsysteem daarbij een rol spelen, maar waarschijnlijk is aanvullende vision nodig om de wijdere omgeving te monitoren. Voordeel is in ieder geval dat ervaring met de inzet van vision aanwezig is.

Omgevingscondities

Een ander issue bij vision guided robotics zijn de omgevingscondities waaronder de robot met visionsysteem zijn werk moet verrichten. Een grote variatie (bijvoorbeeld de mate waarin daglicht een directe inwerking heeft) kan nadelige effecten hebben op de robuustheid van het visionsysteem.

In veel industriële omgevingen is de verlichting matig en daardoor is de belichting van het te meten object niet optimaal. Dat bemoeilijkt de analyse van de beelden. Daarbovenop is in een industriële omgeving vaak sprake van vervuiling, bijvoorbeeld als gevolg van voorafgaande bewerkingen van de betreffende producten (spanen, oliefilm, enzovoort). Ook dat maakt de beeldverwerking er niet eenvoudiger op. Hoe beter de omgevingscondities onder controle zijn, hoe groter de kans op een succesvolle toepassing van vision.

Robuuste Software

Bovengenoemde oorzaken maken de robuustheid van de beeldverwerkingssoftware een grote uitdaging.

Het begint – naast uiteraard de keuze van de geschikte hardware – met de selectie van het juiste softwarepakket, toegesneden op de betreffende toepassing. Vervolgens moet de programmering van de visionapplicatie zorgvuldig plaatsvinden. Daarbij gaat het onder meer om het bepalen van de juiste drempelwaardes (discrimination levels) bij filtering van de beelden. Zodat het beeld van ruis wordt ontdaan en ‘helderheid’ krijgt, zonder dat er relevante informatie wordt weggegooid. Ook moeten de parameters in de software bij het inleren van het visionsysteem zo worden ingesteld dat variaties in de omgevingscondities kunnen worden verwerkt.

Investeringsniveau

Industriéle robotNaast technische uitdagingen kunnen andersoortige barrières een succesvolle invoering van vision guided robotics belemmeren. Psychologisch gaat het dan om de weerstand tegen verandering en eventueel het ‘wegautomatiseren’ van handwerk.

Daarnaast wordt een grote investering gevraagd, in tijd zowel als geld, die niet nodig is bij voortzetting van de (laagproductieve) ‘business as usual’, met meer handwerk. Bij een eventuele investeringsbeslissing mag de software niet worden onderschat: naast de licentiekosten voor gangbare pakketten gaat het vooral om de inspanning die het programmeren en inleren van het totale systeem vergt voor een specifieke toepassing.

Besluit en toekomst

Toepassingen

Vision guided robotics kan toepassing vinden bij uiteenlopende industriële bewerkingen. Voorbeelden uit de metaal- en kunststofbewerking zijn het beladen en ontladen van bewerkingsmachines, de gereedschapwissel op diezelfde machines, het lassen of solderen van werkstukken, het kanten (buigen) van plaatmateriaal, enzovoort. Zoals eerder gemeld, bin picking geldt als de ‘heilige graal’: het met hoge snelheid kunnen selecteren en oppakken van producten die ongesorteerd worden aangevoerd, dat wil zeggen in verschillende varianten en met elk een willekeurige positie en oriëntatie. Deze toepassing stelt hoge eisen aan het vision guided robotics systeem.

Voordelen

De voordelen van de inzet van vision guided robotics zijn divers. De techniek brengt uitkomst als menselijke arbeid niet beschikbaar is of niet gekwalificeerd voor een bepaalde taak, of te duur is. De flexibiliteit in het productieproces gaat omhoog omdat meerdere producten met één robotprogramma verwerkt kunnen worden; het systeem kan immers verschillende producten herkennen en verwerken met universele grippers. Er is dus minder tooling nodig; desgewenst kunnen grippers snel worden uitgewisseld.

Flexibele automatisering met vision guided robotics maakt het tevens eenvoudiger om meerdere productiestappen te integreren op één werkstation. Dit alles verhoogt de productiviteit. Beter zicht op product en productie biedt bovendien nieuwe mogelijkheden voor kwaliteitsbewaking; denk aan visuele ingangs- of uitgangscontrole. Dat verbetert natuurlijk de kwaliteit.

Toekomst

De komende tijd zal vision guided robotics alleen maar meer toepassing gaan vinden in de industrie. Meer productiestappen zullen zich lenen voor robotisering en vision is daarbij vaak onmisbaar. Uiteraard zal er innovatie op hardwaregebied plaatsvinden, waardoor de systemen beter gaan presteren en voor meer toepassingen geschikt worden.

MagneetgripperMaar de belangrijkste vernieuwingen zullen toch liggen op het gebied van software en big data, de technologie voor het verwerken van grote hoeveelheden data, zoals uit beeldverwerking. Voeg daarbij de vooruitgang op het gebied van autonome voertuigen, die het bereik van vision guided robotics letterlijk en figuurlijk kan vergroten.

Kortom, de toekomst voor vision guided robotics ziet er rooskleurig uit. Dit geldt ook voor de bedrijven die met deze technologie werken.