Реализация захвата объектов различной формы для манипулятора с шестью степенями подвижности

Эффективный и точный захват является одной из фундаментальных проблем современной робототехники. Захват часто используется в промышленной, сервисной, социальной и коллаборативной робототехнике.

Реализация захвата объектов требует учета их геометрических и физических свойств. Сюда входит такая информация, как форма, распределение массы, свойства материала и другие важные факторы. В то же время геометрическая форма объекта часто играет решающую роль при выборе способа захвата.

Для определения формы объектов удобнее всего использовать датчики глубины, такие как лазерный дальномер и глубинные камеры. Однако на практике оснащение рабочего пространства такими датчиками может значительно увеличить производственные затраты. В то же время, в некоторых случаях задача распознавания объектов различной геометрической формы может быть решена с помощью монокулярных камер. Для определения формы объектов с помощью монокулярного зрения могут использоваться как классические методы компьютерного зрения, так и методы глубокого машинного обучения, а также гибридные методы.

Одним из трендов современной робототехники является разработка коллаборативных роботов, обладающих сравнительно небольшой стоимостью. Особенно актуальна данная проблема для малого и среднего бизнеса, а также сферы образования. Важно отметить, что удешевление стоимости компонентов для сборки таких роботов неизбежно влечет к потере точности выполняемых операции. Решением данной задачи может стать разработка новых программных решений, адаптированных для таких роботов.

Целью настоящей работы является реализация захвата объектов различной формы для шестиосного последовательного манипулятора на базе платформы Arduino, оснащенного монокулярной камерой и учитывающая особенности бюджетных моделей манипуляторов.

Работа состоит из введения, пяти глав, заключения и списка литературы. В первой главе приведен обзор литературы по теме работы. Во второй главе представлено описание робота-манипулятора с шестью степенями свободы, предназначенного для захвата объектов. В третьей главе представлен анализ различных методов решения задачи обратной кинематики для данного манипулятора. В четвертой главе приводится описание разработанного алгоритма захвата объектов. В пятой главе описаны принципы программной реализации разработанных алгоритмов и приведены результаты апробации разработанных алгоритмов в лабораторных и реальных условиях.

ВВЕДЕНИЕ ...................................................................................................  4

1.1   Обзор методов выделения объектов на изображении .......................  6

1.2     Сегментация объекта на изображении с помощью классических методов компьютерного зрения ..............................................................................  8

1.3   Сегментация объекта на изображении с помощью машинного обучения   9

1.4    Методы решения прямой и обратной задачи кинематики ..............  10

1.7    Реализация захвата объектов ...........................................................  12

1.8    Калибровка камеры ..........................................................................  14

2.    РОБОТ-МАНИПУЛЯТОР НА БАЗЕ ПЛАТФОРМЫ ARDUINO .......  16

2.1    Описание робота-манипулятора ......................................................  16

2.2     Функциональная схема сборки.................................................. робота       19

2.3    . Расчет материальных затрат ..........................................................  20

3.  РЕШЕНИЕ ПРЯМОЙ И ОБРАТНОЙ ЗАДАЧИ КИНЕМАТИКИ .......  22

3.1    Прямая задача кинематики ..............................................................  22

3.2    Геометрический подход в решении обратной кинематики .............  25

3.3    Метод промежуточных точек в решении обратной кинематики ....  25

4.     ОБНАРУЖЕНИЕ И ЗАХВАТ ОБЪЕКТОВ С ПОМОЩЬЮ

КОМПЬЮТЕРНОГО ЗРЕНИЯ ...................................................................  28

4.1    Сравнение способов сегментации объекта на изображении ...........  28

4.2     Обучение модели нейронной сети ....................................................  31

4.4     Преобразование пикселей в координаты робота ...........................  34

4.5    Алгоритм определения точек захвата у объекта различной формы  35

5.    ПРОГРАММНАЯ РЕАЛИЗАЦИЯ ЗАХВАТА ОБЪЕКТОВ РАЗЛИЧНОЙ

ФОРМЫ .......................................................................................................  38

5.1    Функциональная схема реализации захвата объекта ......................  38

5.2    Программная реализация захвата объектов.................................... 39

5.3    Апробация захвата объектов ...........................................................  41

ЗАКЛЮЧЕНИЕ ...........................................................................................  44

СПИСОК ИСПОЛЬЗОВАННОЙ ЛИТЕРАТУРЫ 45

ПРИЛОЖЕНИЕ 1. Программный код для контроллераАМшпо Mega 2560.51

ПРИЛОЖЕНИЕ 2. Программный код, реализующий управление манипулятором и поиск точек захвата................................................................................................. 56

ПРИЛОЖЕНИЕ 3. Программный код, реализующий определение точек захвата для объектов сложной формы............................................................................. 61

1.    Абламейко С.В., Лагуновский Д.М. Обработка изображений: технология, методы, применение. Учебное пособие. М.: Амалфея, 2000. 18-44 стр.

2.    Труфанов М.И., С.В. П. Способ обнаружения препятствий перед транспортным средством с использованием бинокулярной системы технического зрения.

3.    Усилин С.А. Алгоритмическое развитие Виола-Джонсовских детекторов для решения прикладных задач распознавания изображений. М.. 2017.

4.    Ballard D.H. Generalizing the Hough transform to detect arbitrary shapes // Pattern Recognition 13, 2, April 1981.

10.    Bileschi S.M. StreetScenes: Towards scene understanding in still images. PhD thesis. Citeseer. 2006.

5.    Canny J. Computational Approach To Edge Detection, IEEE Trans // Pattern Analysis and Machine Intelligence, No. 8(6), 1986. pp. 679-698.

12.   Filipowicz A. Driving School II. Video Games for Autonomous Driving. 2016.

13.    Geiger A., Lenz P., Urtasun R. Are we ready for autonomous driving the kitti vision benchmark suite. // Conference on Computer Vision and Pattern Recognition (CVPR). 2012.

6     Hough P. Method and means for recognizing complex patterns. U.S. Patent 3,069,654. December 18, 1962.15. Kalman R.E. A new approach to linear filtering and prediction problems // Journal of Basic Engineering 82 (1), 1960. pp. 35-45.

7     Karla Brkie. An overview of traffic sign detection methods. Zagreb: Department of Electronics, Microelectronics, Computer and Intelligent Systems. Faculty of Electrical Engineering and Computing.

8     LeCun Y., Boser B., Denker J.S., Henderson D., Howard R.E., Hubbard W., Jackel L.D. Backpropagation Applied to Handwritten Zip Code Recognition, Neural Computation, 1(4):541-551, Winter 1989.

9     Lienhart R., Kuranov A., Pisarevsky V. Empirical Analysis of Detection

10  Kari Myers. A Low-Cost Embedded Computer Vision System for the Classification of Recyclable Objects // Conference: Soft Computing Research Society and Congress on Intelligent Systems (CIS) 2020 - p. 110-123.

11  Сафин Р.Н. Эксперименты по калибровке камер мобильного робота при наличии аппаратных дефектов в системе технического зрения / Лавренов Р.О., Саха С.К., Магид Е.А. // Научно-методический и информационный журнал Вестник НЦБЖД. -    2018. -    №1(35).                               - с. 129-135.

12   Дэвид Форсайт, Жан Понс. Компьютерное зрение. Современный подход = Computer Vision: A Modern Approach. — М.: «Вильямс», 2004. - стр. 33-44.

13  Горячкин Б. C., Китов М. А. Компьютерное зрение. Журнал E-Scio -2020 - с.       111-140.

14   Tsoy T., Sagitov A., Magid E. Experiences of Robotics students in Machine Vision course being taught in a foreign language: comprehension, self-efficiency, and active learning strategies improvement // International Conference on Artificial Life and Robotics (ICAROB 2019) (Oita, Japan; 10-12 January 2019) - p. 128-131.

15  Sultanov R., Sulaiman S., Li H., Meshcheryakov R., Magid E. A review on collaborative robots used in industrial and service sectors // Siberian Conference on Control and Communicationa (SIBCON 2022) - p. 1-7