Технологии машинного зрения в промышленности

Технологии технического зрения позволяют машинам и роботам приспосабливаться к быстро эволюционирующим условиям современных производственных линий.

Для того чтобы роботы и другие системы промышленной автоматизации могли осмысленно взаимодействовать с объектами, в производстве которых они принимают непосредственное участие, а также были способны ловко и безопасно передвигаться в производственных помещениях, они должны иметь возможность видеть и понимать окружающую обстановку. Недорогие и высокопроизводительные микропроцессоры в связке с распознающими глубину оптическими датчиками и надежными программными алгоритмами уже сегодня воплощают в реальность то, о чем специалисты в сфере адаптивной промышленной автоматизации долгие годы могли только мечтать.

Автоматизированные системы в условиях производственных линий способны работать, не чувствуя усталости, а также быстрее и точнее чем люди. Однако их успех традиционно основывается на обработке деталей, поступающих в строго определенном фиксированном положении, что значительно повышает сложность производственного процесса. И любое отклонение в положении или ориентации детали приводит к сбоям или даже остановке всей линии. Люди используют свои глаза (и другие органы чувств) и мозг для осознанного перемещения в окружающем мире.

Поэтому роботы и другие системы промышленной автоматизации должны уметь делать то же самое. Для успешного приспособления к условиям современных производственных линий они могут использовать камеры, специализированные видеопроцессоры и различные программные алгоритмы. Кроме того, преимущества компьютерной обработки визуальной информации могут быть использованы и в других частях логистической цепочки, таких как инвентарный учет запасных частей и готовой продукции.

Исторически сложилось так, что технологии с элементами машинного или технического зрения лишь изредка использовались в сложных и очень дорогих системах. Однако современные достижения в направлении снижения стоимости и потребляемой мощности, а также повышения производительности цифровых интегральных схем открывают путь широкому распространению технологий технического зрения в сфере автоматизированного производства.

Конечно же, процесс практического внедрения этих перспективных систем все еще сопровождается различными проблемами и сложностями, но их решение стало как никогда легким, быстрым и экономически эффективным. Кроме того, одним из ключевых факторов в истории успеха этой бурно развивающейся технологии стал промышленный альянс, сформированный ведущими поставщиками соответствующей продукции и услуг. Одним из членов альянса является компания Microscan входящая в группу Спектрис. Компания производит линейку высокопроизводительных и высокоскоростных устройств считывания штрих-кодов, системы технического зрения и освещения.

Построение полноценной системы невозможно без качественной IT инфраструктуры предприятия. В составе группы компаний Spectris есть производитель Red Lion Controls который зарекомендовал себя в 4 сферах куда вошли решения по человеко-машинному интерфейсу, процессы измерения и контроля, преобразование и контроль сигналов, а также цифровые измерения и управление.

Обращайтесь в российское представительство компании Спектрис и получите решения в сфере автоматизации производства «под ключ».

Инвентарный учет

На упаковочной линии фармацевтического предприятия управляемые системами машинного зрения роботы очень быстро берут шприцы на конвейерной ленте и помещают в упаковку.

Инновационные системы технического зрения способны значительно лучше отслеживать движение продукции по производственной линии, а также существенно повысить эффективность использования складских помещений. Штрих-коды и метки радиочастотной идентификации тоже помогают отслеживать перемещение и маршрут движения материалов, но они бессильны в вопросах выявления поврежденных или бракованных изделий.

Непрерывное развитие и усовершенствование оптических датчиков и других компонентов систем захвата и анализа изображений способствуют созданию эффективных и высокопроизводительных систем интеллектуального контроля движения сырья и готовой продукции, которые, в свою очередь, лягут в основу следующего поколения систем инвентарного учета.

Камеры высокого разрешения уже обеспечивают детальное изображение обрабатываемых изделий и инвентарных меток, но качественный анализ этих изображений, идентификация содержащихся в них объектов и определение связанных с ними идентификационных меток, а также контроль с их помощью качества выпускаемой продукции требуют сложного программного обеспечения, способного производить вышеуказанные операции в режиме реального времени.

«В режиме реального времени» может означать необходимость проведения оценки десятков элементов в течение одной секунды, при этом многие задачи будут требовать параллельного выполнения. Мгновенная проверка качества может использоваться для выявления поврежденных изделий и автоматического внесения в инвентарную базу данных дополнительных сведений о каждом объекте и детальной информации о выявленных проблемах. Применение технического зрения для учета, отслеживания и управления имеющимися запасами может обеспечить высокую эффективность без превышения допустимых затрат за счет интеграции результатов анализа отдельных кадров видеопотока, проводимого в режиме реального времени.

Автоматизированная сборка

Встроенное техническое зрение является ключевой технологией для производственных площадок многих предприятий, в первую очередь при работе с сырьем и проведении сборочных операций. Камеры используются для получения изображений, например, деталей или направлений. Полученная в ходе анализа этих изображений информация поступает промышленному роботу, что позволяет ему выполнять различные функции, например, взять с конвейера и разместить в нужном месте компонент будущего изделия.

Как упоминалось ранее, промышленные роботы по своей природе обеспечивают производителю такие преимущества автоматизации, как масштабируемость и повторяемость. В свою очередь, оснащение производственной линии системой технического зрения позволяет этим машинам стать более гибкими. Один и тот же робот может использоваться для работы с различными деталями, так как получает возможность увидеть, с чем конкретно он имеет дело, и соответствующим образом адаптироваться.

На предприятиях системы технического зрения также могут использоваться при проведении высокоточной сборки. Камеры могут «создавать изображение» составных частей уже после того, как их взяла механическая рука, с целью внесения небольших поправок в положение робота, компенсирующих несовершенство механики и изменение места захвата детали манипулятором.

Процесс доставания нужных деталей из контейнеров также значительно упростился. С помощью камеры среди множества деталей определяется точное местонахождение одной, ориентация которой подходит для захвата роботизированной рукой. Камера технического зрения здесь выполняет важную роль.

Кроме того, все большее признание и распространение получает 3-х мерное техническое зрение, способное распознавать глубину картинки и обеспечивающее роботов дополнительной полезной информацией об окружающем их пространстве. Недорогие системы трехмерного машинного зрения начинают использоваться в различных приложениях, начиная с роботизированного извлечения деталей из контейнера и заканчивая высокоточной производственной метрологией.

Производительности видеопроцессоров последнего поколения хватает для качественной обработки огромных массивов данных и выполнения сложных алгоритмов, необходимых для получения информации о глубине и быстрого принятия решений. Трехмерная визуализация позволяет выполнять задачи обработки визуальной информации, которые ранее были недоступны для систем с двумерным зрением. Информация о глубине может быть использована, например, для управления роботами, разбирающими хаотично разбросанные в контейнере детали.

Автоматизированный контроль

 

Дополнительным преимуществом технического зрения в системах управления роботизированными механизмами является возможность использования одних и тех же изображений для выполнения и задач непрерывного контроля деталей. Таким образом, роботы не только становятся более гибкими, но и повышают качество результатов своей работы. При этом стоимость достижения результата также снижается, так как системы технического зрения могут выявлять, предсказывать и предотвращать появление «заеданий, застреваний» и других нежелательных явлений.

Если же необходимо достичь высокой точности движений робота, то применяется метод под названием визуальный контроль сервопривода. Он заключается в использовании зафиксированной на самом роботе или рядом с ним камеры, которая обеспечивает непрерывную визуальную обратную связь (в отличие от единственного изображения на начальном этапе процесса) с контроллером машины, выполняющим коррекцию небольших ошибок в движении.

Помимо робототехники техническое зрение нашло успешное применение в системах автоматизированного контроля. Оно используется для выполнения таких задач, как проверка наличия необходимых компонентов, чтение текста и штрих-кодов, измерение размеров, проверка выравнивания, а также выявление дефектов. Исторически сложилось, что задача обеспечения качества чаще всего выполнялась путем случайного отбора образцов на производственной линии для последующей проверки вручную и дальнейшей экстраполяции результатов на крупные партии произведенной продукции с помощью методов статистического анализа.

Такой подход допускает большую вероятность застревания дефектных деталей на различных участках производственной линии или отгрузки некачественной готовой продукции. С другой стороны, автоматизированный контроль может обеспечить 100-процентную гарантию качества. А с учетом последних достижений в области повышения производительности обработки визуальных данных автоматизированный визуальный контроль фактически перестал быть горлышком в бутылке производственного процесса.

Система технического зрения является лишь одной из частей многоступенчатой ​​производственной головоломки, а ее хорошая работа требует синхронизации с другим оборудованием и протоколами ввода/вывода. Стандартный сценарий контроля подразумевает отделение дефектных деталей от качественных по мере их перемещения по производственной линии.

Все детали перемещаются по конвейерной ленте с известным фиксированным расстоянием между камерой и эжектором, который удаляет дефектные детали. По мере перемещения деталей местоположение каждой из них четко отслеживается и коррелируется с результатами анализа изображения, чтобы гарантировать правильное удаление эжектором брака.

Cуществует множество методов синхронизации процесса сортировки с системами технического зрения, например, временные отметки с заранее известными задержками и датчиками приближения, которые отслеживают количество проходящих мимо них деталей. Тем не менее, наиболее распространенный метод подразумевает применение энкодеров.

При прохождении деталью точки контроля датчик приближения обнаруживает ее присутствие и активирует камеру. После определенного количества оборотов энкодера эжектор отсортировывает деталь в зависимости от результатов анализа ее изображения.

Узким местом вышеуказанного метода является то, что классификация деталей и взаимодействие с системой удаления брака требуют от системного процессора непрерывного отслеживания показаний энкодера и датчиков приближения. Такая многофункциональность может привести к усложнению программной архитектуры, появлению немалого количества задержек и сбоев, увеличить риск ошибок и уменьшить пропускную способность всей производственной линии.

Современные высокопроизводительные процессоры, такие как программируемая пользователем вентильная матрица, позволяют решить вышеуказанные проблемы с помощью четкой аппаратной синхронизации входящих и исходящих сигналов с результатами визуального контроля.

Переменное значение задержки между отправкой и возвратом отраженного сигнала коррелирует с изменяющимся расстоянием между датчиком и объектом.

Промышленная безопасность

Люди по-прежнему остаются ключевой составляющей современной автоматизированной производственной среды и способны выполнять настройку всех процессов «на лету». Но теперь они должны взаимодействовать с роботами, которые не ограничены барьерами безопасности, а разделяют рабочее пространство со своими коллегами-людьми. Техническое зрение в промышленности и машиностроении играет важную роль в обеспечении безопасности.

Сохранение высокого уровня промышленной безопасности в этом контексте становится серьезной проблемой, так как цели повышения гибкости и обеспечения безопасности производственного процесса очень часто противоречат друг другу. Система, размещенная в общем рабочем пространстве, должна иметь более высокий уровень восприятия имеющихся объектов, таких как другие роботы, детали и человеческие существа.

Трехмерные камеры помогают создавать точную карту окружающей робота обстановки. Эта возможность обеспечивает надежное обнаружение людей в зонах с различной степенью опасности, позволяет адаптировать траектории и скорость движения для улучшения взаимодействия и предотвращения столкновений.

Продвинутые системы помощи водителю, использующие техническое зрение, уже не один год применяются в автомобилях, однако первые системы промышленной безопасности на основе этой технологии только недавно начали появляться на рынке. Они предлагают интеллектуальный и гибкий подход к обеспечению промышленной безопасности, необходимый для обновленной формы автоматизации производства.

Измерение глубины

Как уже упоминалось, в производственной среде 3D камеры обладают значительными преимуществами по сравнению со своими 2D предшественницами. Существует несколько альтернативных технологий измерения глубины, каждая из которых имеет свои сильные и слабые стороны, а также стандартные варианты применения. При этом самой распространенной из них в настоящее время является стереоскопическое зрение, объединяющее два двумерных зрительных датчика.

В пассивном (то есть, использующем исключительно внешнее освещение) способе измерения расстояния до объекта с помощью стереоскопического зрения используется разница углов зрения пары расположенных недалеко друг от друга идентичных камер. При таком подходе оптические центры двух камер расположены на определенном фиксированном расстоянии с целью создания параллакса, необходимого для измерения глубины изображения.

Самым известным в настоящее время трехмерным датчиком, использующим структурированный свет, является Kinect от компании Microsoft. Структурированный свет, как и метод измерения времени прохождения сигнала, о котором мы поговорим позже, является примером активного сканера, который создает собственное электромагнитное излучение и анализирует отражение этого излучения от объекта. Структурированный свет проецирует набор шаблонов на объект и захватывает полученное изображение с помощью датчика изображения.

Подобно методу стереоскопического зрения, этот подход использует заранее известное расстояние между камерой и проектором, берет определенную точку между ними и вычисляет глубину с применением алгоритмов триангуляции. Таким образом, обработка изображения и алгоритмы триангуляции позволяют преобразовать искажение проецируемых узоров, вызванное неровностью поверхности, в трехмерную информацию.

Система, использующая метод измерения времени прохождения сигнала, получает информацию о времени такого прохождения путем определения задержки или фазового сдвига модулированного оптического сигнала для всех пикселей картинки. Как правило, этот оптический сигнал находится в ближней инфракрасной части спектра и не создает помех человеческому зрению. Датчик времени прохождения сигнала состоит из массива пикселей, каждый из которых может определить расстояние до объекта.

Каждый пиксель измеряет задержку получения отраженного оптического сигнала относительно посланного сигнала. Затем для каждого из пикселей проводится корреляция, с последующим усреднением или интеграцией полученных результатов. Итоговое значение корреляции отображает время прохождения сигнала или задержку. А так как все пиксели определяют это значение одновременно, то становится возможным «моментальный снимок» 3D изображения.

Обработка изображений

Алгоритмы обработки изображений обычно требуют высоких вычислительных мощностей. И в отличие от многих других приложений, где существующие стандарты гарантируют значительную схожесть применяемых различными конструкторами оборудования алгоритмов, стандартов для систем обработки изображений, которые ограничивали бы выбор алгоритма, попросту не существует.

Более того, зачастую имеется множество вариантов решения одной и той же проблемы или задачи. Поэтому алгоритмы обработки изображений весьма разнообразны и имеют свойство быстро изменяться с течением времени. И, конечно же, к системам промышленной автоматизации выдвигаются жесткие требования по стоимости и энергопотреблению.

Совместить в одной системе высокую производительность, низкую стоимость, умеренное энергопотребление и программируемость очень непросто. Узкоспециализированная аппаратная часть обычно обеспечивает высокую производительность при небольшой стоимости, но имеет значительные ограничения в программируемости.

В  свою очередь, процессоры общего назначения обладают широкими возможностями программирования, но имеют низкую вычислительную мощность, высокую цену или низкую энергоэффективность. Поэтому в требовательных приложениях по обработке изображений чаще всего используется комбинация обрабатывающих элементов, включающая, например:

• процессор общего назначения для проведения эвристического анализа, принятия обдуманных решений, доступа к сетевым ресурсам, поддержки пользовательского интерфейса, управления хранением данных и общего контроля
• высокопроизводительный цифровой сигнальный процессор для выполнения задач и алгоритмов средней сложности в режиме реального времени
• один или несколько работающих параллельно чипов для попиксельной обработки изображения с использованием простых алгоритмов

Теоретически, любой современный процессор можно использовать для выполнения задач по обработке изображений в системах промышленной автоматизации. Однако наиболее перспективными на сегодняшний день являются:

• центральный процессор высокой вычислительной мощности,
• центральный процессор с графическим сопроцессором,
• центральный процессор вместе с цифровым сигнальным процессором с ускорителем (ускорителями),
• центральный процессор вместе с программируемыми пользователем вентильными матрицами.

Альянс разработчиков и производителей систем встроенного технического зрения

На самом деле повсеместное внедрение технологий технического зрения в сфере промышленной автоматизации является составной частью более глобальной тенденции. Сегодня мы стали свидетелями проникновения технологий машинного зрения в широкий спектр продуктов от потребительской электроники и до автомобильных систем безопасности. При этом такие продукты стали намного интеллектуальнее и отзывчивее, чем раньше, и, следовательно, более ценными для пользователей.

Термин «встроенное техническое зрение» мы используем для обозначения постоянно растущих объемов практического использования технологии машинного зрения в различных встраиваемых системах, мобильных устройствах, специализированных персональных компьютерах, а также облачных сервисах. При этом промышленная автоматизация является лишь одним из демонстрационных образцов практического внедрения вышеупомянутой инновационной технологии.

Встроенное техническое зрение способно наделить новыми полезными свойствами уже существующие продукты, такие как упомянутые выше усовершенствованные системы промышленной автоматизации. Оно также может открыть абсолютно новые рынки производителям полупроводников, а также аппаратного и программного обеспечения.

Альянс технического зрения (Embedded Vision Alliance) — международная организация, объединяющая разработчиков и производителей компонентов систем технического зрения — нацелена на воплощение громадного потенциала рассматриваемой технологии в реальной жизни.