ИИ-платформа по сортировке мусора MarQus

Идея

Мы начали разрабатывать систему MARQUS благодаря сотрудничеству с ульяновской компанией «ВторПлюс». Она специализируется на раздельном сборе и сортировке мусора.

Сначала мы сделали для «ВторПлюс» мобильное приложение для оптимизации доставки ТБО из квартир и офисов. Благодаря этому проекту в Ульяновске активно внедряется культура сортировки ТБО – сейчас через приложение сдают вторсырье более 70 тысяч домохозяйств.

А потом возникла идея, что и сам процесс сортировки ТБО на предприятии можно автоматизировать и сделать более эффективным. Заменить ручной труд на роботов, повысить скорость и объемы сортировки. А также увеличить количество и качество определяемых фракций вторсырья, что кратно повысит его стоимость при продаже.

А после изучения деталей нацпроекта «Экология», состояния и перспектив сектора сортировки ТБО мы поняли, что в таком продукте есть реальная потребность.

Исследование решений и технологических ограничений

Программно-аппаратные комплексы, которые решают похожие задачи, существуют, но у них есть важные ограничения. Например, в Германии и Голландии применяется система, которая умеет определять только пластик. Либо это бинарные классификации, которые могут анализировать в конкретный отрезок времени, только один вид ТБО. На практике это происходит так: по конвейеру едет вся груда мусора, а механизированный сортировщик отбирает только один вид. Остальной поток продолжает движение и подвергается очередной итерации сортировки, но сортировщик отбирает уже другой вид мусора. И так происходит раз за разом. То есть такие решения требуют многостадийности сортировки. А добавление каждой дополнительной фракции для распознавания требует дорогостоящей донастройки ПО и оборудования.

Так же большинство решений используют компьютерное зрение и технологию Object recognition — то есть распознают виды мусора по цвету и форме. В условиях, когда мусор движется плотным слоем по конвейеру, а форма очень вариативна (смятые банки, разорванная бумага и т.п.), точность распознавания может быть не самой лучшей.

Альтернативой, которая позволят максимально точно — от 96% — распознавать не только типы ТБО, но и подтипы (фракции), является технология Material recognition. Но она требует дорогостоящего оборудования для мультиспектрального анализа. А также значительные вложения в создание датасета. Как показало наше исследование, доступных датасетов с достаточным количеством образцов ТБО с мультиспектральными данными нет, не только в России.

Гипотезы и выбор решения

Наши инженеры проработали большое количество гипотез по архитектуре и базовым технологиям будущего решения. И в итоге остановились на идее использования компьютерного зрения и технологии Material recognition.

При этом они создали собственное программно-аппаратное решение, которое снимает ограничения, связанные со стоимостью оборудования и подготовкой датасета.

Вот как выглядит общая схема работы MARQUS:

• ТБО перемещается на ленте конвейера и попадает в объективы камер.
• Используется 2 вида камер: NIR-камера и вторая в обычном диапазоне. Две камеры нужны, чтобы точнее определять глубину сцены и координаты объектов. Дополнение мультиспектральной камерой нужно, чтобы давать больше информации для подсистемы классификации ТБО.
• Размещение датчиков освещённости и температуры используется для корректировки видеосигнала с камер для более точной работы подсистем распознавания.
• Данные с датчиков скорости движения конвейерной ленты использует управляющий сервер для расчётов сигналов манипуляторам.
• Сервер — это компьютер c GPU в качестве компонента инференса нейросетевых моделей, участвующих в детекции, классификации, сегментации и расчёта координат и управляющих команд, необходимых манипуляторам.
• Контроллер, один или несколько — в зависимости от количества манипуляторов, оперируют полученными командами, преобразует их в специфические для конкретного манипулятора управляющие сигналы.
• Манипуляторы выполняют присланные команды: перекладывают или сдувают распознанные объекты с ленты в контейнер с объектами данного типа.

Обучение нейросетей и подготовка датасета

MARQUS определяет следующие типы мусора: пластик, бумага, картон, металл, стекло, текстиль, древесина, органические отходы и смешанные отходы. Особенностью нашего ПО является умение определять подтипы ТБО, например, различные виды пластика PET, PVC и полиэтилена, разные виды бумаги и текстиля, а также отделять цветной металл от чёрного.

Для этого MARQUS в целях обнаружения, сегментации и классификации объектов, а также трекинга использует две различные архитектуры свёрточных нейронных сетей: архитектуру, обрабатывающую поступившее изображение целиком, и архитектуру, обрабатывающую регионы на изображении. Применение обоих архитектур связана с тем, что одна давала нам достойные прогнозы и даже предсказал классы, которые были недостаточно представлены в наборе данных, в то время как другая обеспечивала выше скорость работы при меньших ресурсах.

Обучение нейросети мы проводили на собственном датасете, который готовили в лаборатории ZeBrains в Краснодаре. Наши инженеры придумали решение, которое позволило нам с минимальными затратами быстро проводить мультиспектральную съемку образцов. Сами образцы ТБО нам помогают готовить партнеры из краснодарского экопроекта «Собиратор». Сейчас в нашем датасете более 223 209 размеченных изображений по образцам ТБО в разных спектрах.

Решения для аппаратной части

Наши инженеры обошли самое главное ограничение для ПО на базе Material recognition — необходимость дорогостоящего оборудования для мультиспектральной съемки. Наше решение не требует дорогих компонентов, сейчас нет никаких сложностей по их доставке в Россию. Более того, эти компоненты можно полностью производить в нашей стране.

Еще одна важная особенность нашего проекта — мы не привязываемся к определенным моделям манипуляторов, что дает гибкость внедрения. Наш модуль управления манипуляторами позволяет подключать к нашей ИИ-платформе оборудование разных производителей с минимальными затратами.

Таким образом, мы даем возможность легкого конфигурирования сортировочной линии не только по типам отбираемого ТБО, но и по оборудованию. Это важно, так как у различных компаний-сортировщиков разные возможности по аппаратной части. Кроме того, они могут специализироваться только на отдельных фракциях ТБО.