Кейс 2. Отслеживание урожайности виноградника с помощью машинного зрения и глубокого обучения

Американская семейная винодельческая компания Gloria Ferrer Caves & Vineyards производит преимущественно игристые вина из винограда сортов пино-нуар и шардоне. Эти сорта выращиваются на виноградниках Home (84 га) и Circle Bar (52 га).

Свежесобранный виноград не продается в виде вина в течение около трех лет (но уже может контрактоваться), поэтому специалистам Gloria Ferrer нужно рассчитывать объем продаж на 3 года вперед для заполнения канала поставок, а затем управляющие виноградниками должны вырастить необходимое количество винограда, чтобы разлить вино по бутылкам для этого урожая.

Это означает, что управляющие виноградниками должны оценивать количество винограда, которое они произведут, еще до сбора фактического урожая, чтобы понимать будет ли урожай соответствовать прогнозам отдела продаж.

Традиционно оценка урожая производится вручную, когда специалист буквально пересчитывает виноградные гроздья на лозе. При этом анализ 10 лоз может занять до 2 часов, тогда как весь виноградник может их содержать 10 тысяч.

Отмечается, что размер выборки - одна из 1 000 лоз - типичен, но при этом крайне недостаточен. Проблема усугубляется неравномерностью урожая на лозах в разных частях виноградников, поэтому прогнозы в пределах 25% от фактической урожайности считались достаточно хорошими.

Например, если виноградник планирует произвести 1200 тонн винограда стоимостью около $3 000 за тонну, то ошибка в прогнозе фактического урожая на 1-2% может привести к тому, что придется либо перерасходовать капитал (до $72 000 долл.), либо в последний момент закупать дополнительный виноград.

Для автоматизации процесса получения данных о будущем урожае руководство Gloria Ferrer выбрало решение от компании Bloomfield Robotics. Его основным элементом является специально разработанная стереокамера, которая может быть установлена на любое транспортное средство, квадроцикл, автономный ровер и т.д. Устройство делает снимки лоз и виноградных гроздьев по мере того, как автомобиль движется по рядам между лозами.

Питание камеры и прилагаемого к ней планшета на базе Android осуществляется от источника питания автомобиля с помощью стандартных кабелей. Она включает в себя две 12-Мп матрицы, два объектива, 12 светодиодных ламп и GPS-антенну, которая обеспечивает локализацию каждого полученного изображения. За 6-8 часов работы камера собирает около 1 ТБ данных. Все изображения записываются и хранятся на SSD-карте.

Для получения изображений достаточного и стабильного качества, позволяющих проводить сравнительный анализ, светодиоды вспыхивают при каждом снимке вне зависимости от степени освещенности внешней среды. Таокй подход также обеспечивает более эффективное обучение моделей ИИ.

Установка системы занимает несколько минут, также она может собирать данные в тот момент, когда работник выполняет другую работу. На планшете отображается интерфейс, который подсказывает пользователям, как правильно расположить и откалибровать камеру, и обеспечивает обратную связь в процессе сбора изображений.

После каждого сбора фотографий SSD-карта извлекается и данные передаются в облако Bloomfield, где они упорядочиваются по рядам растений слева направо в соответствии с GPS-данными. Затем Bloomfield применяет к изображениям модели ИИ, выдавая описательные результаты, например, результаты подсчета или измерения побегов или определение цвета виноградных гроздей.

Специалисты Gloria Ferrer получают доступ к данным через веб-интерфейс. Они могут детализировать данные до уровня отдельных растений или просматривать их по географическим районам, например, по блокам, которые являются единицами управления, используемыми садоводами для идентификации групп растений. Такое представление данных позволяет проводить сравнения, например, подсчитывать количество виноградных гроздей в блоке 1 по сравнению с блоком 2. Решение позволяет экспортировать информацию в электронную таблицу или PDF-файл.

В 2022 году компания Gloria Ferrer начала делать снимки примерно раз в две недели на 12 га, а в 2023 году их количество было увеличено до 20 га.

Получение последовательных изображений виноградных гроздей является важным условием успешного расчета объема урожая и отслеживания состояния лоз. Ключевой проблемой является получение достаточного количества изображений виноградных гроздьев в течение определенного времени, даже если гроздья иногда могут быть скрыты за листьями, что означает, что камера может не фиксировать их при каждом проходе через виноградник.

В 2022 г. компания Gloria Ferrer столкнулась с этой проблемой, поскольку в 2022 г. не начала делать снимки в начале сезона. В результате с течением времени не удалось получить достаточно полезной визуальной информации.

В 2023 г. члены команды начали делать снимки сразу после окончания обрезки лоз, которая проводится в январе и феврале. Если расчеты решения по урожаю 2023 года окажутся в пределах 5% от фактического объема, то проект будет признан успешным.