Monitorização do Crescimento de Morangueiros

Como medir o crescimento sem tocar na planta?

A experiência na estufa começou com uma pergunta simples: poderia um fluxo de ar constante influenciar o crescimento dos morangueiros? Para responder, era necessário comparar a evolução das plantas ao longo do tempo, sem ter de as medir repetidamente nem perturbá-las à mão.

Durante a experiência, duas câmaras 3D instaladas sobre as mesas captaram dados de RGB, profundidade e nuvens de pontos. O desafio estava em transformar essas capturas em informação mensurável: reconhecer a mesma planta ao longo do tempo, isolá-la em 3D e quantificar as alterações na sua forma.

Filas de morangueiros jovens em duas mesas de estufa, por baixo de uma estrutura de câmaras suspensa — As duas mesas da estufa por baixo das câmaras 3D.

Das capturas 3D às medições da planta

Captar a cena. Duas câmaras Photoneo instaladas sobre as mesas captaram dados de RGB e profundidade, bem como nuvens de pontos 3D organizadas, tanto para a mesa sujeita ao fluxo de ar como para a mesa de controlo.
Encontrar e acompanhar uma planta. Na primeira captura, a planta-alvo foi marcada interativamente com o SAM 2 (Abre num novo separador), usando alguns pontos positivos e negativos para a isolar. A partir daí, o SAM 2 (Abre num novo separador) propagou a máscara pelas capturas seguintes. O acompanhamento era revisto sempre que a sobreposição entre máscaras descia abaixo de 0,90 ou, no máximo, ao fim de 20 capturas, com correções quando o crescimento ou a sobreposição de folhas faziam a máscara desviar-se.
Passar de 2D para 3D. Cada píxel da imagem da câmara correspondia diretamente a um ponto da nuvem de pontos 3D organizada. Assim, a máscara 2D do SAM 2 (Abre num novo separador) podia ser projetada diretamente na nuvem de pontos, deixando apenas a geometria da planta-alvo.
Medir a evolução. Depois de isolada em 3D, a planta era analisada com métodos baseados na geometria para estimar a altura, a área foliar visível e o ângulo das folhas ao longo da sequência de capturas.

Três vistas da mesma captura de um morangueiro: imagem da câmara em tons de cinzento, máscara branca da planta e máscara verde sobre a planta-alvo — O fluxo de trabalho que parte do 2D: imagem da câmara, máscara da planta e pré-visualização da planta monitorizada.

Acompanhar as folhas ao longo do tempo

Depois de isolada a planta-alvo, o mesmo princípio podia ser aplicado a cada folha. As folhas visíveis eram segmentadas individualmente e recebiam os seus próprios IDs, o que permitia acompanhar a mesma folha de uma captura para a seguinte.

À medida que a folhagem se adensava, as folhas sobrepunham-se, desapareciam e mudavam de forma. Isto tornava o acompanhamento de cada folha bastante mais difícil do que o da planta no seu conjunto, sendo por vezes necessárias correções manuais para preservar a identidade de cada folha.

A planta-alvo acompanhada ao longo de capturas consecutivas.

Cada folha mantém a sua cor e o seu ID ao longo das capturas.

Transformar a nuvem de pontos em medições

Com a planta isolada em 3D, a nuvem de pontos podia ser convertida em medições comparáveis ao longo do tempo.

A altura da planta era medida em relação a um plano de referência ajustado a cada mesa da estufa. Em vez de usar o ponto mais alto, que podia facilmente corresponder a ruído do sensor, o pipeline usava o percentil 99 das distâncias dos pontos da planta à mesa.

Ao nível de cada folha, os planos ajustados permitiam estimar o seu ângulo, enquanto as nuvens de pontos, depois de limpas, eram trianguladas para estimar a área foliar visível. Os resultados eram tratados como medições relativas, não como dimensões físicas exatas: o objetivo era captar a evolução da planta entre capturas.

Dois gráficos lado a lado com o contorno triangulado de uma folha e a respetiva malha de superfície 3D verde — Nuvem de pontos de uma folha triangulada para estimar a sua área visível.

O que demonstrou a prova de conceito

Um pipeline funcional de 2D para 3D permitiu extrair, a partir de capturas sucessivas, a geometria necessária para acompanhar a planta e medir o seu crescimento.
O SAM 2 (Abre num novo separador) conseguiu manter a identidade da planta entre capturas consecutivas, com verificações manuais periódicas para detetar desvios no acompanhamento.
Foi possível acompanhar a altura, a área foliar visível e o ângulo das folhas ao longo do tempo, embora estes valores fossem mais úteis para avaliar alterações relativas do que para obter medições físicas exatas.
A qualidade das medições começava no momento da captura: a posição das câmaras, as oclusões e as plantas vizinhas determinavam a quantidade de geometria útil disponível para análise.

Limitações da montagem

O sistema de monitorização foi acrescentado quando a experiência com o fluxo de ar já estava em curso. Por isso, a estufa e a disposição das câmaras não tinham sido pensadas desde o início para medições com recurso a visão computacional.

Uma única vista de cima funcionava bem para a parte superior da folhagem, mas as folhas inferiores e as estruturas orientadas lateralmente ficavam muitas vezes ocultas. À medida que as plantas vizinhas cresciam, as suas folhas também se sobrepunham à planta-alvo. A principal lição foi que a captura e a análise têm de ser concebidas em conjunto: numa configuração futura, seriam usados mais ângulos de visão, maior separação entre plantas e verificações automáticas em cada captura.