小车找网球的路径规划问题

樱时云袖

如图，是小车前端的摄像头。我们买的标准镜头。我们有以下两个想法，不知道有没有可能实现。
1.如果它视野范围内有四个球，我们想让它记下四个位置，在用arduino驱动小车按由远及近，由左及右的路径走过去；它把第一次记下的四个球捡干净之后，向左转120度，再检测另一个方向。能实现吗？具体该怎么实现小球一次记所有位置以及从左到右，从前到后的路径规划？
2.它视野范围内有四个球，它只记住第一个球的位置，过去之后按它现在方向“看”另一块范围，而忽略了它身边的球。但是总有在一个方向上没有球了，它需要转身的时候，那样就能检测到之前错过的球了，就是效率低了点。这种方法能实现吗？怎样实现选择离它最近的一个球，怎样转向？
3.如果在小球“视线”之外的球，要怎样规划，才能找到。

kidswong999

请从画面来考虑，而不是真实3维场景。OpenMV 是单目摄像头，获取不到深度信息。

比如，找到最近的小球，应该就是找到画面中最大的色块。

至于记下所有的位置，我觉得不可行。