Gemma 3 在卫星上分析地球图像,减少等待地面处理的时间 | AGIDaily
AGI Daily
资讯日报词条论文人物新创

Gemma 3 在卫星上分析地球图像,减少等待地面处理的时间

2026-06-15 / 共 2,835 字

TechCrunch

2026 年 4 月 16 日,Loft Orbital 的 YAM-9 卫星在近地轨道运行 Google DeepMind 的 Gemma 3 视觉语言模型(VLM),对刚拍摄的地球图像进行分类和文字描述。研究团队称,据其所知,这是首次在卫星上完成这类自主多模态推理。图像分析在星上完成,减少了等待地面处理的环节。

NASA 喷气推进实验室(JPL)的 Juan Delfa Victoria 等研究人员在 NAVI-Orbital 论文中记录了这次实验,TechCrunch 于 6 月 15 日作了报道。Gemma 3 4B 的 4-bit 量化版本,在包含 7,960 张航空影像的地面基准中取得 88.16% 分类准确率;研究团队还验证了对 YAM-9 新拍摄、未经校正图像的处理,无需针对星载相机微调。地面基准成绩与在轨功能演示是两组不同的验证。

星上推理要同时满足供电、散热和处理速度要求

与地面数据中心相比,卫星可用于计算的电力、散热面积和维护条件更有限。YAM-9 的工程团队需要让推理任务与其他星载系统共用这些资源。

供电要在各个子系统之间分配。 YAM-9 搭载 Nvidia Jetson Orin AGX 处理器,模型运行需要服从整星的功率预算。太阳能与电池供电能力会影响可持续的计算负载,增加推理任务,就需要相应安排其他设备的工作。工程模型测试中,五张图像交叉验证集的完整处理在 GPU 加速配置下耗时 13 分钟,CPU 配置约为 37—38 分钟;其中平均每张图的 VLM 周期为 26.6 秒。整体任务耗时与单次模型推理时间,需要分别计算。

散热依靠导热路径和对外辐射。 太空真空无法像地面机房那样利用外界空气对流散热,芯片的热量要传到可向外辐射的表面。模型连续运行时,工程团队需要追踪功耗、温度和处理器负载,安排合适的工作节奏。论文记录了工程模型上的功耗与温度变化,用于验证软件能否适配飞行硬件。

处理速度要适应拍摄与通信安排。 低轨卫星快速经过目标区域,图像拍摄、星上分析和数据传输需要协调。把初步分析放在卫星上,可以减少先下传完整图像再等待地面判断的时间。论文报告了两幅新拍影像在星上自主处理的结果,但并未证明所有任务都能在一次过顶期间完成。与操作员实时对话,仍需要可用的通信连接。

这次演示说明,经过软件适配,视觉语言模型可以在星载硬件上运行。下一步需要在更长时间、更多影像和不同工作负载下检验可靠性。

Gemma 3 配合量化与软件精简,适配星载计算机

YAM-9 使用的 Gemma 3 4B,兼顾了视觉理解能力、模型规模和本地部署条件。团队在开发阶段评估并冻结了飞行配置,后续模型更新需重新经过验证流程。

Gemma 3 是 Google DeepMind 的开放权重模型系列,本文使用的是支持图像输入的 4B 版本。视觉编码器把图像转成模型可处理的表示,再与文本一起用于分类和描述。局部注意力与全局注意力按 5:1 交替,也有助于减少长输入下的 KV 缓存开销。模型支持最高 128K Token 上下文,但这次系统配置采用 20,000 Token 的窗口,并限制输出长度,以控制星载计算开销。

把模型部署到卫星上,还需要 NAVI-Orbital 软件框架。它支持通过 llama.cpp 加载 GGUF 格式的量化模型,并提供适配不同硬件的推理接口。团队精简依赖、解决驱动与计算加速兼容问题,再利用 LangGraph 串联任务:协调程序安排执行,检测模块分类和描述图像,对话模块根据描述回答操作员的后续问题。各部分按既定流程交接,处理完一组数据后等待下一项任务。

开放权重让研究人员能够把模型下载到本地,并根据硬件条件选择量化方式。这为远离地面数据中心的部署提供了便利。YAM-9 的经验也表明,模型体积只是其中一个条件:推理引擎、驱动、内存和任务编排都要配合。工程验证通过后仍需控制版本变化,避免升级破坏已有兼容性。

先传图像摘要,再按需要下载完整影像

星上分析的一个直接用途,是在有限的通信资源中优先传回有用信息。

对地观测设备可以连续积累大量图像,地面站通信窗口、下传带宽和人工分析能力则有限。如果数据无法及时处理,重要场景也可能淹没在待审阅的影像中。云层遮挡还会降低部分光学影像的使用价值。在轨筛选此前已有专用模型应用,视觉语言模型则尝试用同一套软件处理更灵活的描述与查询。

NAVI-Orbital 的流程是先下传分类和简短的文字描述,操作员查看后,再要求下载值得进一步分析的完整图像。这样有机会减少不必要的传输,也让地面人员更快找到目标场景。实际节省多少带宽,仍取决于影像大小、筛选比例和用户需要保留的原始信息。

Loft Orbital 的 AI 负责人 Paul Lasserre 在 TechCrunch 采访中,用区域监测举例说明设想:操作员描述想关注的区域和异常,再由卫星提供初步筛选结果,并支持后续追问。持续监测仍需要足够的卫星覆盖、可靠的识别能力和通信条件。

Loft Orbital 已与欧洲防务技术公司 Helsing 达成合作,计划共同开发和部署多传感器卫星星座,面向政府、防务与安全应用。这项合作面向更广泛的星上 AI 业务,NAVI-Orbital 则仍处于技术验证阶段。农业、海上船只、环境和灾害监测,也可能从更及时的图像筛选中获益。例如火灾或洪水发生时,较早识别需要复查的区域,可以帮助地面团队安排后续观测。

截至 TechCrunch 6 月报道,Loft 在轨运行 12 颗卫星。Lasserre 估计,实现其设想中的全球实时覆盖,需要约 50—100 颗具备类似能力的卫星。这是公司对星座规模的估计,实际覆盖和响应能力还受轨道、传感器与通信安排影响。

在轨运行已经验证,持续服务还需更多测试

YAM-9 为在传感器旁运行视觉语言模型提供了一个在轨案例,也为后续项目留下了软件部署和硬件适配经验。

其他公司也在推进星上计算。TechCrunch 报道,Planet Labs 已在搭载 Jetson Orin 的卫星上进行较简单的目标检测,并研究包括 VLM 在内的进一步应用。Kepler Communications 则已把 GPU 计算资源部署到多颗卫星上。Nvidia 在 GTC 2026 发布 Space-1 Vera Rubin 模块,称其中 Rubin GPU 用于空间推理的 AI 算力最高可达 H100 的 25 倍;这是厂商公布的能力指标,产品当时仍待后续推出。

YAM-9 仍是一项技术验证。论文给出了地面基准和少量在轨样本,持续运行、更多传感器和不同天气条件下的表现还需评估。原始影像的动态范围处理就曾让图像偏暗,模型把场景描述成夜间;后续在地面校正后重新分析,能恢复更多细节。模型输出可用于初步筛选,关键判断仍需要保留复核依据。

扩大到星座后,团队还要管理模型版本、远程更新、故障恢复,以及各颗卫星不同的资源状态。未来系统可能把更多初步分析放在轨道上,同时保留地面的完整影像处理与人工复核。星载推理能否创造商业价值,取决于它能让观测更及时、更准确,还是增加了新的误报和运维负担。

YAM-9 已经证明,经过适配的视觉语言模型能够在轨处理新拍影像。接下来,持续运行记录和具体任务表现,将决定这项能力能否成为常规的卫星服务。

来源

  • A satellite just learned to find things on its own · TechCrunch
  • AI Weekly - Loft Orbital YAM-9 Satellite Runs Gemma 3 in Orbit · aiweekly
  • BuildFastWithAI - AI News Today June 18, 2026 (Story 15) · buildfastwithai

评论

登录后即可参与评论。

加载评论中…

相关文章

  • 蓝黄云层背景上的 WeatherNext 3 标题图

    Google 天气模型加入逐小时短期预报,补入卫星观测

    2026-09-03

  • 扩散语言模型为何能加快文本生成?从 LLaDA 到 DiffusionGemma

    扩散语言模型为何能加快文本生成?从 LLaDA 到 DiffusionGemma

    2026-06-10

  • ACON 在 AppWorld 基准上的准确率-峰值 token 权衡图:ACON 在降低 token 成本的同时保持大模型精度,并显著提升小模型性能

    AI 助手怎样处理越来越长的任务记录?四项研究改进上下文压缩

    2026-07-12

  • 月球勘测轨道飞行器窄角相机拍摄的 Mons Rümker 火山地貌拼接图
AGI Daily跟踪世界 AI 进展
邮件栏目主题RSS
定制投稿招聘广告
关于MCPTermsContact

NASA 与 IBM 开源月球模型,近 200 万图块先解决数据对齐

2026-09-11

  • GLM-5.2 在三个长周期编码基准上的表现对比

    智谱开源 GLM-5.2:部分长程编程测试接近 Opus 4.8

    2026-06-29

  • AGOS-Bench 数据集规模与无人机、地面车协作搜索场景示意

    无人机先找、地面车再验,AGOS-Bench 把协作拆成可测闭环

    2026-09-08