01 · 项目概览
目标用户与需要解决的问题
项目需要把端侧硬件、视觉模型、LLM 工具调用和飞书交互组合成一条普通用户可以直接使用的链路，同时兼顾航空航天与遥感场景对边缘处理的设想。
- 目标用户 / 场景
- 航空航天、遥感等边缘视觉任务场景
- 产品判断
- 产品形态采用“飞书对话入口 + Agent 调度 + RK3588 端侧执行”：用户不需要直接操作模型服务，Agent 负责判断任务类型、调用视觉或设备管理 Skill，并将结果整理后回传。
02 · 我的职责
明确个人贡献与团队成果的边界
项目角色
开发组长（研发管理与技术产品落地）
我带领 3 名开发人员，负责研发管理、方案推进、跨环节协调与交付把关；数据、硬件及模型接入的具体实现由对应成员承担，我参与各环节的管理、跟进和问题协助。
- 规划飞书对话、Agent 调度、端侧视觉识别、结果评估与消息回传的完整产品链路。
- 带领 3 名开发人员，统筹数据处理、RK3588 硬件开发、LLM 与视觉模型及飞书接入。
- 参与需求边界、交互链路、模型部署、接口封装、Agent 调度和飞书联调等环节的方案推进。
- 组织覆盖 BFCL、ToolSandbox、AppWorld 与 Terminal-Bench 的工具调用及端侧推理评测。
- 通过组件级埋点定位 LLM 时延瓶颈，并设计规则摘要降级方案。
03 · 产品方案
把能力组织成用户可以完成任务的链路
产品形态采用“飞书对话入口 + Agent 调度 + RK3588 端侧执行”：用户不需要直接操作模型服务，Agent 负责判断任务类型、调用视觉或设备管理 Skill，并将结果整理后回传。
端到端识别链路
- 01飞书提交任务
用户在飞书对话中发送待识别图片或设备管理指令。
- 02Agent 判断与调度
Agent 判断用户意图并选择视觉识别或设备管理 Skill。
- 03端侧模型执行
RK3588 设备上的视觉模型执行图片识别。
- 04结果评估与摘要
系统评估检测结果并生成结构化摘要。
- 05飞书结果回传
识别结果返回飞书前端供用户查看。
04 · 结果验证
状态、数据与交付证据
成型 Demo 已部署
成型 Demo 已部署并在公司展厅展示；同时通过 BFCL 等基准和组件级埋点，验证函数调用准确率、检测耗时与 LLM 响应瓶颈。
3 名带领的开发人员
94.75%BFCL 基础函数调用准确率端侧 Qwen3-4B，400 个样例
0.86–1.51 秒YOLO 检测耗时
34–41 倍LLM 时延相对检测耗时
100%降级方案结构化检测信息保真
复盘
评测结果说明，端侧体验瓶颈并不只在视觉检测。组件级耗时对比把问题定位到 LLM 环节，因此方案增加规则摘要降级路径，以确定性的结构化输出保护核心检测信息。