边缘AI实战：飞凌OK1126B开发板3TOPS算力，在终端跑2B大模型是什么体验？

原创 作者 电子开发学习 2026-01-19 09:20:00 国产边缘AI开发板
边缘AI开发板推荐：飞凌OK1126B-S开发板
最近群里很多朋友都在讨论给自己部署AI助手的事，有的为此购买了价值不菲的显卡，有些直接把Deepseek部署在了自己的开发板上，有的索性直接租服务器在上面部署。照我说，这些操作都只是工程师通过这个部署的过程满足自己的成就感，至于实用性，我觉得还未必有我直接打开网页使用Deepseek或者通义千问或者豆包来的更实在。

当然，如果对AI辅助编程有很强的依赖性，还不如直接使用Cursor或者Copilot。但是话说回来，工程师自己实现这个部署过程真的没用吗？我并不这么认为。实际上通过这样的尝试，可以让工程师具备本地部署AI的能力，而这个能力在什么地方会用到呢？那就是 边缘AI这个应用领域。

边缘AI典型应用场景

边缘AI项目往往要求工程师在资源受限、成本要求较高的边缘终端设备中部署AI来实现对应的功能。举几个例子：

智能监控场景

在摄像头上通过本地部署的AI来实现人员跌倒、入侵、打架、聚集等异常行为的识别。无需上传大量视频流，仅在本地完成识别后，将异常现象和处理结果上传服务器即可。

车载计算单元

实时处理摄像头、线扫雷达、激光雷达等数据，识别车辆、行人等交通环境。要求在终端侧完成识别、处理，确保实时性和数据安全性。

工业设备预测性维护

工厂通过边缘AI来实时分析设备的振动、声音、温度数据是否异常，进而实现故障的预测、避免非计划性停机。

飞凌OK1126B-S开发板推荐

特惠活动提醒：飞凌嵌入式基于RV1126B打造的OK1126B-S开发板正在做 低价特惠，活动详情请咨询在线客服。
飞凌OK1126B-S开发板 - 高性能边缘AI解决方案

核心性能参数

这个板子大概是个什么性能参数呢，这里简单说一下：

3TOPS
RV1126B独立NPU INT8运算性能
  • RV1126B自带的 独立NPU性能挺强的，INT8运算能到 3TOPS，比上一代提升了差不多50%左右
  • 支持 混合精度计算，也对Transformer模型做了专门优化
  • 像 2B参数的大语言模型、多模态模型，在设备端也能顺畅运行
  • 对于需要在端侧部署的项目，这个算力已经相当充裕了
    • 立即咨询在线客服获取特惠详情

    模型运行测试数据

    大语言模型和多模态模型测试

    测试指标说明：Dtype-数据类型；Seqlen-输入序列长度；New_tokens-生成新token数量；TTFT(ms)-首token时间；Tokens/s-每秒生成token数；Memory(MB)-最大运行内存。
    Model Model Size Seqlen New_tokens TTFT(ms) Memory(MB) Dtype Tokens/s
    Qwen2 0.5B 128 64 655.3 655.78 w8a8 14.95
    Qwen2 0.5B 128 64 381.12 1104 fp 8.59
    Qwen2.5 1.5B 128 64 669.94 1660 w8a8 5.55
    DeepSeek-Distill-Qwen1.5B 1.5B 128 64 838.75 1692.8 w8a8 5.57
    Lllava-onevision-Qwen2-0.5B 0.5B 128 64 969.68 619 w8a8 14.89
    Qwen2-VL 2B 128 64 692.73 16360 w8a8 5.14

    目标检测模型测试

    Model name Inputs_shape Dtype RV1126 RV1126B
    yolov6n [1,3,640,640] INT8 56.8 68.68
    yolov6s [1,3,640,640] INT8 16.3 25.43
    yolov6m [1,3,640,640] INT8 8.3 12.84
    yolov8n [1,3,640,640] INT8 35.4 50.24
    yolov8s [1,3,640,640] INT8 13.1 25.96
    yolov8m [1,3,640,640] INT8 5.8 11.8
    yolov10n [1,3,640,640] INT8 / 45.1
    yolov10s [1,3,640,640] INT8 24.84 17
    yolo11n [1,3,640,640] INT8 42.84 7.3
    yolo11s [1,3,640,640] INT8 23.72 10.59

    图像分割模型测试

    Model name Inputs_shape Dtype RV1126 RV1126B
    yolov5n-seg [1,3,640,640] INT8 42.2 51.67
    yolov5s-seg [1,3,640,640] INT8 14 27.22
    yolov8n-seg [1,3,640,640] INT8 39.79 27.6
    yolov8s-seg [1,3,640,640] INT8 9.8 19.71
    mobilesam_encoder_tiny [1,3,448,448] FP16 / 8.66
    mobilesam_decoder [1,1,112,112] FP16 61.76 /

    专用AI-ISP技术亮点

    核心优势：RV1126B集成了专用 AI-ISP，这在处理图像类应用的时候就很厉害了！

    AI-ISP直接把AI算法融入到ISP的原始数据处理链路中， 一边提升画质，一边用AI进行分析优化，这样既不会让输出图像失真，也不会导致NPU无法准确分析。

    而且运行AI-ISP完全不占用NPU资源，比传统方案省带宽、省功耗。

    AI-ISP技术：将AI算法融入ISP处理链路，实现画质增强与智能分析并行

    工业级与宽温级支持

    环境适应性提示：众所周知，端侧运行环境大多比较恶劣，OK1126B-S开发板提供了多种等级选择。
    工业级核心板

    工作温度：-40℃ ~ +85℃

    型号：FET1126BJ-S

    适用于极端恶劣的工业环境，确保设备稳定运行。

    宽温级核心板

    工作温度：-20℃ ~ +85℃

    型号：FET1126B-S

    满足大部分工业和商业场景的温度要求，性价比更高。

    根据项目需求选择适合的核心板等级

    开发支持与快速落地 · 咨询立即获得专属报价

    技术支持包含

    • 完整的硬件设计参考
    • 详细的软件开发手册
    • AI模型部署优化指南
    • 专业的在线技术支持团队

    立即咨询

    联系销售 报价咨询 索取样品
    华北区负责人二维码

    华北区

    华东区负责人二维码

    华东区

    华南区负责人二维码

    华南区

    中西区负责人二维码

    中西区

    相关产品 >

    • FET1126BJ-S核心板

      FET1126BJ-S核心板是飞凌嵌入式基于瑞芯微RV1126BJ处理器开发的国产化边缘AI计算平台。该处理器专为端侧及边缘侧AI应用场景打造，集成4核ARM Cortex-A53架构，提供高达3TOPS@INT8的AI算力，是智慧工业、智慧园区、智慧工地等场景实现视频分析与目标识别的优选方案 了解详情
      FET1126BJ-S核心板

    • OK1126BJ-S开发板

      RV1126B开发板（型号：OK1126B-S）是飞凌嵌入式基于瑞芯微RV1126B处理器打造的国产化边缘AI计算平台。集成4核A53 CPU与3TOPS@INT8独立NPU，支持Linux 6.1系统，提供完整BSP与RKNN工具链，兼容TensorFlow/PyTorch主流框架。核心板采用邮票孔+LGA设计，支持-40℃~+85℃工业级宽温，配备MIPI-DSI、双网口、CAN-FD及树莓派兼容40Pin GPIO接口。尺寸仅120mm×75mm，专为智慧工业质检、园区安防、工地安全监测等端侧AI场景设计，提供10年供应保障与7×24小时技术支持。 了解详情
      OK1126BJ-S开发板
    上一篇：飞凌嵌入式启动LPDDR5升级战略，破局供应难题 下一篇：瑞芯微 RV1126B 值得入手吗？从参数到实测，一文看懂这款 AI 视觉开发板

    推荐阅读 换一批 换一批