发烧友实测 | iMX8MP开发板移植官方NPU TensorFlow例程
作者|donatello1996
来源 | 电子发烧友
题图|飞凌嵌入式
飞凌嵌入式OKMX8MP-C开发板基于NXP i.MX 8M Plus处理器开发设计,该系列处理器专注于机器学习与视觉、高级多媒体以及具有高可靠性的工业自动化。旨在满足智慧城市、工业互联网、智能医疗、智慧交通等应用的需求。强大的四核或双核Arm® Cortex®-A53处理器,主频高达1.6GHz,带有神经处理单元(NPU),最高运行速率可达2.3TOPS。
本文采用的硬件板卡为飞凌嵌入式OKMX8MP-C开发板,系统版本Linux5.4.70+Qt5.15.0,主要介绍移植官方NPU TensorFlow例程。
一、 NPU的图像识别例程
在OKMX8MP-C 开发板提供的产品使用手册中,有一章是针对 iMX8MP 板上NPU的图像识别例程,位于EMMC分区的/usr/bin/tensoRFlow-lite-2.3.1/examples,我将EMMC分区mount为了/media分区,找到对应的例程位置。
将 iMX8MP 开发板切换到EMMC启动,进入/usr/bin/tensorflow-lite-2.3.1/examples/目录下,运行测试example:
再将 iMX8MP 开发板切回TF卡系统运行,提示报错,label_image程序的nnapi需要动态链接库支持:
libm-2.30.so libneuralnetworks.so.1.1.9 libnnrt.so.1.1.9 libArchModelSw.so libGAL.so libNNArchPerf.so libOpenVX.so.1.3.0 libovxlib.so.1.1.0 libVSC.so
其中libm-2.30.so被链接为ld-linux-aarch64.so.1,位于/usr/lib/aarch64-linux-gnu/目录下,若在移植后的目标系统的/usr/lib/aarch64-linux-gnu/下没有该库文件的话,是会在运行时提示报错的。将上述所有动态链接库复制到正确位置(/usr/lib和/usr/lib/aarch64-linux-gnu/),再次运行:
可以看到没有任何报错,运行库环境移植成功,接下来可以在 iMX8MP 开发板上愉快地进行tensorflow例程的玩耍了。
二、TensorFlow例程验证
飞凌嵌入式iMX8MP官方资料中提供了许多测试例程,先用官方DEMO做一下验证,其验证结果如下。
0.780392: 653 military unIForm 0.105882: 907 Windsor tie 0.0156863: 458 bow tie 0.0117647: 466 bulletproof vest 0.00784314: 835 suit
78%结果吻合陆军制服,10%结果吻合温莎领带,1%结果吻合领结,1%结果吻合防弹背心,不到1%结果吻合西装,总的来说这个结果还是挺令人满意的,NPU的算力确实还可以,多次运行程序,得出的结果完全相同,说明 iMX8MP NPU计算时使用的是固定的/静态的图像识别库。
我这边突发奇想,用这个Demo去测一下我自己的论坛头像,看看结果:
0.352941: 274 dingo 0.254902: 265 Cardigan 0.184314: 264 Pembroke 0.0666667: 163 beagle 0.0156863: 354 gazelle
再来试试另外几张图片,为了检验iMX8MP NPU的人工智能算力到底行不行,集齐了十张图,豪华尊享。由于源码不开放,所以无法移植源码到自己的例程中:
0.160784: 639 maillot 0.137255: 436 bathtub 0.117647: 886 velvet 0.0705882: 586 hair spray 0.0509804: 440 bearskin
0.972549: 644 mask 0.00392157: 918 comic book 0.00392157: 904 wig 0.00392157: 797 ski mask 0.00392157: 732 plunger
0.380392: 583 grocery store 0.321569: 957 custard apple 0.0862745: 955 banana 0.0352941: 956 jackfruit 0.027451: 954 pineapple
0.254902: 918 comic book 0.0470588: 771 running shoe 0.0470588: 474 can opener 0.0470588: 412 apron 0.0392157: 794 shower cap
0.52549: 922 book jacket 0.0705882: 788 shield 0.0705882: 452 bolo tie 0.0588235: 627 lighter 0.0352941: 701 paper towel
0.121569: 656 miniskirt 0.054902: 835 suit 0.0470588: 852 television 0.0470588: 440 bearskin 0.0392157: 679 neck brace
0.65098: 918 comic book 0.172549: 747 puck 0.0196078: 922 book jacket 0.0196078: 723 ping-pong ball 0.0117647: 806 soccer ball
0.678431: 918 comic book 0.0784314: 418 balloon 0.0470588: 880 umbrella 0.0470588: 722 pillow 0.0156863: 644 mask
0.184314: 585 hair slide 0.156863: 794 shower cap 0.0941176: 797 ski mask 0.0431373: 644 mask 0.0352941: 571 gasmask
十张图片的识别结果均以编码方式呈现,从识别的概率结果来看,飞凌的这款 iMX8MP 开发板的NPU的算力还是非常强的。
据官方介绍,i.MX 8M Plus处理器内置NPU,可达到2.3 TOPS(Tera Operations Per Second,1TOPS代表处理器每秒钟可进行一万亿次操作)算术处理,并实现先进的AI算法处理。并且NXP为i.MX 8M Plus处理器的NPU提供了一些特定用例,例如能够处理40,000多个英文单词,MobileNet v1模型可以每秒处理超过500张图像的图像分类。
------------------------------------
作者简介:
donatello1996,某大型企业资深嵌入式工程师,电子发烧友论坛技术大牛,同时也是飞凌嵌入式多年铁粉,曾基于飞凌多款板卡产出过优质测评文章或使用心得。本期三篇文章为donatello1996在使用OKMX8MP-C开发板过程中精心产出的干货,在此对donatello1996表示感谢。
相关产品 >
-
OKMX8MP-C开发板
内置NPU、ISP,AI计算能力高达2.3TOPS|飞凌嵌入式i.MX8MP 系列-NXP iMX8M Plus 开发板 基于高性能低功耗工业级iMX8MP核心板设计,支持多种多种高速通信接口。iMX8MP开发板内置NPU,AI计算能力2.3TOPS,支持4K,支持双图像信号处理器(ISP),是一款支持LinuxQT/android操作系统的iMX8MP开发板。
了解详情 -
FETMX8MP-C核心板
iMX8MP核心板基于 NXP i.MX 8M Plus 处理器设计, 采用4核Cortex-A53 和 Cortex-M7架构。支持双千兆网口,iMX8MP性能强劲最高运行速率可达2.3TOPS,并且i.MX8MP功耗更低≤2W 。iMX 8M Plus系列专注于机器学习和视觉、高级多媒体以及具有高可靠性的工业自动化。它旨在满足智慧家庭、楼宇、城市和工业4.0应用的需求。飞凌iMX8MP核心板提供用户手册,iMX8MP原理图,引脚定义等。
了解详情