干货分享丨如何在iMX8MQ 核心板上实现低功耗音频播放

原创 2020-12-07 10:15:00 iMX8MQ imx8 i.mx8

飞凌嵌入式FETMX8MQ-C核心板基于NXP i.MX8MQ处理器设计,该处理器拥有4个Cortex-A53处理器(工业级主频最高为1.3GHz、商业级主频最高为1.5GHz)+1个Cortex-M4处理器。本文将系统讲解——如何在FETMX8MQ-C核心板上实现低功耗音频播放。

01、低功率音频应用概述

在这个应用中,i.MX8处理器A53内核会向M4内核发送请求,然后休眠。M4核独立播放或录制音频,操作完成后唤醒A53核。

 

五个软件组件被创建来实现这个功能:


  • Linux的Play和 record应用
  • Linux RPMSG 字符设备驱动
  • Linux 远程核心共享内存驱动程序
  • FreeRTOS 音频服务


· 

 

低功率音频程序


02、软件设计

 

❶ RPMSG字符设备驱动程序

i.MX8上,核心间使用RPMSG机制来进行消息通信。RPMSG是基于MU模块实现的。


❷ 远程核心共享内存驱动程序

在低功耗音频应用中,Linux需要创建一个非缓冲、非缓存和连续的内存来存储解码的音频数据。M4core只能处理这样的内存空间。

此外,Linux需要获得内存的物理地址并将其传递给M4核心。

通常,在Linux中,我们有两种方法来创建这样的内存空间。



  • 使用DMA内存空间,这是使用CMA(连续内存分配器)。
  • 在DTS文件中预定义了一个保留的内存空间。


 

这里我们建议使用DMA内存空间。它更灵活。我们不需要分配一个保留的内存空间,我们可以释放分配的空间。同时,我们可以得到实际地址。

对于这种情况,函数dma_alloc_coherent()是一个理想的函数。

在此基础上,我们创建了一个远程核心共享内存驱动程序,它可以帮助用户分配、读写DMA相干内存空间。


❸ AMP优化

默认情况下,当检测到M4时,内核启用所有模块的时钟。所以SOC电流会很大。在i.mx8M上,电流大约是500毫安。

因此在内核中,我们需要启用m4程序所需的时钟,并对所有其他模块的时钟进行使能。


❹ Linux低功率音频应用程序设计

下图表明低功耗播放音频功能的模块间的关系

 

1. 低功耗播放程序

低功耗播放程序将解码mp3文件,并在M4核心上播放该文件。

在本程序中,我们将:

 


  • 解码mp3音频文件。
  • 复制解码数据到共享内存空间。
  • 将已分配缓冲区的物理地址发送到M4核心。
  • Linux休眠,等待唤醒信号。
  • 当播放结束时,MU中断信号唤醒Linux。


 

2.低功耗录音程序

低功耗录音程序将接收M4核心上的声音,并在“A53”核心上保存PCM原始数据。

程序将:



  • 分配足够的共享内存空间。
  • 将已分配缓冲区的物理地址发送到M4核心。
  • Linux休眠,等待唤醒信号。
  • 当录音完成时,MU中断信号唤醒Linux。
  • 从共享内存空间获得音频数据并保存到文件。


 

3.Decode mp3音频文件

在这个程序中,我们使用gstreamer解码mp3文件到PCM原始数据。


4.复制解码数据到共享内存空间

在这里,我们将使用远程核心共享内存驱动程序将PCM原始数据复制到一个连续的内存空间。


5.将已分配缓冲区的物理地址发送到M4核心

使用RPMSG字符设备发送物理地址的缓冲区到M4核心。

这里我们强调,通常,在一个核心和M4核心之间应该有一个协议。使用RPMSG字符设备,可以在用户空间中实现协议。例如,在低功耗播放程序中,为了访问远程M4核上的音频设备,我们创建了一个音频请求和响应协议。


6. Linux 内核休眠

在Linux中进入挂起模式的命令是:

echomem > /sys/power/state


7. Linux 内核唤醒

在ATF补丁中,我们添加了MU中断作为唤醒源。当Linux内核从M4核得到MU中断时,它将被唤醒。


❺ 在Cortex-M4核上的音频服务

在Cortex-M4内核上创建了一个音频服务器示例。音频服务在低功耗应用程序中,A53和M4之间定义的协议中,实现的是播放或录制的功能。


03、运行低功率音频的程序示例

本章介绍了运行低功率音频的程序示例

❶ ATF 低功耗补丁

ATF实现了功率状态协调接口(PowerState Coordination Interface, PSCI),并具有低功耗的特性。

在默认BSP发行版的Linux内核中,它将会使Cortex-A53内核和Cortex-M4内核同时处于挂起模式。因此ATF需要一个补丁来配合低功耗应用。

ATF补丁将阻止DDR进入retention模式,并且不禁用PLLs


❷ 重新编译内核和驱动

在内核中,加上RPMSG字符设备驱动程序和远程内核共享内存驱动程序的补丁。


❸ 编译低功耗音频应用

编译低功耗音频应用


❹ 编译Cortex-M4核应用

Cortex-M4应用是由IAR开发的,IAR并打开音频服务器示例并编译。


❺ 准备好测试环境

连接好A核和M4核调试串口


❻ 启动uboot运行M4核音频服务程序

 

 

在M4核调试串口可以看到

 


❼ 运行低功耗音频应用

当音频服务在M4内核上运行时,在u-boot中引导内核。

安装RPMSG字符设备和远程核心共享内存驱动程序。

 

运行./lp_play./ xxxxx .mp3启动低功耗播放。


调试信息:

解码

 

播放并睡眠

唤醒

 

运行./lp_record启动低功耗录音。录音的数据将保存为audio_rect.tmp。

04、时间消耗

在低功率音频解决方案中,数据在A53核解码,然后M4核播放。在核之间的协议通信中有一些时间损失。我们试着计算一下这个解的时间损失。

在这个例子中,我们将以两种方式播放48kbps,22050 Hz的steromp3文件,A53核直接播放和M4核通过RPMSG播放。将比较从使用gstreamer打开文件到播放的持续时间。仅对播放进行测试,用户可以根据回放情况对录音进行评估。

播放方法

步骤

延时

A53直接播放

GST Decode -> A53 Playback

116.410ms

M4播放使用RPMSG

GST Decode to Shared Buffer -> Send Msg to M4 -> M4 Playback

467.560ms

由于低功耗音频播放将做额外的操作,如解码mp3到文件,分配CMA缓冲区,将音频数据从文件到缓冲区,然后从缓冲区到CMA缓冲区,需要一些额外的时间,大约350毫秒。

可以对低功耗播放的其他操作进行一些优化,比如在GST解码中使用appsync,它将把mp3数据直接解码到缓冲区中,通过这种方式,额外的时间可以减半。

05、功耗测试

本章对使用或不使用低功率音频比较了功耗。仅对播放进行测试,用户可以根据播放情况对录音进行评估。


正常播放

i.MX8MQ GA EVK low power audio dtb, no display, eth down, SDCard boot, idle

 

ARM

SOC

GPU

VPU

DRAM

NVC DRAM

电压(V)

0.896

0.877

0

0

0.992

1.096

播放电流(mA)

65

205

0

0

135-446.4

70

功耗

58.24

179.785

0

0

148.8

71

总功耗

458.065

低功耗音频播放

i.MX8MQ GA EVK low power audio dtb, no display, eth down, SDCard boot, idle

 

ARM

SOC

GPU

VPU

DRAM

NVC DRAM

电压(V)

0.896

0.877

0

0

0.992

1.096

播放电流(mA)

5

230

0

0

150

70

功耗

4.48

201.74

0

0

148.8

71

总功耗

426.26

 

注:本文来自NXP提供的ApplicationsNote AN12195

 

点击此处进入飞凌嵌入式官网>>,了解关于FETMX8MQ-C核心板的更多信息。

 


 www.forlinx.com

点个在看,坐等更多干货~

 

相关产品 >

  • OKMX8MQ-C开发板

    飞凌嵌入式提供基于 NXP/Freescale iMX8、i.MX 8MQ处理器设计ARM核心板FETMX8MQ-C。i.MX8M处理器具有音频、语音和视频处理功能,飞凌iMX8核心板充分发挥NXP iMX8 系列 ARM 处理器性能,对功能做了优化。提供10~15年产品长期供货计划。工作环境温度为-40℃~85℃,满足工业及泛工业场景应用。 了解详情
    OKMX8MQ-C开发板
  • FETMX8MQ-C核心板

    基于 NXP/Freescale iMX8、 iMX8X、i.MX 8MQ处理器的ARM核心板。 四核ARM Cortex-A53 ,主频最高1.3GHz,板载2GB RAM,8GB ROM;工作环境温度为-40℃~85℃,满足工业及泛工业场景应用。i.MX8M处理器具有音频、语音和视频处理功能,提供高水平的音频保真度,适用于无风扇运行,散热系统成本低、电池寿命长。具有高速接口可提供灵活连接等优势,并且提供10~15年产品长期供货计划。
    了解详情
    FETMX8MQ-C核心板
  • OKMX8MP-C开发板

    内置NPU、ISP,AI计算能力高达2.3TOPS|飞凌嵌入式i.MX8MP 系列-NXP iMX8M Plus 开发板 基于高性能低功耗工业级iMX8MP核心板设计,支持多种多种高速通信接口。iMX8MP开发板内置NPU,AI计算能力2.3TOPS,支持4K,支持双图像信号处理器(ISP),是一款支持LinuxQT/android操作系统的iMX8MP开发板。

    了解详情
    OKMX8MP-C开发板
  • FETMX8MP-C核心板

    iMX8MP核心板基于 NXP  i.MX 8M Plus 处理器设计,  采用4核Cortex-A53 和 Cortex-M7架构。支持双千兆网口,iMX8MP性能强劲最高运行速率可达2.3TOPS,并且i.MX8MP功耗更低≤2W 。iMX 8M Plus系列专注于机器学习和视觉、高级多媒体以及具有高可靠性的工业自动化。它旨在满足智慧家庭、楼宇、城市和工业4.0应用的需求。飞凌iMX8MP核心板提供用户手册,iMX8MP原理图,引脚定义等。
    了解详情
    FETMX8MP-C核心板

推荐阅读 换一批 换一批