AI性价比之最、国产化后浪香橙派 AIpro深度体验
目录
- 前言
- 硬件上手分析
- 第一印象
- 硬件参数分析
- 主控猜测
- 电源分析
- 壳子分析
- 软件测试
- tf卡镜像烧录与上电开机
- 板卡的连接
- 芯片确认与算力测试
- 体验AI应用样例
- 大模型试用
- CPU性能测试与升级
- 其他试用记录
- SATA SSD启动
- 使用感受与场景需求分析
- 使用感受
- 场景需求分析
- 无人机应用场景
- 智慧城市IOT领域
- 总结
前言
最近因为某些原因接触到了香橙派和昇腾团队深度合作的有意思的开发板,在大模型、图像识别、AI盛行的今天,边缘设备向着智能化高速发展,华为昇腾团队有着极深的技术储备,有了爆火的Atlas200模块的社区框架积累,如今出现了极具性价比的后浪香橙派AIpro,这次有幸能够第一时间拿到一块测试板卡用来测试,本文将趁此机会进行一波深入体验。同时本文的问题记录板块会不定时更新,作为板卡的持续关注者给到更多资料。
硬件上手分析
第一印象
本次拿到的产品是香橙派AIpro本体、65w pd充电器(带线)、散热模组以及32G内存卡,其中散热模组和tf卡已经安装好一起出现在密封包装中,这个还是省去了不少麻烦的,并且充电器包含了5V/3A、9V/3A、12V/3A、15V/3A、20V/3.25A这几个常见的电压挡位,兼容性比较强,实测也可以用来给手机、笔记本充电成功激发快充还是非常不错的,在外出的时候可以说一套充电器解决所有问题。
硬件参数分析
主控猜测
芯片方面拆开可以发现丝印为Hi1910 GFV100B,查询资料之后发现关于这个丝印的信息极少,但是有相关资料表示atlas200 模块的丝印为Hi1910 GFV100,而根据官方的介绍为8Tops算力与昇腾团队推出的Atlas200i A2的纸面数据类似,且有资料表示此芯片为昇腾310B主控,由此推测Hi1910 GFV100B代表的就是昇腾310B主控。且根据官方原理图框图结合昇腾Atlas 200I A2 加速模块资料猜测应该合理。那么硬件方面就是
- 1个DaVinciV300 AI core主频是0.5GHz
- 4个TAISHANV200M处理器核主频是1.0GHz
电源分析
查阅一番原理图,发现采用的是HUSB238进行的协议诱骗,由于VSET和ISET两个引脚都是悬空所以选择电压为能输出的最大值,而上面框图发现整体电源输入为12V,那么理论上我手边的这个12V的充电器也可以使用,理论成立开始实践,这两天的测试也没有发现什么重启死机问题,应该可以正常使用,但是详细的功率测试由于没有功率计暂时无法测试,待日后做一个补充。
壳子分析
刚好手边有半个壳体就装上去了,官方的金属壳体手感还是不错的,装好的效果就是如右图所示,同时黑色部分为塑料用于粘贴天线防止金属壳体干扰wifi、蓝牙信号,这个地方还是非常细节了,整体质感满满,之前用其他香橙派的时候就特别喜欢官方的腔体。
软件测试
大部分使用测试其实可以使用官方用户手册,在下方直达链接点击选择用户手册下载即可,相对比较详细。
tf卡镜像烧录与上电开机
附赠的tf卡内其实已经完成了镜像烧录,但是是ubuntu系统,国产化后浪怎么能不尝试openEuler操作系统呢?于是官方下载烧录,直达链接选择下载openEuler镜像即可,根据教程使用balenaEtcher进行烧录即可。
上点开机就是tf卡插入tf卡槽,注意背后的拨码开关需要两个都是R否则无法开机,这里其实作为嵌入式开发一般会使用串口来进行调试,但是这个板子的一个槽点就是自带的usb转ttl串口竟然用的miscrousb连接线,这个我烦了很久手边也没有这个线,其实可以统一成typec的,这样也能减少线材了。判断是否成功进入系统有几个小技巧:
- 风扇转速不再是高速
- 插入网线lan口灯开始闪烁
板卡的连接
由于我实在没有多余的显示器,我这里采用网络的连接方式,将网线连接到板卡后即可进行连接,板卡默认采用DHCP方式,所以我们只要知道板卡分配到的ip即可,我这里常用的方法就是进入路由器管理界面,然后进入后台可以查看到香橙派AIpro对应的设备orangepiaipro,点击即可查看相应的ip。
然后就可以采用任何你喜欢的方式进行板卡的连接了,比如进入终端输入ssh HwHiAiUser@xxx.xxx.xx.xx即可,密码对应为Mind@123,当然我这里喜欢使用mobaxterm进行连接这也是官方推荐的连接方式,下载可以去上面的连接里找到官方工具即可。
![img]https://devpress.csdnimg.cn/1c63db27ed294093b3a84402157a09c5.png "#left")
芯片确认与算力测试
在进入系统后输入npu-smi info即可查看芯片,这里显示的是310B4与前面推测基本类似,但是这里功耗没显示应该是固件适配还有一些不完全,这也是后续需要优化的点。
此片子算力测试是依赖于mindx的toolbox,输入ls /usr/local/Ascend/ascend-toolkit可以查看自带的cann版本,然后在此选择下载,具体选择如下图所示,注意版本对应,未来更新可能版本不同,华为依赖关系比较严重,需要注意。
下载后传输到板卡进行安装,过程可能让你输入y/n输入y即可,命令如下:
sudo su #切换到root用户 chmod +x Ascend-mindx-toolbox_5.0.0.3_linux-aarch64.run ./Ascend-mindx-toolbox_5.0.0.3_linux-aarch64.run --install
顺利的话应该可以看到如下输出:
然后进行算力测试(需要先source环境变量):
可以看到结果是满足官方宣称的8T算力的,且有4T float16的算力。与官方宣称一致,但是这个是华为自身提供是算力测试,准确性有点商榷,但是可以证明一个基础的算力。
体验AI应用样例
其实按照官网手册就可以有详细的体验过程,但其针对的是有显示器的用户我没有,经过研究可以输入如下的指令进行体验:
cd samples/notebooks ./start_notebook.sh 0.0.0.0
这个过程多的就是后面的参数0.0.0.0表示绑定到任意ip,这样我们就可以进行局域网的访问了。我们需要将提示中的连接的orangepiaipro替换为我们板卡的ip即可正常访问。下图以yolov5的视频识别为例展示的gif。
大模型试用
翻了很久的论坛找到一个可用的大模型,连接在这,按照教程里面的步骤即可体验大模型的玩法:
git clone https://gitee.com/wan-zutao/tiny-llama-manual-reset.git tiny_llama cd tiny_llama/inference bash download.sh python3 main.py
CPU性能测试与升级
按照官方的说法,CPU采用的是4个TAISHANV200M处理器核主频是1.0GHz,但是这个处理器基本上没听过,经过一番查询可以发现其Part ID与Cortex-A34相同,竟然还是ARM-V8A架构,但是不常见。
我们进行一下性能测试,但是注意到官方文档需要调整AICPU和Control CPU数量,默认为1:3,为了测试4核心的性能,这里调整为0:4,具体查询调整命令如下:
npu-smi info -t cpu-num-cfg -i 0 -c 0 sudo npu-smi set -t cpu-num-cfg -i 0 -c 0 -v 0:4:0
调整后重启生效,我们进行多核和单核sysbench 测试,得到如下图所示:
508/2020的性能看起来还是不错的,但是这个是系统默认固件,无意间逛游小破站发现OrangePi香橙派官方账号说能超频,这必须试一把呀,经过一番折腾,在官方下载的文件里找到了Ascend310B-firmware-7.3.t3.0.b309-rc-signed-8t-1.6ghz-20240428.run这个文件,直接参考官网说明操作升级固件:
sudo su chmod +x ./Ascend310B-firmware-7.3.t3.0.b309-rc-signed-8t-1.6ghz-20240428.run ./Ascend310B-firmware-7.3.t3.0.b309-rc-signed-8t-1.6ghz-20240428.run --full
升级成功图如下所示(提示了需要重启才能生效):
重启后按理说就能够开启1.6Ghz的超大杯,于是赶紧尝试,一阵风扇狂转后成功落地,再次连接测试:
在超频后已经可以追上一点RK3588的尾巴了,0元购的性能谁不爱呀,将所得到的结果统一如下图所示:
AIpro(1Ghz) AIpro(1.6Ghz) RK3588 单核 508 794 975 多核 2020 3245 5296 升级固件还是非常顺利的,但是固件升级后如果没有旧固件是无法回退的,索性新版固件没有什么bug,也相信官网能够提供稳定固件,固件的查询方式如下图所示(两边系统不一样,左边是新的,右边为老的,更新的固件应该在spi flash里面,我可以查询是我有两块板子):
其他试用记录
SATA SSD启动
板子支持M2接口的SATA固态盘进行启动,SD卡那个可怜的读写速度和容量有点着不住,所以尝试试用固态盘进行启动,请忽视我杂牌的固态,按理说sata协议的都能支持,大体其实和官方说明差不多,但是有细微的区别。首先前提是可以TF卡启动。
修改设备树使得可以认到sata盘。
cd /opt/opi_test/sata/ ./update.sh
系统会自动重启,然后就可以认到固态盘了,然后通过网络将镜像传输到板卡上,我这里没有图形界面不好用balenaEtcher工具进行烧录,所以简单粗暴直接试用dd进行烧录,但是需要注意tf卡只有32g如果先解压再dd空间完全不够,所以可以试用xzcat命令进行,具体命令如下:
zcat opiaipro_openEuler22.03_desktop_aarch64_20240423.img.xz | sudo dd of=/dev/sda bs=32K status=progress sudo dd if=/opt/opi_test/dt_img/dt_drm_sata.img of=/dev/sda count=4096 seek=114688 bs=512 #替换设备树
然后直接重启,此步骤需要注意调整跳线帽为R、L才能试用ssd进入到系统内。此时再查看系统盘大小已经是110G的固态大小了。并且我之前更新的固件也是不会掉的因为是在spi flash内,可以理解不可清空cmos的bios。
使用感受与场景需求分析
使用感受
非常典型的昇腾支持的感觉,如果你曾经从Atlas200模块玩上来你会感觉到什么叫做无缝切换,这个就是曾经模块的国产化替代以及极致性价比方案,并且从AI方面来讲,完全可以查看官方Atlas200I DK A2开发者套件的文档,不能说一模一样,只能说完全相同,毕竟用的都是同样的片子。
另一方面就是香橙派团队了,这方面从超频固件的更新就能看出团队的用心,这个是在昇腾官方团队的开发者套件上都没享受到的服务竟然香橙派先体验到了说明香橙派团队对底层软件和昇腾生态的深挖给用户带来了非常惊喜的功能点,不过有一个建议就是接口尽量全部统一能让用户用起来更舒服一些的(我就是在说那个串口 我是真没有miscro USB线缆。
场景需求分析
无人机应用场景
由于一些经历我最先想到的就是无人机场景的应用,小型旋翼无人机有大量的视觉识别需求,包含目标检测追踪等,使用香橙派AIpro能够利用其昇腾AI处理器进行图像的识别,同时其能够提供的双路4lane MIPI摄像头输入也增强了其边缘计算能力。
还有一个惊喜点在于板卡提供了BAT+、BAT-的电源接口,这对于试用电池供电的无人机试用场景来说是一个非常方便的点,只要将电源焊接在相应触点上即可。并且无人机大多数场景会试用3S/4S电池,试用3S电池时应该可以直接供电使用,非常方便。
智慧城市IOT领域
这里会牵扯到多个方向,如智慧停车场的车牌识别与追踪,然后操控闸机进行放行。智能家居的音响、陪伴机器人使用NPU来实现图像、语音识别然后结合大语言模型可以极大的提高人们的便捷程度。且香橙派AIpro自带的wifi 蓝牙模块通过软件调教可以作为ap接入点的同时作为蓝牙网关,整合智能家居生态。
总结
香橙派AIpro的出现,是昇腾对过往模块的国产化探索,也是对过往AI芯片的总结,才能展现出如此强大的CANN、TOOLKIT支持力度,同时香橙派团队的开发板创作功底无疑增强了其商业化实力,将一款极具性价比与实力的开发板带到了我们面前,在AI、大模型、边缘计算高速发展的今天让我们有机会去思考能做怎样的应用。此文是一次测评也是为日后制作相关方案的一次经验积累。期待香橙派与昇腾团队能对此板卡优化出更强的能力。