体态识别算法在 Android 端部署实例

背景介绍

随着软硬件技术的发展,智能穿戴式设备逐渐从概念走向商用化。在过去几年内,Google、Apple以及Sony等科技公司在体积、功耗控制以及成本等方面做得越来越好,推出了一大批可穿戴产品,具有代表性的成果有:1. 智能手环:产品具备运动监测、睡眠监测、心率测量以及震动唤醒等功能;2. 智能眼镜:广泛应用于VR、AR领域。

近来,在哔哩哔哩上看到一个很有趣的成果:项目中将陀螺仪集成到狗狗衣服内,后续通过无线的方式将关节数据传输给手机APP,在手机端通过人工智能算法识别狗的运动状态,并且通过three.js将结果进行可视化。整个项目主要包含硬件和软件两部分,其中硬件部分主要是对传感器的输出信号进行采集,前期文章中具有详细描述,具体可以参考:数据采集版以及血压信号采集等;近来,想要在软件方面做一些初期工作,将深度学习模型集成到Android 端,具体过程如下所示:

图1 体态识别算法的应用实例

附1、不管是现阶段非常火的机器学习,还是研究生阶段从事的有限元模拟,其本质都是如何利用数据,让数据发挥应有的价值。

系统框架

前期推文中详细介绍了体态识别算法的原理、模型的训练过程以及算法的应用实例等,然而如何将模型部署到手机端是一个亟待解决的问题。调研发现,项目实施过程主要包含:1. 将现有的checkpoints模型文件转化为 .tflite文件;2. 在 Android 端加载 .tflite文件,具体过程如下所示:

图2 体态识别算法在Android 端部署实例

深度学习模型格式转化

预想中这部分应该没有任何难度,通过几行代码就能实现模型格式转化,奈何实际执行过程中一直报错,显示找不到相应的库函数,场面一度极为尴尬。因为环境问题折腾了大半天,最后将tensorflow升级到1-14版本,成功解决该问题(在此记录一波,希望大家能够少走弯路)~

converter = tf.compat.v1.lite.TFLiteConverter.from_session(sess, [X], [y_pred_softmax])
tflite_model = converter.convert()
open("converted_model.tflite", "wb").write(tflite_model)

程序运行后能够自动输出 .tflite文件,具体如图3所示:

图3 模型转换结果文件

深度学习模型在Android 端的部署

近来在同学小A的帮组下,将深度学习模型部署在Android studio 内。我们通过调用 'org.tensorflow:tensorflow-lite-support:0.1.0'实现 .tflite 模型的加载,后续编写数据接口函数,对硬件端传输的数据进行解算,并作为输入参数传递给深度学习模型,图4展示了模型的预测结果(与Linux端部署完全一致)。

图4 深度学习在Linux端部署时的预测结果

项目中用到的程序代码为:

val outputs = model.process(inputFeature0)
            val resultByteBuffer = outputs.outputFeature0AsTensorBuffer.buffer
            val arr = ByteArray(resultByteBuffer.limit())
            resultByteBuffer.position(0)
            resultByteBuffer.get(arr, 0, arr.size)
            findViewById<TextView>(R.id.tv_result).apply {
                text = "原始数据: ${arr.contentToString()}\n解析数据: ${Utils.byteArrayToFloatArray(arr).contentToString()}"
            }
            model.close()

原文地址:https://cloud.tencent.com/developer/article/2171936

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐


学习编程是顺着互联网的发展潮流,是一件好事。新手如何学习编程?其实不难,不过在学习编程之前你得先了解你的目的是什么?这个很重要,因为目的决定你的发展方向、决定你的发展速度。
IT行业是什么工作做什么?IT行业的工作有:产品策划类、页面设计类、前端与移动、开发与测试、营销推广类、数据运营类、运营维护类、游戏相关类等,根据不同的分类下面有细分了不同的岗位。
女生学Java好就业吗?女生适合学Java编程吗?目前有不少女生学习Java开发,但要结合自身的情况,先了解自己适不适合去学习Java,不要盲目的选择不适合自己的Java培训班进行学习。只要肯下功夫钻研,多看、多想、多练
Can’t connect to local MySQL server through socket \'/var/lib/mysql/mysql.sock问题 1.进入mysql路径
oracle基本命令 一、登录操作 1.管理员登录 # 管理员登录 sqlplus / as sysdba 2.普通用户登录
一、背景 因为项目中需要通北京网络,所以需要连vpn,但是服务器有时候会断掉,所以写个shell脚本每五分钟去判断是否连接,于是就有下面的shell脚本。
BETWEEN 操作符选取介于两个值之间的数据范围内的值。这些值可以是数值、文本或者日期。
假如你已经使用过苹果开发者中心上架app,你肯定知道在苹果开发者中心的web界面,无法直接提交ipa文件,而是需要使用第三方工具,将ipa文件上传到构建版本,开...
下面的 SQL 语句指定了两个别名,一个是 name 列的别名,一个是 country 列的别名。**提示:**如果列名称包含空格,要求使用双引号或方括号:
在使用H5混合开发的app打包后,需要将ipa文件上传到appstore进行发布,就需要去苹果开发者中心进行发布。​
+----+--------------+---------------------------+-------+---------+
数组的声明并不是声明一个个单独的变量,比如 number0、number1、...、number99,而是声明一个数组变量,比如 numbers,然后使用 nu...
第一步:到appuploader官网下载辅助工具和iCloud驱动,使用前面创建的AppID登录。
如需删除表中的列,请使用下面的语法(请注意,某些数据库系统不允许这种在数据库表中删除列的方式):
前不久在制作win11pe,制作了一版,1.26GB,太大了,不满意,想再裁剪下,发现这次dism mount正常,commit或discard巨慢,以前都很快...
赛门铁克各个版本概览:https://knowledge.broadcom.com/external/article?legacyId=tech163829
实测Python 3.6.6用pip 21.3.1,再高就报错了,Python 3.10.7用pip 22.3.1是可以的
Broadcom Corporation (博通公司,股票代号AVGO)是全球领先的有线和无线通信半导体公司。其产品实现向家庭、 办公室和移动环境以及在这些环境...
发现个问题,server2016上安装了c4d这些版本,低版本的正常显示窗格,但红色圈出的高版本c4d打开后不显示窗格,
TAT:https://cloud.tencent.com/document/product/1340