TensorRT之TX2部署TensorFlow目标检测模型
最新推荐文章于 2024-05-06 23:28:38 发布
宗而研之
最新推荐文章于 2024-05-06 23:28:38 发布
阅读量2.2w
收藏
123
点赞数
11
最新推荐文章于 2024-05-06 23:28:38 发布
阅读量2.2w
收藏
123
点赞数
11
超级会员免费看
参考：https://github.com/jkjung-avt/tf_trt_models/tree/tf-1.8
在 之前的文章中，详细介绍了tensorflow目标检测接口的使用方法，包括训练与推理流程，该工作主要是在服务器端完成的，而我们实际应用的时候，推理不一定发生在服务器上，而可能是TX2等终端设备，因此，在TX2上进行模型的推理加速，对于实际应用很有必要。
幸运的是，nvidia已经针对推理加速提供了一套框架tensorrt，关于 tensorrt的介绍，我之前也提到过，这里不再赘述，本文主要讲解如何在TX2上应用tensorrt来对目标检测模型进行加速。
注意：本文介绍的tensorrt加速方法与官网介绍的有区别，不是在x86主机上生成uff文件然后导入到TX2上，而是直接在TX2上用tensorrt优化生成pb文件，然后按照传统的方法读入推理（关于第一种实现方法，有时间会尝试）
1 环境准备
TX2刷机JetPack3.3，安装时注意勾选TensorRT
tensorflow-gpu 1.8（1.8版本支持最友好，1.9/1.10等会有各种问题），安装方法参考《
订阅专栏 解锁全文
8457
人工智能领域优质创作者
到【灌水乐园】发言
良睿: 这个版本的安装包有吗，git上下架了
starDuXingYue: 说得对，python3实测可以，例如这样修改： msg = str(time.time()) sockLocal.send(msg.encode()) print("send msg ok : ", msg) recData = sockLocal.recv(1024).decode()
qq_57429775:
你找到问题了没？到底为什么
_花花: 测试中发现，该方案只有一级推理的时候运行是正常的，如果增加一个二级推理帧率会一直是0，而rtsp推流不管几级推理都能正常运行。是不是有什么参数要改动？还有有什么注意实现？希望博主有空的话帮忙看看。
暮夜星空: 兄弟，找到方法了嘛