AI推理功能介绍 - xia-chu/zlmediakit-pro GitHub Wiki

功能介绍

• 支持yolo推理插件，支持人员、车辆等目标AI识别，支持目标跟踪，支持多边形布防，支持ocr，支持c++/python插件快速混合开发。
• 支持tensorRT 全cuda加速推理。
• 支持onnxruntime(cpu/gpu) 推理。
• python插件支持调用c++接口操作流媒体与绘制当前视频画面。

目前该功能通过视频处理插件实现，编译和依赖环境复杂，暂只支持合作定制开发。

目标识别

目标跟踪

ocr识别

极低延时

支持的python api:

以下绘制接口都支持cuda加速，直接显存操作

# 绘制半透明多边形填充区域
py_loader.plugin_loader.fillPoly(context, 0x8FFFFFFF, star_points)
# 绘制多边形
py_loader.plugin_loader.polylines(context, 0x00FF0000, 1, star_points)
# 绘制文字
py_loader.plugin_loader.draw_text(context, "ZLMediaKit pro AI演示", 48, 40, 2, 0x00FF0000, 0x00FFFFFF)
# 指定区域马赛克
py_loader.plugin_loader.draw_mosaic(context, bbox[0], bbox[1], bbox[2] - bbox[0] , bbox[3] - bbox[1], 10)
# 指定区域截图
py_loader.plugin_loader.crop_image(context, bbox[0], bbox[1], bbox[2] - bbox[0] , bbox[3] - bbox[1], 0)
# 录制事件视频
py_loader.plugin_loader.start_record(context, "/path/to/out.mp4", 5000, 5000)
# 绘制矩形
py_loader.plugin_loader.draw_rect(context, 300, 300, 500, 500, 0x00FF0000, 5)
# 获取指定区域的目标
py_loader.plugin_loader.get_detections(context, [])
# 更新目标信息
py_loader.plugin_loader.update_detections(context, detections)
# 获取当前视频相关元数据
py_loader.plugin_loader.get_meta(context, "height")
# 发送sei信息
py_loader.plugin_loader.send_sei(context, "sei data from python plugin sei data from python plugin sei data from python plugin")
# ... 其他接口不一一举例