Knight 工具链使用指南

Knight 工具链

• 1. 修改记录
  • 1.1. 支持芯片
• 2. 使用指南综述
  • 2.1. Knight介绍
    • 2.1.1. 概述
    • 2.1.2. 整体框架
    • 2.1.3. 开发流程
      • 2.1.3.1. AI全栈应用开发流程
      • 2.1.3.2. 模型资源生成开发流程
    • 2.1.4. 软件包目录
    • 2.1.5. 相关文档
  • 2.2. 安装部署
    • 2.2.1. 准备docker环境
      • 2.2.1.1. 自动更新安装docker
      • 2.2.1.2. Ubuntu 16手动安装docker
    • 2.2.2. 加载镜像文件
    • 2.2.3. 查看镜像
    • 2.2.4. 运行镜像
      • 2.2.4.1. 镜像用户
      • 2.2.4.2. 运行命令参数介绍
      • 2.2.4.3. 运行示例
    • 2.2.5. 库文件使用说明
  • 2.3. 支持芯片
  • 2.4. Knight使用方式
    • 2.4.1. Knight命令介绍
    • 2.4.2. 配置文件介绍
  • 2.5. Knight compare工具
    • 2.5.1. 参数说明
    • 2.5.2. 使用示例
  • 2.6. 小工具介绍
    • 2.6.1. show_sim_result工具
      • 2.6.1.1. 参数说明
      • 2.6.1.2. 使用示例
    • 2.6.2. model_modifier工具
      • 2.6.2.1. 参数说明
      • 2.6.2.2. 使用示例
    • 2.6.3. model_info工具
      • 2.6.3.1. 参数说明
      • 2.6.3.2. 使用示例
    • 2.6.4. model_check.py工具
      • 2.6.4.1. 参数说明
      • 2.6.4.2. 使用示例
  • 2.7. 算子介绍
  • 2.8. FAQ
    • 2.8.1. 退出docker容器后恢复工作环境
    • 2.8.2. Knight命令行重复输入--chip
    • 2.8.3. docker权限问题
    • 2.8.4. Knight容器能否使用非root权限启动
    • 2.8.5. Knight镜像如何增量更新
  • 2.9. 附录
• 3. 快速上手指南
  • 3.1. Knight demo介绍
  • 3.2. 简介
  • 3.3. 开发环境准备
    • 3.3.1. 准备docker环境
    • 3.3.2. 加载镜像文件
    • 3.3.3. 查看镜像
    • 3.3.4. 运行镜像
  • 3.4. Knight命令说明
  • 3.5. 模型转换配置文件示例
  • 3.6. 模型转换命令执行
  • 3.7. 仿真命令执行
    • 3.7.1. 输入数据准备
    • 3.7.2. 仿真模型推理
    • 3.7.3. 输出数据后处理
    • 3.7.4. 性能评估
  • 3.8. 板端运行
    • 3.8.1. 相关文件说明
    • 3.8.2. demo交叉编译
    • 3.8.3. 板端环境搭建及部署
      • 3.8.3.1. 板端环境准备
      • 3.8.3.2. 板端运行
  • 3.9. 功能特性说明
    • 3.9.1. 数据预处理说明
      • 3.9.1.1. 预处理配置说明
      • 3.9.1.2. 多输入模型配置说明
    • 3.9.2. 模型输出说明
      • 3.9.2.1. 后处理裁剪
      • 3.9.2.2. 增加反量化层
    • 3.9.3. 模型输入说明
      • 3.9.3.1. 归一化放入模型首层
• 4. 量化使用指南
  • 4.1. 量化介绍
  • 4.2. 工具简介
  • 4.3. 程序功能
  • 4.4. 参数说明
  • 4.5. ONNX模型量化
    • 4.5.1. demo示例
      • 4.5.1.1. 量化demo模型
      • 4.5.1.2. 数据预处理使用示例
      • 4.5.1.3. 量化时自动在输入后实现减均值除方差操作
      • 4.5.1.4. 量化QDQ模型
      • 4.5.1.5. 多量化模式和iteration进行量化
      • 4.5.1.6. 自动混合量化
      • 4.5.1.7. 多量化模式和iteration进行量化
      • 4.5.1.8. ts-drop使用示例
    • 4.5.2. 量化新模型
      • 4.5.2.1. ONNX定义前向推理函数
      • 4.5.2.2. 注册前向推理函数
      • 4.5.2.3. 执行量化命令进行量化
    • 4.5.3. 混合量化
      • 4.5.3.1. 生成混合量化模板json配置文件
      • 4.5.3.2. 更新混合量化json配置文件
      • 4.5.3.3. 指定混合量化配置文件开展混合量化
      • 4.5.3.4. 自动生成混合量化配置文件
  • 4.6. Pytorch模型量化
    • 4.6.1. demo量化
    • 4.6.2. 量化新模型
      • 4.6.2.1. 模型转换
      • 4.6.2.2. 定义前向推理函数
      • 4.6.2.3. 执行量化命令进行量化
    • 4.6.3. 量化QAT模型
      • 4.6.3.1. 定义前向推理函数
      • 4.6.3.2. 执行量化命令进行量化
    • 4.6.4. 约束条件
  • 4.7. Caffe模型量化
    • 4.7.1. caffe demo量化
    • 4.7.2. 量化新模型
      • 4.7.2.1. 模型转换
      • 4.7.2.2. 定义前向推理函数
      • 4.7.2.3. 执行量化命令进行量化
  • 4.8. PaddlePaddle模型量化
    • 4.8.1. demo量化
    • 4.8.2. 量化新模型
      • 4.8.2.1. 模型转换
      • 4.8.2.2. 定义前向推理函数
      • 4.8.2.3. 执行量化命令进行量化
  • 4.9. Tensorflow模型量化
    • 4.9.1. demo量化示例
    • 4.9.2. 量化新模型
      • 4.9.2.1. 模型转换
      • 4.9.2.2. 定义前向推理函数
      • 4.9.2.3. 执行量化命令进行量化
  • 4.10. 量化后模型路径
  • 4.11. 测试量化后模型精度
  • 4.12. 注意事项
• 5. 编译仿真性能分析使用指南
  • 5.1. 简介
  • 5.2. 开发流程
  • 5.3. Knight编译器
    • 5.3.1. 概述
    • 5.3.2. 编译步骤
    • 5.3.3. 使用说明
      • 5.3.3.1. 命令格式
      • 5.3.3.2. 参数说明
      • 5.3.3.3. compile部分参数详细说明
      • 5.3.3.4. --input-indep参数说明流程图
      • 5.3.3.5. 输出文件
      • 5.3.3.6. ErrorCode
  • 5.4. Knight RNE模拟器
    • 5.4.1. 概述
    • 5.4.2. 使用说明
      • 5.4.2.1. 命令格式
      • 5.4.2.2. 参数说明
      • 5.4.2.3. 输出文件
  • 5.5. Knight RNE性能分析器
    • 5.5.1. 概述
    • 5.5.2. 使用说明
      • 5.5.2.1. 命令格式
      • 5.5.2.2. 参数说明
      • 5.5.2.3. profiling部分参数详细说明
      • 5.5.2.4. 输出文件
  • 5.6. 支持算子列表
  • 5.7. 自定义算子
    • 5.7.1. 自定义算子流程
    • 5.7.2. 定义自定义算子
    • 5.7.3. 自定义算子函数
    • 5.7.4. 注册自定义算子函数
    • 5.7.5. 读取传入参数
    • 5.7.6. 内部支持的通用算子层
  • 5.8. 编译器IR图优化说明
  • 5.9. FAQ
    • 5.9.1. 模拟器仿真的三种format分别在什么时候使用？
    • 5.9.2. 什么原因会导致编译时间长？
    • 5.9.3. 模拟器仿真什么时候会处理时间长？
    • 5.9.4. 模拟器仿真结果如何查看？
    • 5.9.5. 模拟器输入的.bin资源如何生成？
    • 5.9.6. 如何正确设置编译器--output参数值？
    • 5.9.7. 编译器--transformer-opt使用场景？
    • 5.9.8. 编译器设置-sln/-eln注意事项
    • 5.9.9. 编译器 --input-order使用限制？
• 6. SDK使用指南
  • 6.1. RNE库介绍
    • 6.1.1. 库结构
    • 6.1.2. RNE-SIM-Lib
    • 6.1.3. RNE-RT-Lib
  • 6.2. API介绍
    • 6.2.1. 基础接口
      • 6.2.1.1. TS_MPI_TRP_RNE_InitResourceByType
      • 6.2.1.2. TS_MPI_TRP_RNE_OpenDevice
      • 6.2.1.3. TS_MPI_TRP_RNE_CloseDevice
      • 6.2.1.4. TS_MPI_TRP_RNE_DeviceIsOpened
      • 6.2.1.5. TS_MPI_TRP_RNE_LoadModel
      • 6.2.1.6. TS_MPI_TRP_RNE_UnloadModel
      • 6.2.1.7. TS_MPI_TRP_RNE_Forward
      • 6.2.1.8. TS_MPI_TRP_RNE_OnceLoad
      • 6.2.1.9. TS_MPI_TRP_RNE_GetBlobsBufSize
      • 6.2.1.10. TS_MPI_TRP_RNE_CStride
      • 6.2.1.11. TS_MPI_TRP_RNE_GetBlobCStride
      • 6.2.1.12. TS_MPI_TRP_RNE_GetResultBlobs
      • 6.2.1.13. TS_MPI_TRP_RNE_GetInputBlobs
      • 6.2.1.14. TS_MPI_TRP_RNE_GetHideBlobs
      • 6.2.1.15. TS_MPI_TRP_RNE_GetResVersion
      • 6.2.1.16. TS_MPI_TRP_RNE_GetWeightSize
      • 6.2.1.17. TS_MPI_TRP_RNE_GetCfgSize
      • 6.2.1.18. TS_MPI_TRP_RNE_SetTimeout
    • 6.2.2. 时间接口
      • 6.2.2.1. TS_MPI_TRP_RNE_NetBindTimeState
      • 6.2.2.2. TS_MPI_TRP_RNE_StartSysTimer
      • 6.2.2.3. TS_MPI_TRP_RNE_ReleaseTimeState
      • 6.2.2.4. TS_MPI_TRP_RNE_ResetTimeState
      • 6.2.2.5. TS_MPI_TRP_RNE_GetSysTimeUs
      • 6.2.2.6. TS_MPI_TRP_RNE_GetSysTimeMs
      • 6.2.2.7. TS_MPI_TRP_RNE_GetTotalTime
      • 6.2.2.8. TS_MPI_TRP_RNE_GetTimeOfForward
      • 6.2.2.9. TS_MPI_TRP_RNE_GetTimeAtGpLayer
      • 6.2.2.10. TS_MPI_TRP_RNE_GetTimeOfGpLayer
      • 6.2.2.11. TS_MPI_TRP_RNE_GetTimeOfHwLayer
    • 6.2.3. 日志接口
      • 6.2.3.1. TS_MPI_TRP_RNE_SetLogLevel
      • 6.2.3.2. TS_MPI_TRP_RNE_GetLogLevel
      • 6.2.3.3. TS_MPI_TRP_RNE_Debug
      • 6.2.3.4. TS_MPI_TRP_RNE_Info
      • 6.2.3.5. TS_MPI_TRP_RNE_Warn
      • 6.2.3.6. TS_MPI_TRP_RNE_Error
    • 6.2.4. 版本接口
      • 6.2.4.1. TS_MPI_TRP_RNE_GetSdkVersion
    • 6.2.5. VPE接口
      • 6.2.5.1. TS_MPI_TRP_RNE_VpeCreate
      • 6.2.5.2. TS_MPI_TRP_RNE_VpeConvert
      • 6.2.5.3. TS_MPI_TRP_RNE_VpeRelease
    • 6.2.6. 输入输出接口
      • 6.2.6.1. TS_MPI_TRP_RNE_FillInputBlobs
      • 6.2.6.2. TS_MPI_TRP_RNE_DumpOutputBlob
      • 6.2.6.3. TS_MPI_TRP_RNE_DumpOutputBlobs
      • 6.2.6.4. TS_MPI_TRP_RNE_FormatConversion
    • 6.2.7. 高级内存接口
      • 6.2.7.1. TS_MPI_TRP_RNE_SetCommonBlobsMemoryCache
      • 6.2.7.2. TS_MPI_TRP_RNE_GetCommonBlobsMemoryCacheStatus
      • 6.2.7.3. TS_MPI_TRP_RNE_AllocLinearMemCached
      • 6.2.7.4. TS_MPI_TRP_RNE_InvalidateLinearMemCached
      • 6.2.7.5. TS_MPI_TRP_RNE_VirtualToPhysicalAddress
      • 6.2.7.6. TS_MPI_TRP_RNE_PhysicalToVirtualAddress
      • 6.2.7.7. TS_MPI_TRP_RNE_SetInputBlobsAddr
      • 6.2.7.8. TS_MPI_TRP_RNE_SetResultBlobsAddr
      • 6.2.7.9. TS_MPI_TRP_RNE_SetWeightAddr
    • 6.2.8. 通用算子接口
      • 6.2.8.1. TS_MPI_TRP_RNE_GetGpLayers
      • 6.2.8.2. TS_MPI_TRP_RNE_RegisterGpUserData
      • 6.2.8.3. TS_MPI_TRP_RNE_InitGpLayerNum
      • 6.2.8.4. TS_MPI_TRP_RNE_RegisterAllGpLayers
      • 6.2.8.5. TS_MPI_TRP_RNE_GpLayerHandler
      • 6.2.8.6. TS_MPI_TRP_RNE_GetGpLayersHd
      • 6.2.8.7. TS_MPI_TRP_RNE_RegisterGpLayer
    • 6.2.9. 异步相关接口
      • 6.2.9.1. TS_MPI_TRP_RNE_AsyncExecutorBind
      • 6.2.9.2. TS_MPI_TRP_RNE_ForwardAsync
    • 6.2.10. 多核相关接口
      • 6.2.10.1. TS_MPI_TRP_RNE_GetCoreNum
      • 6.2.10.2. TS_MPI_TRP_RNE_GetDeviceBufferSize
      • 6.2.10.3. TS_MPI_TRP_RNE_GetAvailableCore
      • 6.2.10.4. TS_MPI_TRP_RNE_GetExpectedCore
  • 6.3. 数据结构
  • 6.4. 典型调用流程图
    • 6.4.1. 典型调用流程图
    • 6.4.2. 典型流程
      • 6.4.2.1. 设置芯片型号
      • 6.4.2.2. 设置log等级
      • 6.4.2.3. 初始化数据结构
      • 6.4.2.4. 打开RNE设备
      • 6.4.2.5. 初始化网络模型
      • 6.4.2.6. 填充网络输入数据
      • 6.4.2.7. 网络推理
      • 6.4.2.8. dump输出数据
      • 6.4.2.9. 释放网络
      • 6.4.2.10. 关闭RNE设备
  • 6.5. 重点问题说明
    • 6.5.1. 存储格式介绍
      • 6.5.1.1. BLOB_N_H_W_Cstride格式
      • 6.5.1.2. BLOB_N_H_W_C格式
      • 6.5.1.3. INT_NHWC格式
    • 6.5.2. 如何设置输入数据
      • 6.5.2.1. 设置输入数据的方式
      • 6.5.2.2. 输入数据类型与eInputType对应关系
    • 6.5.3. 如何解析输出数据
    • 6.5.4. SDK中的BLOBS mem
    • 6.5.5. 网络权重对齐方式
    • 6.5.6. 设置网络blobs和权重地址为物理地址
    • 6.5.7. onceload网络推理的注意点
  • 6.6. samples说明
  • 6.7. 部署
    • 6.7.1. PC模拟
      • 6.7.1.1. 相关文件说明
      • 6.7.1.2. 重要步骤说明
      • 6.7.1.3. samples运行说明
    • 6.7.2. TX5368x_TX5339x_TX5335x系列板端部署
      • 6.7.2.1. 配置交叉编译环境
      • 6.7.2.2. 编写应用程序main.c
      • 6.7.2.3. 交叉编译生成板端部署资源
      • 6.7.2.4. 打开部署工具
      • 6.7.2.5. 拷贝部署资源到板端部署
    • 6.7.3. TX510x系列板端部署
      • 6.7.3.1. 环境准备
      • 6.7.3.2. 配置交叉编译环境
      • 6.7.3.3. 编写应用程序main.c
      • 6.7.3.4. 交叉编译生成板端部署资源
      • 6.7.3.5. 打开串口调试工具
      • 6.7.3.6. 拷贝部署资源到板端部署
    • 6.7.4. TX5215x_TX5239x200_TX5239x220_TX5239x300系列板端部署
    • 6.7.5. TX5112x_TX5239x201系列板端部署
    • 6.7.6. TX5336x_TX5256x 板端部署
  • 6.8. FAQ
    • 6.8.1. bin2header如何使用？
    • 6.8.2. 驱动rne_driver.ko如何加载？
    • 6.8.3. rne_simple_forward示例中输出结果的宏开关如何使用？
    • 6.8.4. CMakeList与Makefile中连接库有哪些注意事项？
    • 6.8.5. SDK接口调用性能优化建议？
    • 6.8.6. 板端常见问题如何解决？
    • 6.8.7. RNE运行时内存查看工具？
    • 6.8.8. SDK使用注意事项？

附录

• 1. 量化工具FAQ
  • 1.1. 量化工具精度调优策略
    • 1.1.1. 量化校准数据集选取
    • 1.1.2. 量化系数统计方式
    • 1.1.3. 模型输入是整型值时的处理方法
    • 1.1.4. 量化模型输出接后处理的方法
  • 1.2. ONNX量化工具FAQ
    • 1.2.1. 量化典型报错汇总
    • 1.2.2. 量化过程相关问题答疑
    • 1.2.3. 非npy格式数据的infer函数实现
    • 1.2.4. 自动根据输入shape生成随机数据开展量化
    • 1.2.5. 获取量化后模型的所有中间层结果
• 2. 算子支持列表
  • 2.1. TX5368x_TX5339x_TX5335x
  • 2.2. TX5215x_TX5239x200_TX5239x220_TX5239x300
  • 2.3. TX5112x_TX5239x201
  • 2.4. TX5336x_TX5256x
  • 2.5. TX5110x
  • 2.6. TX5326x