TensorRT实验室 TensorRT实验室（trtlab）是构建客户推理应用程序和服务的通用工具集。 是专业级的生产推理服务器。 该项目分为4个主要组成部分： memory基于 ， memory模块旨在为主机和gpu内存编写自定义分配器。 包括几个自定义分配器。 core包含主机/ ​​cpu端工具，用于基于boost光纤的常见组件（例如线程池，资源池和用户空间线程）。 cuda延伸memory具有用于CUDA设备存储器中的新memory_type。 在所有的自定义的分配memor