TFLite Micro STM32/ESP32 开箱即用推理骨架 + INT8 量化脚本实战：零调试跑通端侧 AI 推理完整步骤

模型转换为 C 数组：使用 xxd 工具将量化后的模型转换为 C 语言头文件：

xxd -i quantized_model.tflite > model_data.h

生成的头文件包含quantized_model_tflite数组和quantized_model_tflite_len长度变量。

完整推理代码：

#include "tflm_platform.h"
#include "tensorflow/lite/micro/micro_interpreter.h"
#include "tensorflow/lite/micro/micro_mutable_op_resolver.h"
#include "tensorflow/lite/schema/schema_generated.h"
#include "model_data.h" // 生成的模型头文件

// 定义使用的算子，根据模型实际使用的算子添加
static tflite::MicroMutableOpResolver<5> resolver;
// 推理引擎全局变量
static const tflite::Model* model = nullptr;
static tflite::MicroInterpreter* interpreter = nullptr;
static TfLiteTensor* input = nullptr;
static TfLiteTensor* output = nullptr;
// 内存分配区，使用静态分配避免堆碎片化
static uint8_t tensor_arena[TFLM_HEAP_SIZE] __attribute__((aligned(16)));

/**
* @brief 初始化TFLite Micro推理引擎
* @return 0成功，其他失败
*/
int tflm_init(void) {
// 初始化OpResolver，添加模型需要的算子
resolver.AddConv2D();
resolver.AddMaxPool2D();
resolver.AddFullyConnected();
resolver.AddSoftmax();
resolver.AddReshape();

// 加载模型
model = tflite::GetModel(quantized_model_tflite);
if (model->version() != TFLITE_SCHEMA_VERSION) {
return -1; // 模型版本不匹配
}

// 创建解释器
static tflite::MicroInterpreter static_interpreter(
model, resolver, tensor_arena, TFLM_HEAP_SIZE);
interpreter = &static_interpreter;

// 分配张量内存
TfLiteStatus allocate_status = interpreter->AllocateTensors();
if (allocate_status != kTfLiteOk) {
return -2; // 内存分配失败，可能需要增大TFLM_HEAP_SIZE
}

// 获取输入输出张量指针
input = interpreter->input(0);
output = interpreter->output(0);

return 0;
}

/**
* @brief 执行推理
* @param input_data 输入数据指针，格式与模型输入匹配
* @param output_data 输出数据指针，用于存储推理结果
* @return 0成功，其他失败，返回推理耗时(ms)
*/
int tflm_infer(const int8_t* input_data, int8_t* output_data, uint32_t* infer_time_ms) {
if (!input || !output || !input_data || !output_data) {
return -1;
}

// 填充输入张量
memcpy(input->data.int8, input_data, input->bytes);

// 执行推理并计时
uint32_t start = tflm_get_tick_ms();
TfLiteStatus invoke_status = interpreter->Invoke();
uint32_t end = tflm_get_tick_ms();
*infer_time_ms = end – start;

if (invoke_status != kTfLiteOk) {
return -2; // 推理失败
}

// 拷贝输出结果
memcpy(output_data, output->data.int8, output->bytes);

return 0;
}

// 应用层调用示例
int main(void) {
HAL_Init();
SystemClock_Config(); // 系统时钟配置，根据你的硬件修改

// 初始化推理引擎
int ret = tflm_init();
if (ret != 0) {
Error_Handler(); // 初始化失败处理
}

int8_t input_data[28*28]; // 根据模型输入形状修改
int8_t output_data[10]; // 根据模型输出形状修改
uint32_t infer_time;

while (1) {
// 此处替换为实际传感器数据读取逻辑
// 例如：从摄像头、加速度计等外设获取输入数据
memset(input_data, 0, sizeof(input_data));

// 执行推理
ret = tflm_infer(input_data, output_data, &infer_time);
if (ret == 0) {
// 处理推理结果，例如查找最大概率类别
int8_t max_val = -128;
int max_idx = 0;
for (int i = 0; i < 10; i++) {
if (output_data[i] > max_val) {
max_val = output_data[i];
max_idx = i;
}
}
printf("推理结果：类别%d，置信度%d，耗时%dms\\r\\n", max_idx, max_val, infer_time);
}

HAL_Delay(1000);
}
}

编译配置：

• 添加 TFLite Micro 源码到工程，或使用 STM32Cube.AI 生成的 TFLM 库
• 编译选项添加-std=c++11，开启 O2 优化
• 确保栈大小至少为 8KB，堆大小根据实际情况配置

工程配置：

• 从乐鑫官方 ESP-IDF 组件库安装tflite-micro组件
• 将model_data.h放入工程 main 目录

完整推理代码：

#include <stdio.h>
#include "freertos/FreeRTOS.h"
#include "freertos/task.h"
#include "tflm_platform.h"
#include "tensorflow/lite/micro/micro_interpreter.h"
#include "tensorflow/lite/micro/micro_mutable_op_resolver.h"
#include "tensorflow/lite/schema/schema_generated.h"
#include "model_data.h"

static tflite::MicroMutableOpResolver<5> resolver;
static const tflite::Model* model = nullptr;
static tflite::MicroInterpreter* interpreter = nullptr;
static TfLiteTensor* input = nullptr;
static TfLiteTensor* output = nullptr;
static uint8_t tensor_arena[TFLM_HEAP_SIZE] __attribute__((aligned(16)));

int tflm_init(void) {
resolver.AddConv2D();
resolver.AddMaxPool2D();
resolver.AddFullyConnected();
resolver.AddSoftmax();
resolver.AddReshape();

model = tflite::GetModel(quantized_model_tflite);
if (model->version() != TFLITE_SCHEMA_VERSION) {
return -1;
}

static tflite::MicroInterpreter static_interpreter(
model, resolver, tensor_arena, TFLM_HEAP_SIZE);
interpreter = &static_interpreter;

TfLiteStatus allocate_status = interpreter->AllocateTensors();
if (allocate_status != kTfLiteOk) {
return -2;
}

input = interpreter->input(0);
output = interpreter->output(0);

return 0;
}

int tflm_infer(const int8_t* input_data, int8_t* output_data, uint32_t* infer_time_ms) {
if (!input || !output || !input_data || !output_data) {
return -1;
}

memcpy(input->data.int8, input_data, input->bytes);

uint32_t start = tflm_get_tick_ms();
TfLiteStatus invoke_status = interpreter->Invoke();
uint32_t end = tflm_get_tick_ms();
*infer_time_ms = end – start;

if (invoke_status != kTfLiteOk) {
return -2;
}

memcpy(output_data, output->data.int8, output->bytes);

return 0;
}

// 推理任务
void infer_task(void* param) {
int ret = tflm_init();
if (ret != 0) {
printf("TFLM初始化失败，错误码：%d\\r\\n", ret);
vTaskDelete(NULL);
}

int8_t input_data[28*28];
int8_t output_data[10];
uint32_t infer_time;

while (1) {
// 替换为实际传感器数据读取
memset(input_data, 0, sizeof(input_data));

ret = tflm_infer(input_data, output_data, &infer_time);
if (ret == 0) {
int8_t max_val = -128;
int max_idx = 0;
for (int i = 0; i < 10; i++) {
if (output_data[i] > max_val) {
max_val = output_data[i];
max_idx = i;
}
}
printf("推理结果：类别%d，置信度%d，耗时%dms\\r\\n", max_idx, max_val, infer_time);
}

vTaskDelay(pdMS_TO_TICKS(1000));
}
}

void app_main(void) {
xTaskCreate(infer_task, "infer_task", 8192, NULL, 5, NULL);
}

编译运行：

• 执行idf.py build flash monitor即可编译下载到 ESP32 开发板
• 针对相同 MNIST 模型，ESP32 上推理耗时约 15ms