智能体硬件终端开发套件

系统架构与工作原理

深入了解智能体开发套件的系统架构和工作原理，掌握各模块之间的协作方式

系统架构

智能体开发套件系统架构由四个主要功能区组成：

✓ 左上角：AI camera与4G模块接口，配备OpenMV4、ESP CAM两种模组和4G模组
✓ 左下角：协处理控制范围，对接各类标准接口传感器
✓ 右下角：主处理控制范围，负责音频、显示功能和USB设备支持
✓ 右上角：电源相关电路，包括电池充电、电源开关和各级降压模块

智能体开发套件系统架构参考图

工作原理

✓ 主处理器：对接服务器(AIHUB)，驱动音频、屏幕、SD卡、ADC按键、USB设备等硬件，通过串口发送指令控制协处理器和图像处理器，处理来自协处理器的传感器数据和图像处理器的视觉识别结果
✓ 协处理器：负责各类传感器的数据采集汇总，支持定时上报与触发上报等多种模式，通过主协通信协议与主处理器进行数据交换
✓ 图像处理器：对获取到的图像信息进行处理与分析，将识别结果发送给主处理器
✓ 4G模组：提供移动网络连接能力，支持通过4G网络上传图像和数据到AIHUB平台
✓ USB设备：支持连接USB摄像头、U盘等设备，扩展系统功能

主协通信协议

采用JSON格式进行数据通信，支持传感器读取、执行器控制等命令

✓ 命令类型：包括读取类(read)和控制类(write)
✓ 上报模式：支持传感器数据主动上报和事件触发上报
✓ 错误处理：包含错误处理机制，确保通信可靠性

开发板硬件布局与核心芯片标注图

开发环境

完整的开发环境配置和工具链，助您快速开始智能体开发

开发环境配置

✓ 虚拟机环境：提供预配置的Ubuntu虚拟机，内置所有开发环境，简化环境搭建过程
✓ 主协处理器开发：基于VSCode+ESP-IDF 5.3开发框架，支持C/C++混合编程，采用CMake构建系统
✓ Camera开发：OpenMV4使用OpenMV IDE开发，支持MicroPython；ESP CAM使用Arduino IDE开发
✓ 语音模块开发：使用平台在线配置
✓ 编译烧录：支持VSCode直接编译烧录，支持乐鑫Flash下载工具烧录
✓ 开发语言：支持C/C++、Python、MicroPython等编程语言
✓ UI开发：基于LVGL图形库，使用SquareLine Studio可视化设计工具

开发资源

✓ 固件开发框架：提供完整的协处理器固件开发框架，包含传感器驱动、通信协议实现等
✓ 示例代码：提供丰富的示例代码，覆盖所有传感器和执行器的使用方法

核心特性

强大的硬件配置和丰富的功能模块，为AI智能体开发提供全方位支持，让您快速构建创新的AI应用

双联双核心高性能SoC

基于GreatCore-E01 Intelligent Agent Nexus Board平台，双联双核心设计，提供强大的计算能力和AI资源调用能力，支持复杂的AI模型运行和实时处理

完整的音视频处理模块

集成双麦克风阵列、高保真扬声器、高清摄像头等音视频模块，支持语音识别、语音合成、图像分析等多模态AI能力，实现丰富的交互体验

伺服驱动与多路传感器接口

提供丰富的GPIO接口、PWM输出、ADC输入等，支持连接各类传感器和执行器，实现硬件控制与数据采集，满足多样化的应用需求

多种无线连接方式

支持WiFi、蓝牙、NFC等多种无线连接方式，轻松接入千机赋能平台，实现智能体与终端的无缝通信，支持远程控制和数据传输

原生适配千机赋能平台

即插即用，无需额外开发对接代码，直接接入千机赋能平台，快速实现智能体与硬件终端的协同工作，大幅降低开发成本和时间

丰富的交互模块

配备麦克风、扬声器、摄像头、物理按键、触摸屏等多种交互模块，支持语音、视觉、触控等多模态交互，提供自然流畅的用户体验

技术规格

详细的技术参数和硬件配置信息，帮助您全面了解开发套件的性能和功能

参数类别	详细规格
产品外观	150MM150MM50MM
外部电源与锂电池	电源适配器：12V 3A 电池：7.4V 4000mAh锂电池充电电流：2A 充电指示灯：白色
双电源切换	12V电源适配器输入和7.4V锂电池自动切换（优先使用外部电源）
电源芯片	DCDC电源芯片：TPS82130 LDO电源芯片：AMS1117-3.3
核心板芯片	主处理器：ESP32-S3-WROOM-1-N16R8 协处理器：ESP32-S3-WROOM-1-N16R8 主处理器可用IO：9个协处理器可用IO：32个时钟频率：240MHz PSRAM：8MB FLASH:16MB
存储	TF卡：支持 U盘：支持 FAT32文件系统：支持
通信	USB：1个 12C：2个 SPI：4个 2.4 GHzWIFI：支持 Bluetooth 5 (LE)：支持 Bluetooth Mesh：支持 UART：3个 ADC(12位)：18个 PWM：16个 2.54mm排针(引出协处理器所有I0，主处理器部分I0)：支持
接口	PH2.0防反接接口：12个舵机接口：3个 RFID模块接口：1个
人机交互	2.0寸IPS高清彩色液晶屏：1个电容式触摸屏手指触摸控制：支持多功能ADC按键：6个复位按键：2个 BOOT按键：2个
音频	高性能四路音频解码芯片：1个低功耗单声道音频编解码芯片：1个 3W功放芯片：1个扬声器：1个麦克风：3个硬件级回声消除：支持标准3.5MM耳机接口：支持自定义唤醒词：支持耳机与扬声器自动切换：支持
显示单元	2.0 寸 IPS 高清彩色液晶屏，分辨率 240*320
扩展接口	主处理器标准拓展接口：2个主处理器IO拓展芯片：PCA9557
AI视觉模块	OpenMV4：基于STM32H750VBT6核心，集成OV7725摄像头芯片，支持颜色跟踪、人脸识别与检测等机器视觉算法板载DVP摄像头：支持OV2640、OV7725、OV5640等摄像头模块 USB摄像头：支持通过USB接口连接摄像头模组，实现MJPEG格式视频流获取和传输，最高可支持480*800@15fps
语音唤醒模块	智能离线语音识别模块支持通过USB调试
4G模组	采用中移ML307R芯片，支持联通、移动、电信全网通
配套传感器清单	环境亮度传感器土壤湿度传感器火焰传感器水位传感器陀螺仪角度传感器 SG90舵机 RFID射频卡感应传感器温湿度传感器人体传感器霍尔磁性传感器 RGB环形灯

产品图库

全方位展示智能体开发套件的各个细节，帮助您全面了解产品的外观和功能（点击图片可放大查看）

核心板

千机睿核智能体开发套件核心板作为整套开发硬件的核心运算与控制单元，是套件实现智能感知、数据处理、指令调度的核心载体，搭载两颗ESP32主协处理器芯片，为智能体的各类功能实现提供底层算力与硬件支撑。

2.0寸TFTLCD液晶屏

液晶屏为2.0寸IPS高清彩色液晶屏，可以用作各种显示应用。电容式触摸屏，可实现手指控制应用。

CI1302三代AI语音芯片

自定义唤醒词模块搭载了CI1302 高性能神经网络语音芯片，支持离线自定义唤醒词与多语种命令配置，具备低功耗唤醒、深度降噪、语音打断等功能，可灵活适配不同场景的语音交互需求，稳定可靠、易于集成。

外部扩展接口

板载标准 PH2.0 间距扩展接口，引脚定义清晰、插拔稳定，可方便外接传感器、执行器及各类外设模块，满足项目开发中灵活的硬件扩展与功能调试需求。

AI camera模组

搭载 OpenMV4 高性能视觉处理核心，支持颜色识别、形状检测、二维码 / 条形码识别、特征追踪等机器视觉功能，可快速实现图像采集与智能分析，即插即用、易于二次开发，为项目提供轻量化 AI 视觉感知能力。

DVP 接口摄像头模组

板载标准 DVP 接口摄像头，支持实时图像采集与视频传输，画质清晰、传输稳定，可直接与核心处理器对接，满足视觉采集、实时监控、图像识别等场景使用需求。

4G模组

板载ML307 高性能 4G 通信模组，支持稳定无线数据传输、远程联网与云端通信，具备信号强、兼容性好、部署便捷等特点，为设备提供可靠的远程数据交互与无线联网能力。

双麦音频设计

采用双麦克风阵列设计，搭配拾音降噪算法，有效提升远距离语音拾取精度与抗干扰能力，可实现声源定位、全双工语音交互、多模态识别与智能体控制，构建更具沉浸感的人机交互体验。

USB 四通道调试模块

板载单刀四掷四选一开关，通过拨码开关与硬件引脚组合，一键切换主处理器、协处理器、AI 摄像头及语音模块共 4 路 USB 调试通道，实现单一 USB_DEBUG 接口对接多设备烧录与调试，避免接口混乱，操作便捷，高效适配多处理器联合开发调试场景。

实验项目

丰富的实验项目案例资源库，涵盖嵌入式AI学习、机器视觉、传感器应用等多个领域

C/C++ 与嵌入式基础

C 语言介绍实验

C语言基础语法、数据类型、控制结构等入门实验

C 语言基础语法实验

C语言选择结构、循环、函数等基础语法实验

C 语言选择结构实验

if-else、switch-case等选择结构实验

C 语言循环结构实验

for循环、while循环等循环控制实验

C 语言数组实验

一维数组、二维数组、字符数组等数组操作实验

C 语言函数实验

函数定义、参数传递、返回值等函数编程实验

C 语言指针实验

指针基础、指针运算、数组指针等指针应用实验

C 语言结构体实验

结构体定义、成员访问、嵌套结构体等复杂数据结构实验

C 语言内存管理实验

动态内存分配、静态内存、栈与堆等内存管理实验

C 语言文件操作实验

文件打开、读写、关闭等文件I/O操作实验

C 语言预处理指令实验

#define、#include、条件编译等预处理指令实验

C 语言位操作实验

位运算、位域、移位操作等位操作实验

FreeRTOS 实时操作系统

FreeRTOS 介绍实验

实时操作系统基础、任务调度、内存管理等入门实验

任务创建实验

任务创建、删除、挂起、恢复等任务管理实验

队列管理实验

队列创建、发送、接收、优先级等队列通信实验

信号量实验

二值信号量、计数信号量、互斥锁等同步机制实验

定时器实验

软件定时器、硬件定时器、定时器中断等定时应用实验

内存管理实验

堆内存、栈内存、内存池等内存分配与管理实验

中断管理实验

外部中断、定时器中断、中断优先级等中断处理实验

移植配置实验

系统配置、裁剪配置、内存优化等移植配置实验

进阶篇

多任务调度、复杂通信、高级同步等进阶功能实验

LVGL 嵌入式 GUI

LVGL 介绍实验

轻量级图形库基础、显示驱动、事件处理等入门实验

LVGL 移植实验

LVGL库移植、硬件适配、驱动开发等移植实验

LVGL 部件实验

按钮部件、文本显示、图像控件等UI部件实验

LVGL 布局实验

绝对布局、相对布局、滚动容器等界面布局实验

LVGL 动画实验

帧动画、缓动动画、路径动画等动画效果实验

LVGL 字体实验

字体加载、文本渲染、多语言支持等字体处理实验

LVGL 图像实验

图像解码、缓存、缩放、旋转等图像处理实验

LVGL 事件实验

输入事件、触摸事件、定时器事件等事件处理实验

进阶篇

自定义控件、复杂动画、高级布局等进阶UI开发实验

ESP32-S3 标准库版本

ESP32 介绍实验

ESP32芯片架构、外设资源、开发环境等入门实验

GPIO 基础实验

数字输入输出、中断配置、上拉下拉等GPIO基础实验

GPIO 进阶实验

PWM输出、外部中断、矩阵键盘等GPIO高级应用实验

UART 通信实验

串口初始化、数据收发、DMA传输等UART通信实验

I2C 通信实验

I2C主机从机、多设备挂载、传感器驱动等I2C通信实验

SPI 通信实验

SPI主机从机、高速传输、Flash操作等SPI通信实验

I2S 通信实验

I2S音频接口、DAC输出、麦克风输入等I2S音频实验

ADC 实验

ADC初始化、多通道采集、校准处理等ADC模数转换实验

RMT 实验

红外发射、接收协议、NEC编码等红外遥控实验

LEDC 实验

LED PWM控制、RGB灯带驱动、呼吸灯效果等LED控制实验

KEY 实验

矩阵键盘、独立按键、触摸按键等输入设备实验

WiFi 扫描实验

WiFi扫描、连接、AP/Station模式等WiFi功能实验

TCP 客户端实验

TCP服务器、客户端、Socket通信等网络编程实验

HTTP 实验

HTTP服务器、客户端、RESTful API等Web服务实验

MQTT 实验

MQTT代理、发布订阅、QoS等级等物联网协议实验

蓝牙实验

GAP连接、SPP协议、BLE广播等蓝牙通信实验

基础篇

综合应用、系统优化、低功耗设计等基础整合实验

进阶篇

多任务协调、复杂通信、高级协议等进阶功能实验

ESP32-S3 MicroPython 版本

MicroPython 介绍实验

Python语法、数据类型、控制结构等入门实验

MicroPython 基础实验

GPIO控制、串口通信、I2C/SPI通信等基础外设实验

MicroPython 进阶实验

多任务调度、异步编程、类与对象等高级编程实验

传感器驱动实验

温湿度传感器、加速度计、陀螺仪等常用传感器驱动实验

显示驱动实验

SSD1306驱动、ST7789驱动、自定义图形库等显示驱动实验

网络通信实验

WiFi连接、HTTP请求、MQTT通信等网络功能实验

文件系统实验

文件读写、目录操作、路径处理等文件系统实验

外设驱动实验

舵机控制、RFID读取、WS2812驱动等外设扩展实验

机器视觉实验

颜色识别、形状检测、二维码识别等视觉功能实验

AI推理实验

TensorFlow Lite、TFLite Micro等轻量级AI模型部署实验

基础篇

综合应用、系统优化、低功耗设计等基础整合实验

进阶篇

多任务协调、复杂通信、高级协议等进阶功能实验

ESP32-S3 ESP-IDF 版本

ESP-IDF 介绍实验

ESP-IDF框架、组件模型、可视化调试等图形化开发环境介绍

学习方法实验

神经网络训练、模型转换、参数优化等AI模型开发实验

外设驱动实验

LED控制、传感器驱动、执行器控制等外设组件实验

网络通信实验

WiFi连接、MQTT通信、HTTP服务器等网络功能实验

UI界面实验

按钮控件、数据显示、图表绘制等界面开发实验

数据存储实验

Flash存储、SD卡存储、参数保存等数据持久化实验

基础篇

综合应用、系统优化、低功耗设计等基础整合实验

进阶篇

多任务协调、复杂通信、高级协议等进阶功能实验

机器视觉基础应用实验

图像采集与显示基础实验

摄像头初始化、图像采集、LCD显示等视觉基础实验

图像翻转与缩放基础实验

图像旋转、镜像翻转、缩放算法等图像处理基础实验

图像灰度转换基础实验

灰度转换、二值化、阈值处理等图像预处理实验

图像阈值处理基础实验

颜色阈值、边缘检测、轮廓提取等图像分割实验

颜色跟踪基础实验

颜色识别、颜色追踪、目标锁定等颜色检测实验

人脸识别与检测基础实验

人脸检测、人脸识别、特征提取等人脸识别实验

物体识别与分类基础实验

物体检测、形状识别、分类识别等物体识别实验

二维码识别基础实验

二维码生成、二维码解码、二维码显示等二维码功能实验

本机图像分析实验

图像统计、特征分析、模式识别等本地图像分析实验

远程图像传输实验

图像压缩、网络传输、远程显示等图像传输实验

进阶篇

多目标跟踪、复杂算法、实时处理等高级视觉应用实验

AI语音交互实验

语音唤醒与控制实验

语音唤醒、命令识别、语音合成等语音控制实验

语音识别与命令执行实验

语音识别、关键词检测、命令执行等语音识别实验

语音合成与反馈实验

语音合成、TTS播放、音效处理等语音输出实验

连续对话实验

多轮对话、上下文管理、对话状态跟踪等连续对话实验

按键唤醒实验

按键唤醒、自定义唤醒词、灵敏度调节等按键控制实验

噪声抑制与回声消除实验

噪声检测、回声消除、双麦阵列等音频增强实验

语音唤醒模块实验

CI-03T模块控制、自定义唤醒词、灵敏度调节等语音模块实验

进阶篇

多模态交互、复杂场景应用、系统集成等高级语音应用实验

传感器应用实验

环境监测系统实验

温湿度传感器、气压传感器、光照传感器等环境参数监测实验

智能家居控制实验

家电控制、场景联动、自动化控制等智能家居应用实验

人体感应实验

人体传感器、PIR运动检测、存在检测等人体感应实验

火焰检测实验

火焰传感器、红外检测、温度监测等安全预警实验

水位监测实验

水位传感器、液体检测、溢位报警等水位监测实验

陀螺仪角度传感器实验

陀螺仪数据读取、角度计算、姿态检测等运动传感器实验

RFID射频卡感应实验

RFID读取、卡片识别、防冲突检测等射频识别实验

温湿度传感器实验

DHT系列传感器、SHT系列传感器、温湿度数据采集实验

霍尔磁性传感器实验

霍尔传感器、磁场检测、接近开关等磁性传感器实验

RGB环形灯实验

WS2812驱动、颜色渐变、彩虹效果等LED控制实验

SG90舵机实验

舵机控制、角度定位、速度控制等执行器控制实验

进阶篇

多传感器融合、复杂场景应用、系统集成等高级传感器应用实验

智能体综合应用实验

智能机器人控制系统开发

通过舵机控制和传感器反馈，开发简单的机器人控制系统

智能家居控制系统

基于传感器数据和智能体决策，实现智能家居控制

环境监测系统

使用各类传感器实现环境参数的监测和预警

智能门禁系统

结合NFC技术和人脸识别，实现智能门禁功能

边缘AI推理应用

在本地部署轻量级AI模型，实现边缘推理

工作流型智能体开发

通过流程编排，实现复杂的业务逻辑和智能决策

4G物联网应用

利用4G模组实现远程数据传输和控制，适用于无WiFi环境

USB设备扩展应用

通过USB接口连接摄像头、U盘等设备，实现更多功能扩展

移动场景应用

结合4G网络和电池供电，实现移动场景下的智能体应用

开发套件 + Coze 智能体实战开发

含基础联调、核心能力调用、工作流编排、多模态交互、本地部署、行业场景实战等24个实验

应用场景

智能体开发套件支持丰富的应用场景，涵盖语音交互、物联网、机器视觉、教学科研等多个领域

AI语音助手开发

实现语音唤醒、语音识别、语音合成等功能，开发智能语音助手

智能物联网设备原型验证

快速验证IoT设备的硬件设计和功能实现

机器视觉应用开发

实现颜色跟踪、人脸识别、物体识别等机器视觉功能

嵌入式AI学习与教学

用于高校嵌入式系统、AI相关课程的教学实验

智能机器人控制系统开发

通过舵机控制和传感器反馈，开发简单的机器人控制系统

智能家居控制系统

基于传感器数据和智能体决策，实现智能家居控制

环境监测系统

使用各类传感器实现环境参数的监测和预警

智能门禁系统

结合NFC技术和人脸识别，实现智能门禁功能

边缘AI推理应用

在本地部署轻量级AI模型，实现边缘推理

工作流型智能体开发

通过流程编排，实现复杂的业务逻辑和智能决策

4G物联网应用

利用4G模组实现远程数据传输和控制，适用于无WiFi环境

USB设备扩展应用

通过USB接口连接摄像头、U盘等设备，实现更多功能扩展

移动场景应用

结合4G网络和电池供电，实现移动场景下的智能体应用

文档中心

完整的开发文档和参考资料，助您快速掌握智能体开发套件的使用方法

智能体开发指南

完整的智能体开发教程，帮助您快速掌握智能体开发套件的使用方法，从基础概念到高级应用，循序渐进

固件开发文档

详细的固件开发指南，涵盖Camera、主处理器、协处理器等各个模块的开发方法，提供完整的开发流程和最佳实践

智能体开发套件

视频演示

系统架构与工作原理

系统架构

工作原理

主协通信协议

开发环境

开发环境配置

开发资源

核心特性

双联双核心高性能SoC

完整的音视频处理模块

伺服驱动与多路传感器接口

多种无线连接方式

原生适配千机赋能平台

丰富的交互模块

技术规格

产品图库

核心板

2.0寸TFTLCD液晶屏

CI1302三代AI语音芯片

外部扩展接口

AI camera模组

DVP 接口摄像头模组

4G模组

双麦音频设计

USB 四通道调试模块

实验项目

C/C++ 与嵌入式基础

C 语言介绍实验

C 语言基础语法实验

C 语言选择结构实验

C 语言循环结构实验

C 语言数组实验

C 语言函数实验

C 语言指针实验

C 语言结构体实验

C 语言内存管理实验

C 语言文件操作实验

C 语言预处理指令实验

C 语言位操作实验

FreeRTOS 实时操作系统

FreeRTOS 介绍实验

任务创建实验

队列管理实验

信号量实验

定时器实验

内存管理实验

中断管理实验

移植配置实验

进阶篇

LVGL 嵌入式 GUI

LVGL 介绍实验

LVGL 移植实验

LVGL 部件实验

LVGL 布局实验

LVGL 动画实验

LVGL 字体实验

LVGL 图像实验

LVGL 事件实验

进阶篇

ESP32-S3 标准库版本

ESP32 介绍实验

GPIO 基础实验

GPIO 进阶实验

UART 通信实验

I2C 通信实验

SPI 通信实验

I2S 通信实验

ADC 实验

RMT 实验

LEDC 实验

KEY 实验

WiFi 扫描实验

TCP 客户端实验

HTTP 实验

MQTT 实验

蓝牙实验

基础篇

进阶篇