Lộ trình
Đang tải số liệu…
1 Dữ liệu và huấn luyện
Hai cánh tay robot trong Isaac Sim, một tay gắp khối theo câu lệnh, tay còn lại đứng yên. Script chuyên gia sinh dữ liệu; policy ACT học bắt chước từ ba camera.
Loss huấn luyện
2 Trong sim, trông như đã sẵn sàng
Cùng 50 vị trí khối (seed 100000–100049) cho mọi lượt, nên so được từng ô. Mỗi ô là một lần thử: đậm là gắp được, rỗng là hỏng.
Tỉ lệ trong sim, không phải trên robot thật. Khoảng trong ngoặc là Wilson 95%.
3 Cổng 1: kiểm tra không cần sim
Đọc checkpoint, dataset và mô tả robot; chạy trong vài giây. Cổng đạt, nhưng có hai cảnh báo. Cảnh báo thứ hai là lỗi thật: tay trái đứng yên trong mọi episode, nên 9 chiều state có độ lệch chuẩn bằng 0. Khi chuẩn hóa, một nhiễu rất nhỏ ở các khớp đó thành giá trị cỡ 10⁶ khi vào model.
4 Độ bền: thử dưới nhiễu
Cùng checkpoint, chạy lại với nhiễu chèn giữa sim và model. Nhiễu encoder rất nhỏ làm bản gốc hỏng mọi lần thử. Che 9 chiều phương sai 0 (giữ nguyên trọng số) thì hồi phục. Các điểm yếu còn lại, như mờ ảnh hay nhiễu action, là thật: dữ liệu huấn luyện không có nhiễu nào.
5 Cổng 2: sim trên máy chủ, model chạy trên Jetson
Jetson chạy đúng bản model sẽ triển khai (ONNX), sim chạy trên một máy khác. Sim trên máy khác lệch tay trái cỡ micro-radian, đủ để bản gốc hỏng cả 50 lần: tay dừng cách khối khoảng 0,7 m. Bản đã che lên ngang kết quả trong sim, trên hai Jetson khác nhau.
Độ trễ suy luận trên Jetson (p95)
Kết quả vẫn là sim; Jetson chỉ thay chỗ chạy model, không phải robot thật. Cổng 2 đạt khi success ≥ 80% và p95 ≤ 200 ms.
6 Điều khiển robot bằng chat
Gõ lệnh trong trang chat của app robot. Jetson chạy bản model sẽ triển khai (ONNX) và gửi lệnh khớp tới cánh tay trong Isaac Sim; khung bên phải là camera của robot, đúng ảnh 256×256 mà model nhìn thấy. Nút Dừng có hiệu lực trong một chu kỳ điều khiển.
ACT chạy chuyển động đã học và không dùng câu lệnh: câu lệnh chỉ để bắt đầu, không đổi hành vi.
7 Tiếp theo: SmolVLA
SmolVLA là model nhận câu lệnh, mục tiêu cho bước sau. Trên cùng 50 seed, sau khi che, nó gắp được ngang ACT; nhưng mỗi lần suy luận mất khoảng 600 ms ngay trên GPU máy chủ, quá giới hạn 200 ms. Đây là việc phải giải trước khi đưa nó lên Jetson.