Trợ lý AI đeo trước ngực

ArtificialEyes

Hệ thống kết hợp ứng dụng di động, trí tuệ nhân tạo và phần cứng nhúng để hỗ trợ người khiếm thị di chuyển an toàn, đọc văn bản, nhận diện người ở gần và gửi cảnh báo khẩn cấp.

Thiết bị Artificial Eyes
<1s Phản hồi cảnh báo
4 Cảm biến siêu âm
7 Chế độ hỗ trợ

Tổng quan

Một hệ hỗ trợ gọn, có thể đeo và dễ mở rộng

Artificial Eyes tập trung vào các tình huống thường gặp trong đời sống: di chuyển, đọc nội dung, nhận lệnh bằng giọng nói, phản hồi bằng âm thanh và liên hệ người thân khi cần.

Người dùng trải nghiệm Artificial Eyes
Định hướng sử dụng thực tế

Trao thêm sự chủ động cho người khiếm thị

Sản phẩm kết hợp phần mềm trên điện thoại, xử lý AI, điều khiển bằng giọng nói và phần cứng đeo trước ngực. Cách tiếp cận này giúp giảm thao tác tay và gom nhiều chức năng vào cùng một nền tảng.

Nhóm phát triển ưu tiên chi phí hợp lý, cấu trúc dễ thử nghiệm và khả năng nâng cấp từ nguyên mẫu phần cứng sang các phiên bản hoàn thiện hơn.

Thiết kế phù hợp bối cảnh sử dụng tại Việt Nam, nơi điện thoại thông minh có thể đóng vai trò trung tâm xử lý và phản hồi.

Điểm mạnh

Tính năng được xếp theo nhu cầu sử dụng

Giao diện, phần cứng và mã điều khiển đều phục vụ cùng một mục tiêu: cảnh báo rõ, phản hồi nhanh và thao tác ít bước.

Hỗ trợ bằng AI

Nhận diện vật cản, xử lý văn bản, trả lời câu hỏi bằng giọng nói và hỗ trợ người dùng trong nhiều tình huống khác nhau.

7 chế độ tích hợp

Di chuyển, đọc văn bản, trò chuyện AI, báo giờ, thời tiết, nhận diện người ở gần và cảnh báo khẩn cấp.

Vỏ phần cứng in 3D

Thiết kế gọn để đeo trước ngực, bố trí cảm biến có chủ đích và phù hợp quá trình thử nghiệm thực tế.

Điều khiển bằng giọng nói

Ưu tiên khẩu lệnh để người dùng chuyển chế độ và nhận phản hồi mà không phụ thuộc nhiều vào thao tác chạm.

Tận dụng điện thoại thông minh

Dùng camera, loa, micro, GPS và kết nối không dây trên điện thoại để giảm chi phí phần cứng riêng và dễ triển khai hơn.

Cảnh báo an toàn

Khi phát hiện té ngã hoặc tình huống bất thường, hệ thống có thể kích hoạt cảnh báo và liên hệ người thân.

Luồng sử dụng

Bảy chế độ hỗ trợ chính

Mỗi chế độ được thiết kế như một tác vụ rõ ràng để người dùng gọi nhanh bằng giọng nói.

01

Hỗ trợ di chuyển

Camera, AI và cảm biến siêu âm cùng cung cấp cảnh báo khoảng cách.

02

Đọc văn bản

Ứng dụng chụp ảnh văn bản, nhận diện nội dung và đọc lại bằng giọng nói.

03

Trợ lý trò chuyện AI

Lắng nghe câu hỏi, xử lý nội dung và phản hồi bằng âm thanh.

04

Báo giờ

Cung cấp thời gian hiện tại và nhắc thông tin cần thiết.

05

Cập nhật thời tiết

Thông báo thời tiết hiện tại trước khi người dùng ra ngoài.

06

Nhận diện người ở gần

Hỗ trợ nhận diện người thân hoặc người xung quanh.

07

Cảnh báo khẩn cấp

Kích hoạt cảnh báo khi phát hiện té ngã hoặc tình huống bất thường.

Nguyên mẫu

Phần cứng quét 3 mức bằng 4 servo

Mã mới điều khiển hai cặp servo theo chuyển động mượt, đọc bốn cảm biến siêu âm và gửi mã cảnh báo về điện thoại qua Bluetooth.

ArtificialEye_Hardware

Bluetooth, servo và cảm biến được tách rõ trong mã điều khiển

Thiết bị dùng tên Bluetooth ArtificialEye_Hardware, nhận lệnh ON hoặc OFF để bật tắt quét servo. Khi tắt, hệ thống đưa các servo về vị trí home.

Servo 1 và 2 quét từ 50 đến 100 độ; servo 3 và 4 quét từ 90 đến 130 độ.

Ba mức quét lần lượt kiểm tra cảnh báo thấp, tường/vật cản và cảnh báo cao.

Các mã gửi về ứng dụng gồm 2, 3, 4 và 5 để phần mềm phát phản hồi tương ứng.

Tài nguyên dự án

Tải ứng dụng và mã nguồn

Quét mã để tải APK, xem source phần mềm mới, khối lệnh Setting và mã điều khiển ESP32.

APK Android

Quét mã để tải Artificial Eyes

Mã QR trỏ tới bản APK mới trong thư mục build. Người xem có thể quét bằng điện thoại hoặc tải trực tiếp từ website.

Mã QR tải APK Artificial Eyes
Phần cứng

Mã điều khiển ESP32

File mới cấu hình BluetoothSerial, 4 servo, 4 cảm biến siêu âm và thuật toán quét mượt qua ba mức cảnh báo.

#include <ESP32Servo.h>
#include "BluetoothSerial.h"

BluetoothSerial SerialBT;

#define WARNING_LOW   40
#define HOLE_DISTANCE 120
#define WALL_DISTANCE 70
#define WARNING_HIGH  60

void setup() {
  Serial.begin(115200);
  SerialBT.begin("ArtificialEye_Hardware");
  Serial.println("Bluetooth started: ArtificialEye_Hardware");
}

void loop() {
  checkBluetoothConnection();
  readBluetoothCommand();

  if (servoScanEnabled) {
    moveServoSmooth(50, 65, 130, 120);
    scanAtPosition(65, 120, 1);

    moveServoSmooth(65, 90, 120, 99);
    scanAtPosition(90, 99, 2);

    moveServoSmooth(90, 100, 99, 90);
    scanAtPosition(100, 90, 3);
  }
}
Phần mềm

Khối lệnh chính của ứng dụng

Ảnh hiện có ghi lại các khối lệnh chính: nhận khẩu lệnh, gọi chế độ đọc, xử lý cảnh báo, thời gian, thời tiết và phản hồi Text-to-Speech.

Mã nguồn phần mềm MIT App Inventor
Setting

Khối lệnh màn hình Setting

Ảnh mới ghi lại các khối cấu hình quyền truy cập, Bluetooth, số điện thoại khẩn cấp và lựa chọn dùng phần cứng.

Mã nguồn màn hình Setting MIT App Inventor
Tài liệu

Tài liệu và kho dự án

Website giữ các tài nguyên chính để người xem kiểm tra mô tả sản phẩm, APK, ảnh source phần mềm và kho GitHub của nhóm.

Liên hệ

Trao đổi thêm về dự án

Nếu bạn muốn tìm hiểu quá trình nghiên cứu, nguyên mẫu hoặc khả năng ứng dụng thực tế, hãy liên hệ với nhóm phát triển.

Thông tin liên hệ

Quachtanhung124@gmail.com
(84) 0896486912
139 Nguyễn Du, phường Bến Thành, Quận 1, Thành phố Hồ Chí Minh
Website giới thiệu

Nội dung hiện có

Trang tập trung vào mô tả dự án, ảnh phần cứng, mã điều khiển mới và các tài nguyên để người xem có thể kiểm tra nhanh.