https://docs.google.com/document/d/1ECsH3NbSoXkwm2zR4XM7vHkbddldqOXDLmq82ORsNQw/edit?tab=t.0
2025 ICT 온디바이스 실습 프로젝트
2025 . 10 . 30 ~ 2025 . 11 . 14
친절한 찰쓰씨
[ 주제선정이유 ]
실제 무인 매장을 운영하면서 많은 불편함을 느끼고 있었습니다. 이러한 불편을 개선하고자 국내외 관련 제품 또는 서비스를 찾아보았지만 찾을 수 없었습니다. 더불어 이와 관련한 유명 제조사(CCTV, 키오스크 등) 또는 관련 이해 관계자(유통 업체)들에게 관련 문의해보았습니다만 모두들 불편함을 인지하고 있었으나 적극적인 해결 의지는 갖고 있지 않았습니다.
하지만 본인은 관련 업을 실제로 진행하고 있고 앞으로도 계속 유지할 생각입니다. 더불어 다양한 카테고리에서의 현재 무인 시장의 규모와 앞으로의 확장성을 고려했을때 충분한 가치가 있다고 판단하여 직접 프로젝트를 추진하게 되었습니다.
[ 프로젝트 개요 ]
시각지능을 활용한 결제시스템 MVP 구축
[ 목표 ]
1. MVP 구현 목표(수정, 고도화)
모델을 튜닝하는 전용 어드민과 단말기의 센싱, 어플리케이션 구동 자동화를 위한 전체 파이프라인을 구현하여 MVP에 대한 타당성과 사용성을 판단할 수 있도록 한다.
2. MVP 구현 시나리오(수정, 고도화)
관리자
1) 모델을 튜닝 후 데이터베이스에 등록된다.
2) 엔드유저의 어플리케이션이 모델과 어플리케이션의 버전을 확인한다. 선택적으로 업데이트를 실행한다.
사용자
1) 사용자가 단말기(계산대 스마트폰-App)에 시작 버튼을 클릭한다
2) 사용자가 계산대에 상품을 올려둔다.
3) 계산대가 상품을 인식하면
- 성공 메시지(.. TTS/알람/조명)가 나온다
- 단말기(계산대 스마트폰-App)에 상품명과 가격정보가 나온다
- 컨베이어벨트가 작동하고 상품이 패키징존으로 이동한다
4) 사용자가 단말기(계산대 스마트폰)에 종료 버튼을 클릭한다
5) 단말기(계산대 스마트폰-App)에서 합계 금액을 제공한다
[ 추진일정 ]
11/02 까지 : 단위 기능 구현
11/09 까지 : 소프트웨어(어드민, 파인튜닝 모델, 앱) 기능 구현
11/13 까지 : 하드웨어(카메라, 컨베이어벨트), 소프트웨어 기능 연계, 자동화 파이프라인 구성
11/14 까지 : 문서 작업
[ 기술스택 ]
Hardware & Embedded Android
온디바이스 ML 최적화(TFLite + NNAPI) 및 실시간 비전 처리(30–60fps)
ESP32 기반 IoT 시스템 구성
ESP32-CAM(OV2640, JPEG 스트림 ~5fps)
L298N 기반 DC 모터 제어(PWM + 방향 제어)
WebSocket 기반 양방향 통신(JSON + JPEG Binary)
간단한 상태 머신(IDLE → SCAN → PROCESSING) 설계 및 펌웨어 개발
Android / Mobile Development
언어 & UI
Kotlin, Jetpack Compose(Material3)
SDK: Min 24 / Target 34
모바일 ML/AI
TensorFlow Lite(MobileNetV2, int8 quantization)
NNAPI Delegate(NPU 가속)
GPU Delegate(Adreno) 및 ML Kit Object Detection 활용
경량 모델 OTA 업데이트 설계(Firebase Remote Config + Storage)
카메라 & 실시간 처리
CameraX 기반 실시간 프레임 처리 파이프라인 구축
WebSocket 클라이언트 구현(ESP32-CAM 스트림 수신)
배포 & 운영
Firebase Authentication(익명 인증)
WorkManager 기반 모델/리소스 백그라운드 업데이트
GitHub Actions 기반 CI/CD
ESP32 Firmware Development
개발 환경
Arduino Core for ESP32(3.x), esp_camera, ArduinoJson, WebSocketsServer
주요 기능 구현
카메라 캡쳐(JPEG), WebSocket 프레임 스트리밍
모터 제어(PWM, 방향 제어)
JSON 기반 명령 프로토콜("START_SESSION”, "MOTOR_RUN", “STATE” 등)
ESP32 ↔ Android 간 실시간 연동 구조 설계
System Architecture
구조
Android(ML 추론, UI, 제어) ↔ ESP32-CAM(센싱/모터)
실시간 스트리밍 + 온디바이스 AI + IoT 제어의 통합 시스템
기능
ESP32는 카메라 및 모터 제어 담당
Android는 AI 비전 처리 및 고급 제어 로직 담당
WebSocket 기반 실시간 양방향 데이터 파이프라인 구축
https://app.eraser.io/workspace/0UpgXOZiXCBAeFqFNky4
모두의계산대
Created with Eraser
app.eraser.io
[ 소프트웨어 시연 영상 ]
https://drive.google.com/file/d/10CVS8S6XO9EUQi-n6R6jrM9jR2YQ8nij/view?usp=drive_link
[ 하드웨어 구현 현황 ]
[ 진행 현황 ]
모델 파인튜닝 100%
모델 파인튜닝을 위한 어드민 구축 1-0%
기구설계 100%
하드웨어 단위 테스트 100%
안드로이드 앱 개발 100%
