실시간 딥보이스 탐지 어플 (너목보)

프로젝트 개요
최근 급증하는 AI 보이스피싱 범죄에 대응하기 위해 개발한 모바일 보안 솔루션입니다. 통화 중 상대방의 음성을 실시간으로 분석하여 합성 음성(DeepVoice)일 확률을 계산하고 위험 감지 시 즉각 경고를 제공합니다.
클라우드 서버를 거치지 않는 온디바이스(On-Device) AI 방식을 적용해 통화 데이터 프라이버시를 보호하고 네트워크 지연 없는 실시간 탐지를 구현했습니다.

담당 역할 및 기여 — Backend Developer & AI Engineer

• 백엔드 인프라 설계 및 구축
  • AWS(EC2, S3) 기반 웹 대시보드 및 API 서버 배포·운영
  • Firebase App Distribution 기반 안드로이드 앱 배포 파이프라인 구성
• AI 알고리즘 구현
  • ResNet50 기반 딥보이스 탐지 초기 모델 구현
  • 음성 데이터를 이미지로 변환하는 Mel-Spectrogram 전처리 로직 설계
• VoIP 통화 환경 지원
  • 안드로이드 보안 정책 대응을 위한 VoIP 통화 구조 구축 지원
  • Socket.io 기반 오디오 패킷 데이터 파이프라인 최적화

핵심 문제 해결

1. 모바일 환경을 위한 모델 경량화
초기 ResNet50 모델(약 294MB)은 모바일 실시간 추론에 부적합했습니다.
입력 채널을 3-Channel → 1-Channel 구조로 변경하고 Pruning + Quantization을 적용해 TFLite 모델로 최적화했습니다.

• 모델 크기: 294MB → 25.1MB
• 정확도: 97.4% 유지
• 추론 속도: 약 26% 개선

2. 안드로이드 보안 정책 대응
안드로이드 10 이상에서는 일반 통화 오디오 스트림 접근이 제한되는 문제가 있었습니다.
이를 해결하기 위해 VoIP 기반 통화 구조를 설계하고, Socket.io 서버를 통해 오디오 패킷을 실시간으로 모델에 전달하는 파이프라인을 구현했습니다.

Repositories & Deployment

• Mobile App:
  github.com/wjdwhddls/deepfake_detection_service_application
• Backend:
  github.com/wjdwhddls/deepfake_detection_service_backend
• Web Dashboard:
  github.com/wjdwhddls/deepfake_detection_service_frontend
• AI Model:
  github.com/wjdwhddls/deepfake_detection_service_deepvoice

수상 성과

• 충청권 ICT 이노베이션스퀘어 개발 역량 강화 멘토링 S/W 개발 분과 대상
  (주관: 과학기술정보통신부 / 시행: 세종테크노파크)
• 2025년 지역혁신 인재양성 연합 페스티벌 컨퍼런스 및 공모전 우수상
  (한국정보통신보안윤리학회)
• OpenCV Zoo 기반 머신러닝·딥러닝 영상분석 실무 프로젝트 발표회 최우수상
  (홍익대학교 산학협력단)