전체 글

1. 문제내가 이번 프로젝트를 통해 구현해야 할 메인 기능은 두 개다.기능 1. 시선 추적 (Eyes Tracking / Gaze estimation)기능 2. 사람의 보고 있는 방향(왼쪽, 오른쪽, 위, 아래) 추적 2번 같은 문제는 구현하는데 있어 크게 문제가 되지는 않지만..  1번 시선 추적을 구현하는데 있어 난항을 겪고 있다. 현재까지로는 YOLO모델로 학습을 시켜 사람의 눈동자(홍채)를 탐지하는것 까지는 성공했고 눈동자를 움직였을 때, 큰 오차 없이 잘 따라오는 것을 확인했다. 그리고 각 눈동자들을 좌표(x, y)값으로 나타냈다. 하지만 실제 사람은 눈동자나 고개를 조금만 돌려도 볼 수 있는 시야각이 넓어지지만 좌표상으로는 큰 변화가 없다.  그래서 실제 사람의 시야 변화률과 좌표 상의 변화률..

1. 기본 세팅 2. pt → HEF 컴파일   0. 목표hailo에서 제공하는 예제 중 하나인 detection.py을 이용해 내가 만든 hef파일을 실행시켜 볼 예정이다.1. lable.json 생성다음과 같이 test-labels.json 파일을 만들어준다.{ "detection_threshold": 0.5, "max_boxes":200, "labels": [ "pupiles", "eyes" ]} detection_threshold : 탐지된 객체의 신뢰도이다. 신뢰도가 50% 미만인 객체는 출력되지 않는다max_boxes : 최대 탐지할 객체 개수를 200개로 설정labels : 모델이 탐지할 객체 목록 나 같은 경우는 pupils과 eyes라는 객체이다. ..

1. 정의   2. 예제 좌측 함수를 1번 함수, 우측 함수를 2번 함수라 명칭한다 1. X1(t)2. X2(t)

https://www.bleepingcomputer.com/news/security/undocumented-commands-found-in-bluetooth-chip-used-by-a-billion-devices/ Undocumented commands found in Bluetooth chip used by a billion devicesThe ubiquitous ESP32 microchip made by Chinese manufacturer Espressif and used by over 1 billion units as of 2023 contains undocumented commands that could be leveraged for attacks.www.bleepingcomputer.com  ..

0. 서론 변환시킬 파일 : best_s.ptyolov8s 모델로 학습을 시킨 파일이라 이를 구분하고자 파일 마지막에 _s를 붙였다.   1. PT →  ONNX 변환from ultralytics import YOLOmodel = YOLO("./runs/detect/train/weights/best_s.pt")model.export(format = "onnx")ONNX 변환은 YOLO에서 export 기능을 지원하기 때문에 위와 같이 간단하게 변환시킬 수 있다.  사진처럼 ONNX 파일이 추출된 것을 확인할 수 있다.    2. ONNX → HEF 변환대략적인 큰 그림을 그리자면 host에서 HEF 파일 변환을 하고, on device에서 hef파일 실행할 것이다. 내 프로젝트 같은 경우는 host가 내..

0. Octave란?수치 해석 오픈 소스 소프트웨어이다.MATLAB처럼 행렬 연산, 수치 해석, 신호 처리, 제어 시스템 설계 등의 분야에서 사용된다. 유료인 MATLAB과 다르게 무료이기 때문에 학생 라이센스를 지원하지 않는 학교나 금전적으로 부담이 되는 사람들은 대용품으로 Octave를 사용하면 좋아보인다. MATLAB과 호환성이 좋다고 한다.  1. 기본적인 명령어들 (주기적으로 추가 할 예정)1. clc터미널을 정리한다. 변수나 함수는 그대로 유지됨  2. clear변수를 삭제하여 메모리를 비운다. 사용 예시 : clear; % 모든 변수 삭제clear x; % 변수 x만 삭제clear a b c; % 변수 a, b, c만 삭제  3. who현재 작업 공간에 저장된 변수 목록을 출력

Hailo8을 사용하기 위해서는 그냥 학습된 가중치 파일(.pt)을 라즈베리파이 같은 보드에서 사용할 수 없다. Hailo 칩이 사용할 수 있게끔 최적화된 파일로 변환시켜줘야한디ㅏ.Hailo Excutable Format이라고 해서 HEF 파일이라 명칭 한다.  변환 과정은 다음과 같다 : 1. .pt   → .onnx   2. .onnx → .hef 1번 과정은  yolov8의 export 기능을 사용하여 쉽게 변환이 가능하지만  2번 과정은 hailo사에서 제공하는 SDK를 사용해야 하기 때문에 관련 설정이 까다롭다. Dataflow Compiler라는 소프트웨어를 사용해서 hef파일로 변환을 시켜줘야 하는데 이거 사용할 수 있는 시스템 사양이 다음과 같다 시스템 사양(2025. 03. 02 기준, ..

이제 3학년이라서 영어 성적 미리 따놓는게 좋을 거 같아 오픽 시험을 봤다.  딱히 준비는 안 하고 그냥 가서 봤다. 영어는 자신감  시험 보면서도 IH정도는 나오겠다고는 느낌  AL 받는 사람들 정말 대단하다 ㄷㄷ 이제 방학때 teps만 따면 영어는 끝이다!

개발 환경1. 라즈베리파이52. Hailo8사용 (hailo8L 아님)3. OS : Rasberry Pi OS (64-bit) 참고 문서유튜브깃허브 저 둘 내용을 번역한 거라 자세한 내용을 알고 싶으면 저 두 자료를 참고하면 된다. 1. apt 패키지 업데이트sudo apt updatesudo apt full-upgrade위 두 명령어로 apt 패키지를 최신버전으로 업데이트하여. 추후에 Hailo driver 패키지를 다운로드할 수 있도록 한다. sudo apt full-upgrade를 하면 중간마다 뭐 물어보는 게 나오는데 default로 설정했다.  2. PCIe Gen3 설정Hailo를 사용하기 위한 환경을 세팅하기 위해 PCle Gen3설정을 한다.sudo raspi-config  Advanced..

라즈베리파이에서 yolo모델을 돌릴거라 라즈베리파이 자체의 연산량은 부족하다고 판단하여 검색해보니 Hailo라는 연산 가속기가 있다. 대충 찾아보니 AI 관련 프로세서들을 대신 처리해주는 NPU 같다. (비전 처리쪽에 특화된 칩이다. 이걸로 다른거 돌리려고하면 정보가 없을거다..)  1. 가격좀 비싸다.. 라즈베리파이도 비싸고.. 인터넷을 보니 저거 살바에 차라리 n100산다는 여론이지만.. 아무튼 라즈베리파이 쓰기로 결정했으니 구매..   2. 부품  왼쪽부터 순서대로 라즈베리파이5(쿨링팬 장착), 헤일로 8이다.윗쫏에 있는 볼트들은 라파5에 헤일로를 장착하는데 쓰면 된다.  3. 조립