각 카테고리에는 간단한 기술 설명과 함께 시연 영상이 첨부되어 있으니 참고 부탁드리고, 내용 보시고 궁금하신 부분들은 이메일 또는 오픈랩을 통해 문의주시면 감사하겠습니다.
교수님 메일 주소: khko@gist.ac.kr
랩 매니저 메일 주소 : jonson@gm.gist.ac.kr

Topic 1 : 증강 현실 (AR), 가상 현실 (VR), 혼합 현실 (MR), 그리고 확장 현실 (XR)

• 연구의 필요성 :
  - 프로젝터와 스마트폰 성능이 향상됨과 동시에 가격에 대한 장벽도 낮아지면서 일상 환경에서 실감 콘텐츠를 제공할 수 있는 방법으로 프로젝션이 그 가치를 인정받고 있으며, 비대면 사회 환경에서 점차 그 활용범위를 넓혀가고 있다. 프로젝션 기술은 VR/AR 기술이 가지고 있는 문제인 HMD(Head mounted display)나 글래스 등의 디바이스를 상시 착용해야 하는 것과 사용자에 따라 멀미나 구토, 어지럼증 등 불편이 발생하는 문제를 효과적으로 해결 할 수 있으며, 특히 XR (eXtended Reality)환경을 실현하는 기술로 주목을 받고 있다. 이러한 기술을 활용하는 것이 정보 및 콘텐츠 시장에서 중요한 한 축이 되어가고 있는 데 반해, 이에 대응할 수 있는 국내 핵심 기술은 미비해서, 대부분 외산 시스템을 수입하여 활용하는 데 그치고 있다. 특히, 지금까지 프로젝션 기술을 활용하기 위해서는 전용 프로그램 및 하드웨어, 전문인력 투입 등 많은 단계가 필요하며, 각 단계마다 많은 시간이 소요되기 때문에 일반 대중들이 쉽게 접근할 수 없는 한계가 있다.
  - 위와 같은 한계를 극복하기 위하여, 프로젝션을 바탕으로 한 XR환경을 만들고 실감 콘텐츠를 제공하기 위해서는 다양한 비정형 대상물을 인식하고 정보를 추출하여 콘텐츠를 손쉽게 대상물에 투사하고 통합하여 사용자와 인터렉션을 가능하도록 하는 기술이 필요하며, 전문 지식이 부족해도 사용할 수 있는 자동화 기술이 필요하다. 본 연구에서는 평면이 아닌 복잡한 구조의 제한된 실내 공간 표면에 대한 정밀한 프로젝션을 자동화하여 손쉽게 XR 환경으로 전환하고, 구현된 XR 공간과 그 공간에 있는 사용자 간 인터랙션을 가능하게 하는 콘텐츠 생성 기술을 개발하고자 한다.
• 관련 기술 :
  - 카메라-프로젝터 캘리브레이션 (Calibration)
  - 프로젝션 맵핑 (Projection Mapping)
  - 관심영역 추출 (RoI Detection, RoI : Region Of Interest)
  - 3차원 공간 동적 재구성
  - 실내 공간 조명 정보 추정
  - 프로젝터 색상 캘리브레이션

Topic 2 : 인공지능 (AI)

• 연구의 필요성 :
  - 인공지능(AI)의 종류인 딥러닝 네트워크(Deep Learning Network)의 경우 기존에 불가능했던 여러 다양한 서비스 및 제어 기능들을 가능하게 할 수 있다. 이미지 분류, 관심영역 추출등 일반적인 업무의 경우 인터넷에 공개된 네트워크나 학습 데이터 셋을 활용하면 충분히 수행가능하나, 산업 환경, 암실환경 등 일반적이지 않는 환경내에서 업무를 수행하거나 특정 업무(예: 특정 물체의 경계점 수색)를 수행할 경우 기존에 공개된 학습 데이터나 딥러닝 네트워크만으로 높은 성능를 보여주지 못한다는 한계점이 있다.
  -위 문제점을 해결하기 위해 자체적으로 특정 업무에 알맞는 학습데이터를 만들거나 딥러닝 네트워크를 개발하고자 한다. 본 연구에서는 문제 해결을 위해 학습 데이터를 자체적으로 제작하고, 효율적인 제작을 위해 기존의 데이터를 이용해 새롭게 데이터를 창조하는 데이터 증강(Data Augmentation) 기법을 연구한다. 또한 특정 업무에서 높은 정확도를 얻기 위해, 기존 네트워크에 입력 정보(예: 법선, 곡률)를 추가, 목적 함수(Objective Function)를 변경하거나 또는 구조를 개선함으로써 특정 업무에 특화된 딥러닝 네트워크 개발 기술을 확보하고자 한다.
• 관련 기술 :
  - 경계 곡선 식별 (Boundary Curves Classification)
  - 카메라 자세 추정 (Camera Pose Estimation)
  - 관심영역 추출 (RoI Detection, RoI : Region Of Interest)
  - 의미론적 분할 (Semantic Segmentation)
  - Semantic SLAM (SLAM : Simultaneous Localization and Mapping)

Topic 3 : 기하 데이터 처리

• 연구의 필요성 :
  - 건축 및 산업 현장에서는 빠른 시간 안에 효율적으로 설계도와 정확하게 동일한 제품 및 구조를 제작할 필요가 있다. 이전까지는 제작자가 설계도를 눈으로 확인하고, 수치가 맞는지 측정하여 설계한 대로 제품이 제작되었는지 확인하는 역설계(reverse engineering)나 품질 검수 (Quality inspection)등의 번거로운 작업이 생산 효율성을 크게 저하시켰다. 또한 완성품을 제작하기 위해서는 여러 부품이 각각 설계와 동일하게 제작되었는지 확인하고, 이들이 적합한 위치에 다른 부품과 조합되어 최종 완성품이 원하는 오차 안에 설계되었는지 여러 차례 설계도와 대조하는 시간이 오래 걸리고 비효율적인 작업 공정 때문에, 전체 생산 효율이 매우 저하되고, 인도 시기가 늦어지는 큰 문제점이 있었다.
  - 이와 같은 문제를 해결하는 방법으로 3차원 스캐너를 활용한 정합기술(Registration)과 증강현실(Augmented Reality. AR)이다. 3차원 스캐닝과 증강현실 기술에서 설계 도면을 실제 제품 이미지에 직접 겹쳐서 보여주거나 실제 스캔 데이터와 비교할 수 있다는 부분이 산업계에 많은 관심을 불러 일으켰으며, 생산에 적용하고자 많은 노력을 기울였다. 그렇지만, 스캐닝이나 증강현실의 적용에 있어서 마커를 사용하거나 자동 다중 점군 정합이 수동으로 해야 하는 문제들 때문에 효율적으로 현장에 적용하는 것이 어려웠다. 이에 본 연구에서는 스캐닝과 증강현실 적용에 있어서 핵심 문제를 해결하는 기술을 개발하고자 하며, 이를 바탕으로 생산현장에 직접 적용할 수 있는 기술을 개발하고자 한다.
• 관련 기술 :
  - 정합 (Registration)
  - 엣지 검출 (Edge Detection)
  - 제조 (Manufacturing)
  - 특성 추출 : 법선 (Normal Vector), 곡률 (Curvature) 등

Equipment

• Kinect V2
• Azure Kinect
• Camera
• Projector
• MR glasses