공간정보와 인터넷지도

Exyn 이라는 스타트업에서 드론에 탑재할 수 있는 인공지능을 개발했다는 소식입니다. 이 기술은 먼저 여러가지 센서를 통해 수집한 정보를 사용하여 3D 지도를 생성하여, 비행계획을 세워 목표지점까지 자율적으로 운행할 수 있도록 하는 기술입니다.

사용자는 맨처음에 드론의 현재위치와 목표지점만을 지정하며, 중간에는 아무런 개입을 하지 않습니다. 중간에 사람이 길을 막아서는 등 장애물이 변경되더라도 이를 인지하여 우회 또는 넘어가기도 합니다.

아래 화면에서 왼쪽 아래는 드론이 실시간으로 만들어낸 3D 지도와, 운행경로(노란색 선)을 볼 수 있습니다. 

이러한 자동운항 시스템이 있다면 특히 복잡한 공장 내부의 시설물 조사 같은 곳에서 많은 쓰임새가 있을 것 같습니다. 특히 여러대의 드론이 서로 협력하여 조사할 수 있는 드론이 있다면 용도는 무한정할 것 같습니다.

하지만, 이번 공개된 Exyn의 기술도 아직까지 "인공지능"이라고 이름붙이기에는 한참 멀었다고 보입니다. 2차원대신 3차원으로 회피하는 기술을 추가한 정도로 보입니다. 물론 이 정도를 구현하는 것도 아주 어려운 일이지만요.

아마 우리나라에서도 많이 연구하고 있겠죠?

민, 푸른하늘

===

Exyn Technologies Inc. 라는 스타트업이, GPS가 없는 곳이나 어둡고 장애물이 가득찬 환경에서도 드론을 자율운항 할 수 있도록 해주는 인공지능 소프트웨어를 공개했다. 펜실바니아 대학교 GRASP Labs로부터 분사한 Exyn은 다양한 센서를 융합하여, 드론이 마치 사람처럼 상황을 인식할 수 있도록 하였다.

이 회사에서 공개한 데모디비오에서, Exyn의 인공지능을 사용한 드론은 자신의 주변 환경을 인식하고 받아들이는 것으로 보인다. 그 다음 복잡한 사무실에 있는 출발점으로부터, 사람의 개입없이 가까운 출구까지 운항하였다. 경로는 미리 프로그램한 상태가 아니고, 조종사는 드론이 파악한 경로에 영향을 미치도록 조종하지 않았다. 그냥 가까이 있는 문을 찾아서 가라고만 지시하였다.

Exyn 설립자이며 경험 많은 로봇공학자이자, 펜실바니아 대학교 공과대학 학과장인 비제이 쿠마르(Vijay Kumar)에 따르면, "드론이 주변환경을 이해하도록 만든 인공지능은 자육주행자동차나 지면에서만 돌아다니는 로봇보다 한단계 더 복잡하다"고 말한다.

드론이 마주치는 환경 자체가 3차원이기 때문이다. 단순히 교통신호를 따르거나 보행자나 가로수를 피하는 것보다 더 많은 기능이 필요하다. 드론은 인터넷이 연결되어 있지 않은, 지도도 없는 공간에서 장애물을 넘어가거나 피해가야 한다. 쿠마르는, 아울러 "드론은 모든 탑재물을 안고 날라야 한다. 자동차는 바퀴로 굴러가며 큰 배터리를 싣고 달릴 수 있다. 하지만 드론은 자신이 날라갈 수 있을 만큼 모든 전원을 안고가야 한다."고 지적한다.

쿠마르 교수의 원래 연구를 적응한 Exyn의 인공지능은 일반적인 DJI 모델로부터 더 복잡한 연구용이나 산업용 UAV까지 모든 종류의 무인비행장치에 사용할 수 있다. Exyn의 수석 엔지니어 제이슨 데레닉(Jason Derenick)은 기술의 기본 원리를 다음과 같이 설명한다. "우리는 다양한 스펙트럼의 다양한 센서를 융합하여, 드론으로 하여금 실시간으로 3차원 지도를 생성하게 한다. 우리는 상대적인 목표와 시작 지점만 제공한다. 하지만, 드론이 이륙하면 자신의 지도를 갱신하고 계획과 재계획 과정을 거치며 최종 목표에 도달한다." 

기술을 독립적으로 유지함으로써, Exyn 기술을 적용한 드론은 외부의 기반시설이나, 조종사가 없이도 임무를 완수할 수 있다. 앞으로 이 회사는 클라우드 기반의 자료를 통합하여 사용할 수 있다.

Exyn은 IP Goup의 지원을 받고 있으며, 실리콘밸리에 있는 Iris Automation이나 Area 17과 같은 스타트업이나, Menlo Park의 Skydio나 이스라엘의 Airobotics와 같이 사유 자율비행 소프트웨어를 탑재한 드론을 제작하는 회사의 경쟁을 받고 있다.

Exyn의 CEO이자 회장인 네이더 엘름(Nader Elm)은 Exyn의 인공지능을 채택할 경우, 드론에 새로운 용도를 부여하여, 안전하지 않거나 인간이 일하기 쉽지 않는 곳에 드론을 두입할 수 있을 것이라고 희망한다.

예를 들어, 네이더는 Exyn의 기술을 팔레트로 가득차있는 창고에서 드론이 목록을 파악하거나, 어두운 갱도 혹은 건설중인 빌등내에서 안전진단을 하거나 생산성을 측정하는 용도로 활용될 수 있다.

네이더씨는 "우리는 무엇보다 먼저 상업용으로 튼든하고 견실하게 만들어가면서 새로운 기능을 추가하는 등 기술을 진보시켜 나갈 것이다. 궁극적으로 우리는 하나의 드론에서 여러개의 협력하는 드론이 공통의 임무에서 함께 일하도록 만들고자 한다. 우리는 장애물 회피에 중점을 두고 있지만, 드론이 자신의 주변에 있는 여러가지 것들과 어떻게 상호작용을 하게 할 것인지를 생각하고 있다." 고 말한다.

===

원문 : https://techcrunch.com/2017/02/21/exyn-unveils-ai-to-help-drones-fly-autonomously-even-indoors-or-off-the-grid/

마이크로소프트에서 드론이나 자율자동차, 로봇 등을 테스트하는데 사용할 수 있는 시뮬레이터를 공개했습니다. 이 시뮬레이터는 실세계의 정밀한 3차원 모델 뿐 만 아니라, 그림자나 반사, 햇빛 등등 우리가 실 세계에서 마주칠 수 있는 모든 것을 재현했다고 합니다.

드론, 자율자동차, 로봇... 특히 자동 운행되는 장치를 만들기 위해서는 여러가지 센서에 들어오는 데이터를 기반으로 어떻게 회피하고 경로를 선택해서 가야하는지를 테스트해야 합니다. 그런데 테스트하는 입장에서는 실세계에서 테스트할 경우 너무 위험하기도 하고 비용도 많이 들 수 밖에 없는데, 이 시뮬레이터를 이용하면 비용과 위험도를 낮출 수 있고 개발도 빨리 할 수 있는 장점이 있습니다.

또한 이 시뮬레이터 상에서 돌려볼 수 있는 소프트웨어 라이브러리도 제공한다고 합니다. 특히 드론의 경우 가장 널리 사용되고 있는 DJI 및 Pixhawk 등에서 널리 사용되고 있는 MavLink 두가지 모두 지원이 된다고 하니 자동운항 드론을 개발하는 분들께 많은 도움이 될 수 있을 것 같습니다.

게다가 이 모든 것을 오픈소스로 개방한다고 하니... 개발자들이나 연구하는 분들께 많은 도움이 될 것 같네요.

참고 : 자세한 내용은 논문을 보세요.

민, 푸른하늘

===

정상적인 시각을 가진 대부분의 사람들은 거리를 걸을 때 나무나, 경계석, 유리문 등 피해야 할 것과, 그림자, 반사, 구름 등 피하지 않아도 되는 것들을 쉽게 구분한다.

대부분의 사람들은 다음에 어떠한 장애물과 마주칠 수 있는지도 쉽게 예측할 수 있다. 예를 들면 꺽어진 길목에 들어서면 차를 살펴야 하고, 경계석을 내려서야 할 것 등을 준비한다.

구분하고 예측하는 능력은 사람에게는 쉽지만, 인공지능 기반의 시스템에게는 매우 힘들다. 이것이 자율자동차 또는 자동배송드론이 아직도 초기단계의 기술에 머물고 있는 이유이다.

마이크로소프트 연구원들은 이를 변화시키기로 하였다. 다른 연구원들이나 개발자들이 로봇, 드론 등과 같이 실세계에서 자동으로 안전하게 운행되어야 하는 장비들을 시험하고 테스트하는 데 사용될 수 있는 새로운 도구를 만들고 있다. 이 도구의 베타버전이 오픈소스 라이센스로 GitHub에 공개되었다.

이 도구는 항공정보공학 및 로봇공학 플랫폼(Aerial Informatics and Robotics Platform)이라는 연구프로젝트의 일환이다. 이 도구에는 연구원들이 공중로봇과 다른 기기를 제어하는 코드를 쉽게 개발할 수 있는 소프트웨어와, 인공지능 시스템을 훈련시키는데 필요한 데이터를 수집하고 실세계에 배치하기전 가상세계에서 테스트할 수 있는 고도로 사실적인 시뮬레이터가 포함된다.

이 프로젝트를 이끌고 있는 마이크로소프트 연구원 Ashish Kapoor는, 이 도구가 인공지능 기기를 생산하기 위한 주요 진전을 이룸으로써, 운전이나 배송, 심지어는 세탁등에 이르기까지 신뢰할 수 있게 되기를 희망한다고 말했다.

"희망하는 목표는 실세계에서 작동할 수 있는 시스템을 만드는 것"이라고 말했다.

이 프로젝트는 보드게임등과 같은 잘 정의된 규칙을 가지고 있는 인공적인 환경에서 인공지능을 가르치는데 목표를 두고 있는 다른 인공지능 연구 프로젝트와는 구분된다.

Kapoor는 이 작업의 목표가, 사람들이 일상적으로 하는 것들을 안전하게 증진시킬 수 있는, 보다 실용적인 도구를 개발하는데 도움이 되는 것이라고 한다. "실제로 실세계 시스템에 대해서 생각하는, 다음 단계의 인공지능이다"

실세계 시뮬레이션

예를 들어, 드론이 담벼락과 그림자를 구분하도록 훈련시킨다고 하자. 아마도 수백대의 드론을 담벼락에 충돌시키지 않고도 자신의 이론을 테스트해보고 싶을 것이다.

지금까지의 시뮬레이터도 이러한 테스트에 약간 도움이 되긴 했지만, 복잡한 실세계를 정말도 잘 반영하기에는 충분치 않았다. 사람이 하는 것과 마찬가지로 주변의 세계를 정확하게 인지할 수 있는 시스템을 개발할 때 핵심적인 요소이다.

이제 그래픽하드웨어와 컴퓨팅 파워, 알고리듬 의 발전에 힘입어, 마이크로소프트 연구원은 좀더 사실적인 환경을 재현해주는 시뮬레이터를 개발할 수 있다고 말한다. 항공정보공학 및 로봇공학 플랫폼의 시뮬레이터는 최신의 사실적인 기술에 기반하고 있어, 그림자와 반사등 미묘한 부분까지 정확하게 렌더링 할 수 있으므로, 컴퓨터 비전 알고리듬에 상당한 차이를 만든다.??

via GIPHY

시뮬레이터 핵심 개발자이며, 주요 연구 소프트웨어 개발 엔지니어인 Shital Shar는 "매우 충실한 인식작업을 원한다면, 아주 사실적으로 정밀하게 현실을 표현해야 한다. - 눈에 태양이 비추기도 하고, 길바닥에 물이 있을 수도 있다."라고 말한다.

새로운 시뮬레이터는 매우 사실적이어서 연구자들은 자동운행 시스템을 위한 안전하고 신뢰할 수 있으며 저렴한 테스팅 환경을 사용할 수 있게 된다.

이는 두 가지 장점이 있다. 첫번째는 값비싼 드론, 로봇 또는 기타 장비를 원하는 만큼 충돌시킬 수 있다는 것이다. 그 과정에서 값비싼 자금을 낭비할 필요도 없고, 실제 건물이나 사람에 위해를 가하지 않아도 된다.

두번째는 더 나은 인공지능을 더 빠르게 개발 할 수 있다. 시스템이 안전하게 반응할 수 있는 알고리듬을 개발하거나, 강화학습과 같은 시행착오가 필요한 인공지능연구를 수행하기 위해 필요한 훈련용 데이터 수집 시간을 단축할 수 있기 때문이다.

연구자들은 시뮬레이터가 있음으로써, 거의 오류가 있어서는 안되는 실세계 설정에서 시스템을 빠르게 테스트할 수 있게 될 것이라고 말한다.

지능로봇시스템 개발 가능

시뮬레이터와 함께, 항공정보공학 및 로봇공학 플랫폼에는 가장 널리 사용되고 있는 두가지 플랫폼인 DJI 및 MavLink를 사용하여 드론을 제어하기 위한 코드를 빠르게 개발할 수 있는 소프트웨어 라이브러리가 들어있다. 일반적으로 개발자들은 이들 별도의 API를 배우고 각각의 플랫폼을 위한 별도의 코드를 작성하는데 많은 시간을 소모해야 한다.

연구팀들은 앞으로도 더 많은 도구를 추가할 것으로 예상한다. 그동안 이 라이브러리와 시뮬레이터가 전 분야를 발전시키는 데 기여하길 희망하고 있다.

예를들어, 이 도구를 사용하면, 로봇이 환경에 있는 다양한 요소를 인식하는데 도움이 되고, 문과 같은 실재 장애물과 그림자와 같은 가짜 장애물을 구분하는 인식 능력을 개발하는데 도움이 될 것이다. 아울러 이러한 인식 능력은 보도가 얼마나 멀리까지 있는지와 같은 복잡한 개념을 로봇이 이해하는데 도움이 될 수 있다.

이와 비슷하게, 항공정보공학 및 로봇공학 플랫폼을 사용하면, 개발자들이 다음에 어떤 사건이 벌어질 지, 어떻게 반응할 지를 장치들이 예측하는 계획기능을 개발하는데 도움이 될 수 있다. 마치 사람들이 거리를 건널때 차들이 올 수 있다는 것을 예측할 수 있는 것처럼. 이러한 인공지능 - 사람들이 실계계를 움직이는 방법과 비슷하게 흉내내는 - 은 일상에서 안전하게 사용되는 실질적인 시스템을 개발하는 핵심이다.

전체 플랫폼은 환경속을 운행해가는데 필요한 모든 종류의 자동화 시스템에 적용할 수 있도록 설계되어 있다.

"동일한 코드기반을 사용하여 글라이더도 날릴 수 있고 차를 운전시킬 수도 있다."고 Kapoor는 말한다.

로봇공학의 대중화

연구팀들이 이 플랫폼에서 일한것은 1년 미만이지만, 이들은 이미 컴퓨터비전, 로봇공학, 머쉰러닝 및 계획 등 다양한 분야에서 수십년간의 경험을 가지고 있다. Kapoor는 그들이 빠른 성과를 거둔 것은 마이크로소프트 리서치랩의 독특한 구조 - 다양한 분야의 배경을 가진 연구원들이 쉽게 협력할 수 있기 - 때문이라고 한다.

연구진들은 이 프로젝트를 오픈소스화 함으로써, 자동적으로 운행할 수 있는 인공지능 주체의 개발을 촉진시키고자 결정하였다. 많은 사람들이 미래에 드론, 로봇, 차량등이 자율적으로 운행할 것으로 보지만, 현재 대부분의 시스템들은 상당한 정도의 사람의 개입에 의존하고 있다.

연구팀들은 또한 많은 로봇공학 및 인공지능 연구자들이 자신만의 도구를 개발하거나 실세계에서 테스트 하기 위한 시간과 자원이 많지 않다고 언급한다. 이것이 자신들의 작업을 공유하고자 하는 또다른 이유이다.

"우리는 로봇공학의 대중화를 바랍니다."고 이 프로젝트에서 일하는 연구원인 Debadeepta Dey씨가 말했다.

이들은 또한 항공정보공학 및 로봇공학 플랫폼이 인공지는 주체가 실세계에서 작동되기위한 프로토콜과 규정을 표준화하기 위한 시발점이 되길 희망한다. 

Kapoor는 운전하는 모든 사람이 차를 어느방향으로 몰아야 하는지, 보행자를 위해 언제 정지해야 하는지 얼마나 빨리가는지 등등 여러가지 표준화된 프로토콜을 따라야 한다는 것을 알고 있다고 언급한다. 이러한 표준이 아직 인공지능 주체에 대해서는 존재하지 않는다.

Kapoor는 연구팀들은 자동화시스템이 좀더 널리 사용될 때 안전을 증진시킬 수 있는 성공사례를 개발할 수 있을 것이라고 말했다. "모든 생태계는 진화해야 한다."

===

원문 : https://www.microsoft.com/en-us/research/project/aerial-informatics-robotics-platform/