26년 11월 3주차 그래프 오마카세
NVIDIA AI DAY Seoul : Newton-physics
GitHub - newton-physics/newton: An open-source, GPU-accelerated physics simulation engine built upon NVIDIA Warp, specifically targeting roboticists and simulation researchers.
An open-source, GPU-accelerated physics simulation engine built upon NVIDIA Warp, specifically targeting roboticists and simulation researchers. - newton-physics/newton
Newton Physics Documentation — Newton Physics
- 안녕하세요. 11월 9~10일 GUG가 NVIDIA 커뮤니티의 초청을 받아 좋은 기회로 코엑스에서 열린 NVIDIA AI day 행사에 다녀왔습니다. 개인적으로도 현재 진행중인 연구 방향을 점검해보고, 좋은 소스나 인사이트가 있다면 많이 얻고 돌아오고 싶어 등록하여 참석했습니다.
- 최근 Physical AI와 로보틱스 분야에 대한 관심이 높아지면서 NVIDIA의 Cosmos, Isaac Sim, Newton과 같은 플랫폼을 활용한 사례도 많이 등장하고 있습니다. SNS를 통해 관련 소식들을 종종 접해왔는데, 이번 행사에서는 여러 기업과 스타트업이 이러한 플랫폼을 실제 산업 현장에 적용하면서 얻은 성과와 경험을 직접 공유해주셨습니다.
- 덕분에 제조업을 비롯한 다양한 산업 현장에서 어떤 문제를 고민하고 있는지, NVIDIA의 기술이 그 문제를 해결하는 데 어떻게 활용되고 있는지 구체적인 사례를 통해 살펴볼 수 있었습니다. 평소에는 주로 논문이나 데모 영상으로만 접하던 기술들이 실제 산업 환경에서 어떤 역할을 하고 있는지 들어볼 수 있어 무척 유익한 시간이었습니다.
- 다만 학술 행사와는 성격이 조금 달랐던 만큼, 비슷한 연구 관심사를 가진 연구자분들과 충분히 네트워킹하지 못한 점은 아쉬웠습니다. 그럼에도 평소 접하기 어려웠던 산업계의 고민과 경험을 가까이에서 들을 수 있었다는 것만으로도 의미 있는 기회였습니다.
- 이번 주 오마카세에서는 위 행사에서의 경험을 공유드리면서 여러 발표 중 사진으로 남겨온 Newton: Simulating Complex Interaction for Physical AI 내용에 대해 말씀드려보고자 합니다. 제목처럼, 로봇이 현실에서 마주치는 여러 물리적 상황을 가상 세계에서 어떻게 재현할지를 다룬 발표였고 개인적으로 가장 흥미롭게 들었던 내용이었습니다.
- 해당 세션은 NVIDIA의 송민수 수석 매니저님께서 발표해주셨습니다.
- 발표 내용을 먼저 요약해드리면, 먼저 로봇이 현실 세계에서 안정적으로 동작하도록 학습시키기 위해, 좋은 물리 시뮬레이션 환경이 갖춰야 할 조건들을 설명해주셨습니다. 크게 네 가지로 정리할 수 있었는데, 물리 계산의 정확성과 안정성, 다양한 물리 모델을 수용할 수 있는 확장성, GPU 기반의 빠른 계산, 그리고 AI 머신러닝 프레임워크와의 연동이었습니다.
- 로봇이 가상 환경에서 물체를 집거나 밀어보는 연습을 한다고 가정해보겠습니다. 물체를 밀면 힘을 받은 방향으로 움직여야 하고, 서로 부딪히면 접촉에 따른 힘이 발생해야 합니다. 또 천이나 케이블처럼 유연한 물체라면 로봇이 잡거나 당겼을 때 그에 맞게 모양이 달라져야 합니다.
- 그런데 이러한 상황을 하나의 물리 모델만으로 모두 표현하기는 쉽지 않습니다. 단단한 로봇 팔의 움직임과 부드러운 케이블의 변형은 서로 다른 물리적 특성을 가지기 때문입니다. 따라서 각각의 대상에 적합한 계산 방식을 사용하면서도, 서로 접촉하고 힘을 주고받을 때는 그 상호작용까지 함께 계산할 수 있어야 합니다.
- 발표에서는 이러한 구성을 위해 물리 모델(Physics model), 시간에 따른 상태(State), 제어 입력(Control), 접촉 정보(Contacts), 그리고 실제 계산을 수행하는 Solver를 구분해 다루는 구조를 소개했습니다. 천과 같은 얇은 재료나 3차원 탄성체를 시뮬레이션하는 사례도 함께 살펴볼 수 있었습니다.
- 소개된 Newton은 이러한 물리적 반응을 계산하기 위한 오픈소스 시뮬레이션 엔진입니다. NVIDIA, Google DeepMind, Disney Research가 시작한 오픈소스 프로젝트로, 현재 Linux Foundation 산하에서 커뮤니티와 함께 개발되고 있으며 NVIDIA Warp를 기반으로 GPU 가속을 활용하며, 다양한 물리 solver를 조합하고 로봇 학습 환경과 연결할 수 있도록 설계되어 있습니다.
- 특히 서로 다른 solver를 함께 사용하는 coupling이 흥미로웠습니다. 발표 예시에서는 Franka 로봇 팔에 MuJoCo solver를, 케이블에는 VBD(Vertex Block Descent) solver를 연결했습니다. 로봇과 조작 대상의 물리 특성이 다를 때, 각 부분에 맞는 계산 방식을 조합할 수 있다는 설명입니다.
- 이렇게 하면 로봇 팔의 움직임뿐 아니라, 로봇이 케이블을 잡고 들어 올렸을 때 케이블이 어떻게 휘어지고 움직이는지도 함께 살펴볼 수 있습니다. 단순히 서로 다른 시뮬레이터를 나란히 실행하는 것이 아니라, 서로 다른 물리 모델 사이의 상호작용을 어떻게 연결할 것인가가 중요한 문제라는 점이 인상적이었습니다.
newton/newton/examples/multiphysics/example_franka_cable_ik_pick_place.py at main · newton-physics/newton
An open-source, GPU-accelerated physics simulation engine built upon NVIDIA Warp, specifically targeting roboticists and simulation researchers. - newton-physics/newton
- 그리고 옷 같은 deformable한 재료와 3D 탄성체를 다루는 구성도 흥미롭게 들었는데, 개인적으로 제가 큰 관심을 두고 있는 수술로봇과 연조직의 상호작용 메커니즘이 떠올랐고 많은 인사이트를 받았습니다.
- 수술 과정에서도 시야를 확보하기 위해 주변 조직을 견인하거나, 수술 도구를 조직에 접촉시키고 움직이는 상황이 반복됩니다. 이때 조직 손상을 방지하기 위해 중요한 것은 조직이 얼마나 변형되는지, 접촉으로 발생한 힘이 주변 조직에 어떻게 전달되는지, 그리고 이러한 물리적 반응이 이후 조작에 어떤 영향을 미치는지도 함께 고려해야 합니다. 로봇 역시 자율적으로 다음 사실을 인지하고 판단을 내릴 수 있어야 할 것입니다.
- 물론 실제 생체조직의 복잡한 물리적 특성을 재현하는 것은 별개의 문제이지만, 현재 고민하고 있는 연구 문제와 맞닿아 있는 부분이 많다고 느꼈습니다.
- 특히 복잡한 접촉과 변형을 로봇 학습에 활용할 수 있는 시뮬레이션 환경으로 어떻게 구현할 것인가라는 질문을 다시 생각해보게 되었습니다. 이 부분은 앞으로 Newton을 직접 활용해보면서 조금 더 깊이 탐구해보고 싶은 주제입니다.
- Newton 세션에 이어서는 두산로보틱스 팀에서 산업 현장에 적용한 사례를 공유해주셨습니다. 실제 제조 공정에서 수행하는 샌딩(Sanding) 작업을 중심으로 데모와 적용 결과를 소개해주셨는데, 물리 시뮬레이션과 로봇 기술이 산업 현장의 구체적인 작업으로 이어지는 모습을 살펴볼 수 있었습니다.
- 현장에서 촬영한 짧은 영상도 함께 첨부합니다.
0:00
/0:09
- 이 외에도 Isaac GR00T를 활용한 Top Plate 로딩 공정과 적용 성과, DexBench v1.0 소개, Cosmos World Foundation Models 등 다양한 주제로 발표가 진행되었습니다. 둘째 날에는 국내 여러 커뮤니티 패널들과 다양한 주제에 관해 이야기를 나누고 네트워킹하는 시간도 가질 수 있었습니다. 개인적으로 고민하고 있던 연구 방향과 관련해서도 여러 아이디어를 얻을 수 있었고, 새롭게 살펴보고 싶은 기술들도 많이 발견했습니다.
- 이번 행사를 통해 특히 인상 깊었던 것은 물리 시뮬레이션이 단순히 현실과 비슷한 가상 환경을 만드는 데서 끝나지 않는다는 점이었습니다. 로봇이 실제로 마주칠 수 있는 접촉과 변형을 계산하고, 서로 다른 물리 모델을 연결하며, 그 결과를 학습과 제어에 활용할 수 있도록 하는 것까지 중요하게 다루고 있었습니다.
- 로봇이 무엇을 만지고, 그 대상이 어떻게 변하며, 그 변화가 다시 로봇과 주변 환경에 어떤 영향을 주는지까지 함께 고려해야 한다는 메세지를 얻을 수 있었습니다. 이러한 상호작용을 얼마나 잘 모델링하고 재현할 수 있는지가 앞으로 이쪽 분야에서 중요한 연구 과제 중 하나가 아닐까 생각합니다.
[Contact Info]
Gmail: jhbae1184@akane.waseda.jp
Twitter (X): @jhbae1184