포스코경영연구원 정제호 연구위원

인간에게 쉬운 일이 AI에는 어려운 ‘모라벡의 역설’

모라벡의 역설은 인공지능과 로봇공학 분야의 선구자인 한스 모라벡(Hans Moravec) 등이 1980년대에 제시한 개념입니다. 인간에게 어려운 고도의 논리적 추론은 컴퓨터가 쉽게 수행하지만, 인간의 본능적인 감각과 운동 능력은 컴퓨터가 구현하기 어렵다는 내용인데요. 수식 계산, 체스·바둑, 법률 분석과 같은 복잡한 작업은 AI가 빠르고 정확하게 수행할 수 있지만, 중심 잡기, 컵에 물 따르기, 물컹한 물체 다루기처럼 인간이 자연스럽게 해내는 작업은 AI에 매우 어려운 일입니다.

사진 출처: ⓒ Gettyimagesbank

제조 현장에서는 이 같은 문제가 숙련공의 암묵지와 연결되고 있습니다. 작업자는 부품의 미세한 마찰과 압력, 재료의 상태, 설비의 진동과 소리 등을 종합적으로 판단해 순간적으로 작업 방식을 조정하는데요. 이러한 ‘손맛’과 ‘눈썰미’는 명확한 규칙이나 수치로 표현하기 어려워 지금까지 디지털화의 성역으로 남아 있었습니다.

제조 현장의 마지막 병목, 데이터화하기 어려운 암묵지

숙련공의 암묵지는 환경과 상호작용하며 축적된 비정형 지식입니다. 특히 다음과 같은 특성 때문에 기존의 프로그래밍 방식으로 구현하기가 쉽지 않습니다.

①미세한 힘의 제어(The Delicate Touch)
부품을 조립하거나 설비를 조작할 때 작업자는 손끝으로 느껴지는 미세한 마찰력과 압력에 따라 힘을 조절합니다. ‘딱 맞는’ 감각처럼 보이는 작업에는 다양한 환경 변수가 작용하기 때문에, 이를 모두 수학적으로 계산해 코드로 구현하는 데에는 한계가 있습니다.

②형태가 변하는 비정형 물체(Handling Non-rigid Objects)
화학적 배합물, 전선 뭉치, 연성 고무와 같은 물체는 만질 때마다 형태가 달라집니다. 물체의 변화를 실시간으로 예측하고 그에 맞는 작업 순서를 결정하는 로직을 설계하는 것은 기존 자동화 시스템만으로는 어려운 과제입니다.

③본능적인 감각과 균형(Physical Reflex)
보행 로봇이 빙판길에서 중심을 잡거나, 작업자가 미끄러지는 부품을 순간적으로 붙잡는 행동은 복잡한 계산보다 신체적 감각과 반사에 가깝습니다. 이처럼 상황을 인지한 뒤 계산하는 방식만으로는 대응하기 어려운 영역이 제조 현장 곳곳에 존재합니다.

새롭게 떠오른 패러다임! AI, 코딩 대신 관찰로 배우다

최근 AI와 로봇 기술은 사람이 모든 상황을 일일이 프로그래밍하는 방식에서 벗어나고 있습니다. 숙련공의 작업 영상을 학습하는 모방 학습(Imitation Learning)과 물리적 환경에서 직접 판단하고 행동하는 체화된 AI(Embodied AI)의 형태로 진화하면서 한계를 극복하고 있는데요.

AI는 숙련공의 시연을 영상과 센서 데이터로 관찰한 뒤, 작업 과정에서 나타나는 움직임과 힘의 변화를 학습합니다. 이를 통해 기존에는 수주에서 수개월이 걸리던 로봇 학습 시간과 비용을 줄이고, 처음 접하는 작업도 빠르게 대응하고 있습니다.

▲AI 학습을 위해 머리에 카메라를 달고 작업하는 인도의 의류 노동자들(출처 : SBS 뉴스 유튜브)

2026년 3월 엔비디아(NVIDIA)가 공개한 Project GR00T 기반 GEN-1 모델은 20년 숙련 노동자의 손동작을 영상으로 관찰하며 불과 4시간 만에 섬세한 작업 방식을 학습했는데요. MIT 테크놀로지 리뷰의 2026년 5월 보고서에 따르면, 새로운 환경에서 동영상만으로 작업을 학습하는 제로샷 러닝(Zero-shot Learning)의 성공률은 85%에 이르며, 기존 프로그래밍 비용을 최대 90%까지 줄일 수 있는 것으로 나타났습니다.

관찰을 통해 암묵지를 배우는 AI, 어떤 사례가 있을까

①스탠퍼드대 ‘모바일 알로하’ : 달걀 깨기와 새우 요리
스탠퍼드대의 모바일 알로하(Mobile ALOHA)는 요리처럼 복잡한 손동작과 양손 협응이 필요한 작업을 학습한 사례입니다. 프라이팬 위에서 새우를 뒤집는 타이밍, 무거운 웍을 다루는 양손의 움직임, 달걀 껍데기를 깨뜨리지 않고 내용물만 분리하는 힘 조절은 기존 방식으로 구현하기 어려운 작업인데요. 달걀의 강도, 프라이팬의 온도, 새우의 미끄러움 등을 일일이 코드로 제어하려면 수많은 예외 처리가 필요합니다.

▲새우 요리와 의자 넣기 등 다양한 작업을 수행하는 모바일 알로하(출처 : Stanford AI & Robotics PhD Zipeng Fu 유튜브)

연구진은 원격 조정 방식으로 50차례 요리 과정을 시연했습니다. 로봇은 카메라를 통해 사람의 움직임을 관찰하고, 모터에 전달되는 저항감과 힘의 변화를 학습했습니다. 그 결과 냉장고 문을 열어 달걀을 꺼내고, 프라이팬에 달걀을 깬 뒤 새우를 볶는 3코스 요리를 재현하는 데 성공했습니다.

②토요타 연구소 : 형태가 없는 피자 반죽 다루기
피자 반죽의 끈적임과 질감에 따라 힘을 조절하고, 찢어지지 않도록 작업하는 것은 숙련자의 직관에 크게 의존하는 작업입니다. 토요타 연구소(Toyota Research Institute, TRI)는 물성이 계속 변하는 피자 반죽을 로봇이 다루도록 학습시켰는데요.

▲도요타 연구소의 로봇 훈련 모습. 자료 출처 : Toyota Research Institute

연구진은 이미지 생성 AI에 활용되는 확산정책(Diffusion Policy)을 로봇 제어에 적용했습니다. 사람이 반죽을 다루는 영상을 반복적으로 관찰하게 한 뒤, 생성형 AI가 다음 픽셀을 예측하듯 로봇이 다음 움직임을 확률적으로 예측하도록 한 것인데요. 반죽의 물성 방정식을 별도로 코딩하지 않았음에도 로봇은 사람의 작업 방식을 모방해 반죽이 찢어지지 않도록 하는 데 성공했습니다.

③MIT·구글 딥마인드 : 빙판길에서 균형 잡는 미니 치타
MIT와 구글 딥마인드의 4족 보행 로봇 ‘미니 치타(Mini Cheetah)’는 미끄러운 지형에서 균형을 유지하는 신체적 암묵지를 학습했습니다. 연구진은 비전 센서를 가린 로봇을 가상 시뮬레이션 환경에 투입하고, 수백만 번 걷게 하면서 성공과 실패에 따라 보상을 부여했습니다. 로봇은 빙판길에 대한 사전 가이드 없이 반복적인 경험과 자기 관찰을 통해 다리 모터의 저항값만으로 지형을 추정했는데요. 그 결과 미끄러운 지면에서도 넘어지지 않도록 다리의 움직임과 힘을 조절하는 균형 감각을 스스로 터득했습니다.

제조 현장을 ‘관찰과 실험의 장’으로

관찰 기반 AI의 발전은 제조 현장이 단순히 자동화 설비를 운영하는 공간을 넘어, 인간의 행동과 암묵지를 기록하고 AI가 반복 학습하는 공간으로 변화하고 있음을 의미합니다. 이를 위해서는 공정 결과 중심의 데이터에서 작업 과정 중심의 데이터 축적으로 전환해야 합니다.

지금까지 제조 데이터는 온도, 압력, 불량률 등 결과를 나타내는 정보가 대부분이었는데요. 숙련공의 노하우를 AI에 학습시키기 위해서는 작업자의 시선과 손동작, 도구에 가해지는 힘, 작업 순서와 속도까지 함께 기록해야 합니다.

사진 출처: ⓒ Gettyimagesbank

또한, 현장에서 로봇을 직접 훈련하려면 설비 가동 중단과 생산 차질이 발생할 수 있으므로 가상 공간에서 숙련공의 작업 데이터를 반복 학습할 수 있는 시뮬레이션 환경을 구축해야 합니다. AI는 시뮬레이션 안에서 다양한 조건을 경험하며 작업을 반복하고, 실패와 성공을 통해 최적의 움직임을 찾아갈 수 있습니다. 이는 실제 현장의 위험과 비용을 줄이면서도 AI의 학습량을 크게 늘리는 방법입니다.

숙련공의 암묵지, 제조업 AX의 핵심 자산으로

AI 기업과 연구 기관은 인간의 행동을 관찰하고 모방하는 모방 학습과 체화된 AI를 통해 기존 AI의 한계를 극복하고 있습니다. 이에 따라 숙련공의 노하우가 담긴 현장 행동 데이터는 기업의 핵심 경쟁우위 자산으로 부상할 전망입니다. 나아가 숙련공의 역할도 직접 작업을 수행하는 데 그치지 않고, 자신의 암묵지를 AI가 효과적으로 학습할 수 있도록 작업을 시연하고 결과를 평가하는 ‘AI 트레이너’로 확대할 필요가 있습니다.

제조업의 AX(AI Transformation)는 범용 AI 모델을 도입하는 것만으로 완성되지 않습니다. 포스코그룹은 철강 제조 현장에서 축적한 공정 데이터와 설비 운영 경험, 품질·안전 관리 노하우, 숙련공의 암묵지를 AI에 내재화하고, 이를 통해 고로·제강·압연 등 주요 공정의 이상 징후를 사전에 예측함으로써 생산성과 품질을 동시에 높이고자 합니다. 더불어 포스코퓨처엠, 포스코인터내셔널 등 그룹사별 산업 전문성과 데이터를 연결해 AI를 지속적으로 학습·고도화 한다면, 포스코그룹만의 차별화된 제조 경쟁력과 글로벌 AX 생태계를 구축할 수 있을 것으로 기대합니다.

*참고 자료
– The Futures, AI에게 코딩이 아닌 Observation을 가르치다
– NVIDIA Project GR00T & Eureka Technical Report (research.nvidia.com)
– Tesla AI Day: Optimus Gen 2 Evolution
– Stanford University, Mobile ALOHA Research Paper (mobile-aloha.github.io)
– MIT Technology Review, May/June 2026 Issue, How Video Models Became the World’s Best Robot Teachers