단일 이미지를 상세한 3D 인간 신체 모델로 변환하기

단일 사진에서 정확한 인간 신체의 3D 표현을 만드는 능력은 오랫동안 컴퓨터 비전에서 가장 어려운 문제 중 하나였습니다. 오늘 WaveSpeedAI는 SAM 3D Body 의 출시를 발표하게 되어 기쁩니다. 이는 단일 이미지를 놀라운 정확도와 속도로 상세하고 프로덕션 준비가 완료된 3D 인간 신체 메시로 변환하는 최첨단 이미지-3D 모델입니다.

피트니스 애플리케이션을 구축하거나, 디지털 아바타를 만들거나, AR/VR 경험을 개발하거나, 가상 피팅룸 솔루션을 작업하든, SAM 3D Body는 워크플로우에 필요한 정밀도와 신뢰성을 제공합니다.

SAM 3D Body란?

SAM 3D Body는 Meta의 획기적인 Segment Anything 아키텍처를 기반으로 구축된 고급 3D 인간 메시 복구(HMR) 모델입니다. 이 모델은 단일 이미지 3D 재구성에서 중대한 도약을 나타내며, 거의 100만 개의 주석이 달린 이미지로 학습되었고 정교한 다단계 주석 파이프라인을 통해 300만 개 이상의 검증된 메시를 생성합니다.

핵심적으로 SAM 3D Body는 Momentum Human Rig(MHR)을 갖춘 인코더-디코더 아키텍처를 사용합니다. MHR은 골격 구조와 표면 형태를 분리하는 매개변수적 메시 표현입니다. 이러한 아키텍처 선택은 전통적인 접근 방식에 비해 우수한 정확도와 해석 가능성을 제공하며, 모델이 단일 사진에서 신체, 발, 손을 포함하는 70개의 신체 핵심점을 재구성할 수 있게 합니다.

이 모델은 업계 벤치마크에서 최첨단 성능을 달성합니다. 실제 조건의 사람들에 대한 EMDB 데이터셋에서 SAM 3D Body는 62.9 Mean Per Joint Position Error(MPJPE)를 달성하여 다음으로 최고 성능의 접근 방식(Neural Localizer Fields의 68.4 MPJPE)을 능가합니다. 이는 특히 어려운 포즈와 관점에서 재구성 품질의 측정 가능한 개선을 나타냅니다.

주요 기능

• 단일 이미지 3D 재구성: 단일 입력 이미지만으로 완전한 3D 인간 신체 메시를 생성합니다. 다중 뷰 설정이나 특수 캡처 장비가 필요하지 않습니다.

• 선택적 마스크 기반 분할: 배경이 복잡하거나 여러 피사체가 있거나 명암이 낮은 장면에서 신체 영역을 격리하기 위해 마스크 이미지를 제공합니다.

• 70포인트 신체 핵심점 추정: 정확한 포즈 표현을 위해 신체, 발 및 손의 위치를 포괄적으로 커버합니다.

• 강력한 일반화: 다양한 조명, 비정상적인 포즈, 부분 폐색을 포함한 다양한 실제 조건에서 일관된 정확도

• 프로덕션 준비 완료 출력: Blender, Unity, Unreal Engine 및 전문 3D 워크플로우에서 즉시 사용할 수 있는 GLB 형식의 3D 자산을 받습니다.

• 간단한 API 통합: 이미지 URL만 필요한 최소한의 입력 표면으로 기존 자동화 파이프라인에 쉽게 연결할 수 있습니다.

• 비동기 처리: 상태 추적 및 출력 URL이 있는 작업 기반 워크플로우로 프로덕션 시스템에 원활하게 통합됩니다.

실제 사용 사례

피트니스 및 건강 애플리케이션

스마트폰 사진에서 사용자 자세와 포스처를 분석하는 피트니스 앱을 구축합니다. SAM 3D Body의 정확한 포즈 추정은 비싼 모션 캡처 장비 없이도 상세한 움직임 분석, 운동 추적 및 개인화된 훈련 피드백을 가능하게 합니다.

아바타 생성 및 게임

사용자 사진을 게임, 소셜 플랫폼 및 가상 세계를 위한 개인화된 3D 아바타로 변환합니다. 다양한 포즈와 의류를 처리하는 모델의 능력으로 대규모로 진정한 디지털 표현을 만드는 데 이상적입니다.

가상 피팅룸 및 전자상거래

고객에게 의류가 자신의 실제 신체 형태에 어떻게 보일지 보여주는 가상 피팅룸을 구현합니다. 분리된 기하학 재구성은 재구성된 신체 메시에 의류를 적용할 수 있게 하여 현실적인 가상 피팅 경험을 가능하게 합니다.

AR/VR 경험

정확한 인간 신체 모델로 몰입감 있는 증강 및 가상 현실 애플리케이션을 만듭니다. 소셜 VR에서 교육 시뮬레이션까지, SAM 3D Body는 이러한 애플리케이션이 요구하는 기하학적 정밀도를 제공합니다.

애니메이션 및 콘텐츠 제작

참조 이미지에서 3D 신체 참조를 생성하여 캐릭터 애니메이션 워크플로우를 가속화합니다. 아티스트는 재구성된 메시를 리토폴로지, 리깅 및 애니메이션의 시작점으로 사용할 수 있습니다.

의료 및 인체공학 분석

정확한 신체 측정 및 포즈 분석이 필요한 의료 애플리케이션을 지원합니다. 모델의 신뢰할 수 있는 핵심점 추정은 물리 치료, 인체공학 평가 및 재활 모니터링의 애플리케이션을 가능하게 합니다.

WaveSpeedAI 시작하기

WaveSpeedAI에서 SAM 3D Body를 사용하는 것은 간단합니다. 알아야 할 사항은 다음과 같습니다.

기본 사용법: 전신이 있는 공개적으로 접근 가능한 이미지 URL을 제공하면 됩니다. API가 나머지를 처리하고 생성된 3D 자산에 대한 URL을 반환합니다.

최적의 결과를 위해:

• 명확하고 잘 조명된 전신이 보이는 이미지를 사용합니다.
• 심한 모션 블러나 극단적인 왜곡을 피합니다.
• 최소한의 폐색을 보장합니다(보이는 사지, 막히지 않은 몸통).

마스크를 사용할 때: 다음의 경우 mask_image 매개변수를 추가합니다:

• 배경이 복잡하거나 시각적으로 복잡한 경우
• 이미지에 여러 사람이 있는 경우
• 신체 경계의 색상이 배경과 유사한 경우

가격 책정: 생성당 단 $0.02로 프로토타이핑과 프로덕션 워크로드 모두에 접근 가능합니다.

WaveSpeedAI 장점:

• 콜드 스타트 없음: 요청이 모델 초기화를 기다리지 않고 즉시 처리됩니다.
• 빠른 추론: 최적화된 인프라가 빠르게 결과를 제공합니다.
• 간단한 REST API: 모든 프로그래밍 언어 또는 플랫폼과 통합합니다.
• 합리적인 가격 책정: 예산을 초과하지 않고 애플리케이션을 확장합니다.

지금 바로 시작하려면 https://wavespeed.ai/models/wavespeed-ai/sam-3d-body에서 SAM 3D Body에 접근합니다.

결론

SAM 3D Body는 3D 인간 신체 재구성을 접근 가능하고 실용적으로 만드는 데 있어 중대한 진전을 나타냅니다. 입증된 아키텍처를 기반으로 구축되고 광범위한 실제 데이터로 학습되어, 간단하고 저렴한 API를 통해 프로덕션 애플리케이션이 요구하는 정확도와 신뢰성을 제공합니다.

피트니스 앱을 프로토타이핑하는 개인 개발자이든, 차세대 가상 피팅 경험을 구축하는 엔터프라이즈 팀이든, 인간-컴퓨터 상호작용의 새로운 경계를 탐색하는 연구자이든, WaveSpeedAI의 SAM 3D Body는 당신의 비전을 현실로 만들 수 있는 도구를 제공합니다.

오늘 이미지에서 3D 인간 신체 모델을 생성하기 시작합니다. WaveSpeedAI를 방문하여 시작하세요. 콜드 스타트 없음, 빠른 추론, 그리고 당신의 필요에 맞는 가격 책정.