ทีมวิจัย Machine Learning ของ Apple เผยแพร่ผลงานวิจัยและซอร์สโค้ดภายใต้ชื่อโปรเจกต์ “SHARP” หรือ Single-image High-Accuracy Real-time Parallax ซึ่งเป็นระบบที่ถูกออกแบบมาเพื่อสร้างมุมมองใหม่จากรูปภาพเพียงภาพเดียว โดยใช้โครงสร้างของ 3D Gaussian Splatting (3DGS) เป็นพื้นฐานในการประมวลผล

ในรายละเอียดเชิงเทคนิคระบุว่า โมเดล SHARP สามารถทำนายพารามิเตอร์ของ Gaussian จากรูปภาพและข้อมูลความลึก (Depth) เพื่อสร้างฉาก 3 มิติได้ภายในเวลาไม่กี่มิลลิวินาทีบนหน่วยประมวลผลกราฟิก (GPU) ทั่วไป ความเร็วระดับนี้ช่วยให้สามารถเรนเดอร์ภาพจากมุมมองข้างเคียง (Novel View Synthesis) ได้อย่างต่อเนื่องและลื่นไหล ซึ่งเป็นข้อได้เปรียบเมื่อเทียบกับวิธีการสร้างภาพ 3 มิติแบบเดิมที่มักใช้เวลาประมวลผลนานกว่า หรือต้องการทรัพยากรระบบที่สูงกว่ามาก

นอกจากเรื่องของความเร็วแล้ว SHARP ยังให้ความสำคัญกับความแม่นยำเชิงมาตราส่วน (Metric Accuracy) ซึ่งหมายถึงระยะห่างและมิติของวัตถุในฉาก 3 มิติที่สร้างขึ้นจะมีสัดส่วนที่ถูกต้องตามจริง ข้อมูลที่ได้จากการประมวลผลจะถูกจัดเก็บในรูปแบบไฟล์ .ply ซึ่งสามารถนำไปใช้งานร่วมกับโปรแกรมเรนเดอร์มาตรฐานอื่นๆ ได้ทันที โดยปัจจุบัน Apple ได้เปิดให้ผู้สนใจสามารถเข้าถึงทั้งซอร์สโค้ดสำหรับการรันโมเดล (Inference) และโมเดลที่ฝึกสอนสำเร็จ (Pre-trained models) เพื่อสนับสนุนการศึกษาและการพัฒนาต่อยอดในด้านการสร้างเนื้อหาเชิงมิติ (Spatial Content) สำหรับอุปกรณ์แสดงผล 3 มิติในอนาคต

ที่มา: GitHub – apple/ml-sharp