กลับไป ข่าว AI Game
ข่าวเกม AI

Hugging Face เปิดโค้ดฝึก TRELLIS.2 LoRA ให้สร้างพร็อพ 3D ตามชุดข้อมูลของตัวเอง

โดย GameSlash

โค้ดและ Container ใหม่ 12 พ.ย. ให้ฝึกโมเดลสร้าง 3D กับแอสเซ็ตเฉพาะหมวด เผยผลทดลองรองเท้า พร้อมขั้นตอนและข้อจำกัดด้าน GPU

Hugging Face เผยแพร่โค้ดและ Container สำหรับ Fine-tune โมเดลสร้าง 3D TRELLIS.2 เมื่อวันที่ 12 พฤศจิกายน 2569 ให้ผู้สร้างแอสเซ็ตฝึก LoRA ขนาดเล็กกับวัตถุประเภทที่ต้องการ แทนการใช้โมเดล Image-to-3D แบบทั่วไปโดยไม่ปรับแต่ง รองรับทั้งการรัน Docker บนเครื่องและ Hugging Face Jobs

ภาพเปรียบเทียบรองเท้าอินพุต โมเดล TRELLIS.2 เดิม โมเดลที่ปรับมุมแล้ว ผลลัพธ์ LoRA และโมเดลสแกนอ้างอิงในชุดทดสอบ
ภาพ: บทความเทคนิค Hugging Face — ผลเทียบรูปทรงรองเท้าจากการทดลองของผู้เขียน ไม่ใช่ภาพเกมเพลย์หรือผลทดสอบจาก GameSlash

โค้ดที่เปิดใหม่ช่วยทำอะไร

ทีมงานเผยแพร่ Container สำหรับเตรียมข้อมูลและฝึกโมเดล รวมถึง Python Script ที่ปรับแก้ได้ เริ่มจากนำ Mesh 3D เข้า Blender เพื่อเรนเดอร์ภาพอ้างอิง 16 มุมต่อชิ้น จากนั้นคำนวณ Latent แล้วฝึก LoRA แยกสองส่วน คือ Sparse-Structure Flow และ Shape Flow ส่วนโมเดลสร้าง Texture/Material ยังถูกตรึงค่าไว้ เพราะชุดทดลองมีเพียง Diffuse Color แต่ไม่มี Material Map แยกที่เพียงพอสำหรับสอนขั้นตอนนั้น

ผังการทำงาน TRELLIS.2 จากลบพื้นหลัง เข้ารหัสภาพ สร้างโครงร่างและรายละเอียดรูปทรง ไปจนถึงพื้นผิวและส่งออก Mesh
ภาพ: บทความเทคนิค Hugging Face — แผนภาพต้นทางอธิบายแต่ละขั้นของการสร้างโครงสร้าง รูปทรง และพื้นผิว 3D

ถ้าจะลองกับแอสเซ็ตเกมต้องเตรียมอะไร

ผู้สร้างเกมสามารถอัปโหลดแอสเซ็ต Mesh ของตัวเองเป็น Dataset บน Hugging Face ให้ Container เตรียมข้อมูลก่อนรัน Training แยกสองขั้นผ่าน Hugging Face Jobs หรือ Docker บน GPU ที่รองรับ การทดลองต้นทางใช้รองเท้าสแกน 188 ชิ้น แบ่งฝึก 179 ชิ้นและทดสอบ 9 ชิ้น ต้องมี Token, สิทธิ์เข้าถึง DINOv3 ซึ่งจำกัดการเข้าถึง, GPU และสิทธิ์ใช้ข้อมูลฝึกที่เหมาะสม จึงไม่ใช่เครื่องมือกดครั้งเดียวแล้วได้โมเดลเกมทันที

ภาพรองเท้าหลายมุมจาก Blender ซึ่งใช้เป็นภาพอ้างอิงสำหรับฝึก LoRA ของ TRELLIS.2
ภาพ: บทความเทคนิค Hugging Face — ตัวอย่างภาพหลายมุมที่ Blender เรนเดอร์เพื่อเตรียมข้อมูลฝึก

ผลทดลองดีขึ้นในหมวดรองเท้า ยังสรุปแทนทุกแอสเซ็ตไม่ได้

ผู้เขียนรายงานว่าชุดทดสอบรองเท้า 9 ชิ้นมีค่า F-score@0.02 เฉลี่ยเพิ่มจาก 0.276 เป็น 0.803 และ Chamfer Distance ลดจาก 0.174 เป็น 0.033 การฝึกสองส่วนใช้ A100 80 GB อย่างละหนึ่งการรัน ใช้เวลาประมาณ 7.2 และ 3.6 ชั่วโมงตามลำดับ เป็นผลที่ทีมผู้พัฒนารายงานจากชุดทดลองขนาดเล็ก ไม่ใช่หลักฐานว่าจะใช้ได้กับตัวละคร อาวุธ หรือสไตล์แฟนตาซีทุกแบบ

ประโยชน์กับคนทำเกมด้วย AI คือแนวทางฝึกให้การสร้างพร็อพประเภทเดิมมีรูปทรงสม่ำเสมอกว่าเดิม แต่ยังต้องตรวจ Topology, UV, Material, สัดส่วน จำนวน Polygon และทดสอบ Import เข้าเอนจินด้วยตัวเองก่อนใช้ในเกมจริง

ดูโค้ดและวิธีรัน Container

อ่านประกาศทางการพร้อมภาพผลทดลอง วันที่ 12 พฤศจิกายน 2569

ดูแหล่งที่มา