 |
| ภาพจาก IEEE Spectrum โดย Matthew Hutson |
นักวิจัยจาก ETH Zurich ของสวิตเซอร์แลนด์ Beihang University ของจีน และ University of Hong Kong ได้ใช้การควอนไทเซชันหลังการฝึกเพื่อสร้าง large language model (LLM) ขนาด 1 บิต ซึ่งสามารถช่วยลดความต้องการพลังงานของระบบ AI
วิธี BiLLM ใช้บิตเดียวเพื่อประมาณค่าพารามิเตอร์เครือข่ายส่วนใหญ่ และสองบิตสำหรับพารามิเตอร์ที่มีอิทธิพลต่อประสิทธิภาพมากที่สุด วิธีนี้ถูกใช้เพื่อทำให้ LLM เวอร์ชันหนึ่งของ LLaMa ของ Meta ที่มี 13 พันล้านพารามิเตอร์เป็นแบบไบนาไรซ์ (binarize)
BiLLM ทำงานได้ดีกว่าคู่แข่งแบบไบนาไรซ์ที่ใกล้เคียงที่สุดในขณะที่ใช้ความจุหน่วยความจำเพียงหนึ่งในสิบของรุ่นดั้งเดิม
อ่านข่าวเต็มได้ที่: IEEE Spectrum โดย Matthew Hutson
ไม่มีความคิดเห็น:
แสดงความคิดเห็น