Typhoon-7B
SCB 10X ได้เปิดตัว “Typhoon-7B” โมเดลภาษาขนาดใหญ่ที่พัฒนาขึ้นให้เข้าใจและสื่อสารภาษาไทยได้โดยเฉพาะ (LLM optimizedf or Thai) ที่ทำได้ดีที่สุดเมื่อเปรียบเทียบวัดผลการทดสอบด้วยข้อสอบภาษาไทยระดับความยากเทียบเท่าข้อสอบมัธยมปลาย เช่น O-NET, TGAT, TPAT, A-Level และข้อสอบมาตรฐานอื่นๆ เช่น IC test สำหรับผู้ให้คำแนะนำด้านการลงทุนร่วมกับ LLM เจ้าอื่นๆ ซึ่งส่งสัญญาณที่ดีกับการพัฒนา LLM ภาษาไทยในอนาคต
SCB 10X ได้เปิดตัว “Typhoon-7B” เป็นโมเดลภาษาไทยขนาดใหญ่ที่มีขนาด 7 พันล้านพารามิเตอร์
มีประสิทธิภาพเทียบเท่ากับ GPT-3.5 ในภาษาไทย รวมถึงมีประสิทธิภาพในการแปลงโทเคนหรือสามารถประหยัดจำนวนโทเคนภาษาไทยได้มากกว่า GPT-4 ถึง 2.62 เท่า โดยเบื้องหลังการพัฒนาสืบเนื่องมาจากโมเดล Mistral-7B แต่ได้เพิ่มการใส่คำศัพท์ไทยเข้าไปอีก 5,000 คำ และได้เทรนและปรับแต่งโมเดลอย่างต่อเนื่องด้วยวิธี Low-Rank Adaptation (LoRA) ที่มีการใช้อย่างแพร่หลายและมีประสิทธิภาพสูง
นอกจากนี้ SCB 10X ได้ปล่อยโมเดล Typhoon-7B ให้ใช้งานได้ฟรีเพื่อให้เป็นประโยชน์กับการพัฒนา LLM ภาษาไทยในอนาคต และเป็นโมเดลพื้นฐานที่ยังไม่ผ่านการปรับแต่ง Fine Tuning ดังนั้น หากต้องการนำไปใช้งานอาจต้องมีการปรับแต่งด้วยข้อมูลที่ต้องการก่อนนำไปใช้งาน
โครงการ “Typhoon-7B” ถือเป็นข้อพิสูจน์ถึงความก้าวหน้าในการสร้างโมเดลภาษาไทยขนาดใหญ่ ด้วยการจัดการกับความท้าทายเฉพาะสำหรับภาษาที่มีทรัพยากรจำกัด โดยส่งเสริมการฝึกอย่างต่อเนื่องและสร้างเกณฑ์มาตรฐานที่เป็นนวัตกรรม นอกจากนี้ Typhoon ไม่เพียงแต่มีประสิทธิภาพเหนือกว่า LLM ภาษาไทยที่มีอยู่ในตลาดเท่านั้น แต่ยังแข่งขันได้อย่างทัดเทียมกับโมเดลภาษาขนาดใหญ่ที่มี Scale ใหญ่กว่า จึงเป็นอีกก้าวสำคัญในการทำความเข้าใจและการสร้างภาษาธรรมชาติของภาษาไทยเพื่อต่อยอดโมเดล AI ที่ตอบโจทย์คนไทยมากยิ่งขึ้น พร้อมทั้งยังเปิดให้ผู้สนใจและนักพัฒนาได้ทดลองใช้ Typhoon-7B เวอร์ชัน Pretrained model ภายใต้ใบอนุญาต Apache 2.0 โดยไม่มีค่าใช้จ่าย สามารถดาวน์โหลดได้ที่ https://huggingface.co/scb10x/typhoon-7b ซึ่งทางทีมผู้พัฒนา Typhoon ได้มีการเผยแพร่รายงานเชิงเทคนิคเกี่ยวกับการพัฒนาและวัดผลโมเดล Typhoon โดยสามารถดูรายละเอียดเพิ่มเติมได้ที่ https://arxiv.org/abs/2312.13951
นอกจากนี้สำหรับผู้ที่สนใจสามารถลงทะเบียน Waiting List สำหรับการใช้งานโมเดล Instruction-tuned เวอร์ชันเริ่มต้นในรูปแบบของ API ได้ในเร็วๆ นี้ ที่ https://opentyphoon.ai โดยมีจุดมุ่งหมายเพิ่มขีดความสามารถด้านการแข่งขันให้แก่อุตสาหกรรม AI ของไทยในการพัฒนาโมเดลภาษาไทยขนาดใหญ่ให้มีประสิทธิภาพและความก้าวหน้าเพิ่มขึ้น
tags : scb10x
