มีงานวิจัยที่ตีพิมพ์บน medRxiv ชี้ว่า ChatGPT สามารถสอบผ่านใบประกอบวิชาชีพแพทย์ของสหรัฐ (U.S. Medical Licensing Examination - USMLE) โดย USMLE จะมี 3 ชุดทดสอบย่อย ความแม่นยำในการวินิจฉัย เฉลี่ยอยู่ที่มากกว่า 50% และในหลายๆ การวินิจฉัยก็แม่นยำถึง 60% ด้วย
ทีมวิจัยเผยว่าในแต่ละปี ระดับคะแนนในแต่ละปีที่ถือว่าผ่านจะไม่เท่ากัน แต่เฉลี่ยอยู่ที่ราวๆ 60% และคำวินิจฉัยค่อนข้างมีความเข้าใจและมีคำอธิบายที่สอดคล้องเป็นเหตุเป็นผล (a high level of concordance and insight in its explanations) ซึ่งก็ถือว่า ChatGPT ผ่านหรือเกือบผ่านการสอบใบประกอบวิชาชีพแพทย์ โดยที่ไม่มีการเทรนด์หรือ reinforce เพิ่มใดๆ
ที่มา - medxriv.org via Med Page Today
Get latest news from Blognone
Follow @twitterapi
Comments
เทรนด์ ?
คุณหมอ AI
สงสัยว่า งานวิจัยแบบนี้ทำไปแล้วได้อะไร เพราะถ้าแค่ chatGPT วินิจฉัยผิด หรือให้คำแนะนำผิด ๆ แม้แต่ข้อเดียว ก็ไม่สมควรผ่านเป็นหมอแล้ว
เพื่อแสดงให้เห็นถึงความสามารถปัจจุบันครับ และเป็นความรู้ต่อไปให้คนอื่น เมื่อมีคนเห็น ก็อาจจะมีคนสนใจและนำไปศึกษาต่อยอดครับ เช่น กรณีนี้ก็เห็นแล้วว่ามีความสามารถมาก อาจจะพัฒนาต่อและ/ถ้าวินิจฉัยโรคทั่วไปที่ไม่รุนแรงก็อาจจะใช้ได้บางโรคแล้วก็ได้
จริงๆมันก็หลายงานวิจัยที่ทำมาและไม่มีคนสนใจและไม่มีเอาต่อยอดเหมือนกันนะ
หรือบางงานวิจัยที่”ถ้าเรารู้ว่ามีวิจัยแบบนี้อยู่แล้ว เราก็คงไม่ต้องเสียเวลา”
เอาจริง ๆ common sense ก็รู้อยู่แล้วว่ามันไม่ชัวร์ครับ แต่ก็เข้าใจว่าทำวิจัยเพื่อให้รู้
และถ้าจะบอกว่าเอามา วินิจฉัยโรคทั่วไปที่ไม่รุนแรง ก็จะถามต่อว่ารู้ได้ไงว่ารุนแรงหรือไม่รุนแรง
เช่น ผมปวดหู มันเป็นได้หลายอย่างมาก
ผมมองว่าแทบเป็นไปไม่ได้ที่จะใช้แทนหมอ ยังไงก็ต้องมีผู้เชี่ยวชาญ consult หรือ confirm ผลอีกที
AI มันก็ขยับไปเรื่อยๆ ครับ common sense อย่างเดียวมันก็ไม่พอโดยเฉพาะเมื่อ common sense มันไม่ได้ commont ร่วมกันในแต่ละคน
ก็ถือเป็นวางเกณฑ์ไปว่าอนาคตเราจะเทียบได้ยังไงไปเรื่อยๆ ปรับปรุงการเทียบกันไปเรื่อยๆ ด้วย
ถ้าวินิจัยผิด แล้วเกิดความผิดพลาด
ใครจะรับผิดชอบ ?
คำถามยอดฮิตของ AI ทุกวงการ
ก็คนที่เอา AI มาให้บริการครับ ระดับเดียวๆ กับเวลาคุณหมอวินิจฉัยผิดนั่นแล
common sense ผมก็หมายถึงว่าไม่ชัวร์ ก็แปลว่ามีทั้งถูกและไม่ถูก และแน่นอนก็ใช้กับแต่ละคนได้ไม่เหมือนกัน แต่ความหมายของผมคือ ไม่ควรให้ทำแทนหมอ แม้จะไม่ชัวร์แค่เรื่องเดียว
อนาคตผมไม่รู้ แต่ถ้าเอาตอนนี้งานวิจัยแบบนี้ ผมมองว่าไม่มีอะไรประโยชน์อะไรมาก แถมก็มีคนเอาไปตีความว่าเก่งระดับหมอ
กับคุณหมอก็ไม่ได้ต่างกันครับ
ผมไม่ได้หมายถึงว่าโอกาสผิดถูกเท่ากันนะ แต่โอกาสผิดเดี๋ยวมันจะลดน้อยลงไปเรื่อยๆ แล้วผมเชื่อว่าสุดท้ายแล้วค่าเฉลี่ยทั้งหมดมันจะสูงขึ้นเรื่อยๆ จนสักวันอาจจะแซงหน้าคุณหมอที่เป็นคนได้
หลักการทำงานของหมอก็เหมือนกับ AI ในกรณีนี้รึเปล่าครับ
หมอก็ต้องใช้ความรู้ที่มี + สิ่งที่ค้นหาเพื่อเอามาประกอบ ใช้ประสบการณ์จากเคสก่อนหน้าในการวินิจฉัย หมอต้องรู้ว่าต้องถามอะไร
อย่างเช่นคุณบอกว่าปวดหู ถ้าบอกแค่นี้หมอก็วินิจฉัยไม่ได้อยู่ดี สิ่งที่หมอทำคือสอบถามอาการเพิ่มเติม (ก็เหมือนเป็น input ให้ AI ในกรณีนี้ที่อ่าน input ที่ให้มาแล้ววินิจฉัยโรค)
เคยดูวิดีโอของหมอมะกัน เค้าจะมี database ที่หมอเอาไว้ค้นหาข้อมูลได้ (เป็น subscription) เพราะหมอก็ไม่ได้รู้ทุกอย่าง หรือข้อมูลบางอย่างก็อาจจะมีการอัพเดทไปแล้วตั้งแต่ตอนที่หมอเรียนมา
ถ้าจำไม่ผิดน่าจะเป็นเว็บนี้ https://www.wolterskluwer.com/en/solutions/uptodate
Founded for and by clinicians 30 years ago, UpToDate empowers professionals with the right evidence and recommendations so they can make the best decisions. Our focus will always be on delivering actionable recommendations when and where they’re needed. As long as clinicians have questions to ask, we’ll be right by your side.
ก็คือมีข้อมูลพร้อม evidence เพื่อช่วยให้หมอตัดสินใจได้ถูก ก็คล้ายๆกับ AI ในกรณีนี้นะครับ
ผมว่าแล้วต้องมีคนพูดเรื่อง input
ผมคิดว่าจะต้องมี input อยู่แล้วนะครับ ถ้าบอกแค่ว่าปวด ? มันก็วินิจฉัยไม่ได้อยู่แล้ว
แต่ประเด็นต่อมาคือ มันมี fact เรื่อง input เยอะ ทั้ง AI เอง และแม้กระทั่งผู้ป่วยกับหมอ
และประเด็นสำคัญที่ผมจะบอกต่อมาหลัง AI ได้รับ input แล้ววินิจฉัยไม่ถูกละ
คือเห็นคุณบอกว่าถ้าวินิจฉัยผิดโรคเดียวก็ไม่ควรเป็นหมอแล้ว แต่หมอเองก็มีวินิจฉัยพลาดอยู่บ่อยไปนี่ครับ? ไม่ว่าจะวินิจฉัยพลาดเพราะสกิลของหมอเอง หรือวินิจฉัยพลาดเพราะข้อมูลที่ได้รับ (คนไข้ไม่บอกอาการทั้งหมด ปิดบังเพราะอับอาย etc)
ตรงนี้ผมไม่เข้าใจครับ
ก็อย่างที่คุณพูดครับ มันมีความหลากหลายที่จะได้ input ที่จะทำให้วินิจฉัยผิดด้วย เช่น คนไข้ไม่บอกอาการทั้งหมด ปิดบังเพราะอับอาย ก็ใช่ หรือเครื่องมือที่ใช้ที่ทำให้ input ไม่ดีพอ เป็นความผิดพลาดของ input เองที่ AI เข้าใจ
เรื่องหมอวินิจฉัยผิดก็เคยได้ยินนะครับ เรื่องนี้ถ้าจะเทียบกับ AI ต้องวัดเป็นสถิติ แต่ตอนนี้ก็ยากที่จะเถียงกัน และแต่ถ้าเอาแค่ AI วินิจฉัยผิด แล้วให้คำแนะนำ ผมใช้ตัวเลือกที่เป็นคนหมอ ดีกว่าครับ
เอาประเด็นประโยชน์ของงานวิจัยนี้ละกันครับ
ผมมองว่าประโยชน์ของงานวิจัยนี้ เพื่อให้รู้ระดับความสามารถของ AI ว่ามันทำได้ระดับไหน และจะต่อยอดต่อไปด้านไหนได้บ้าง
ตัวเจ้าของเองพูดถึงว่าใช้ในการเรียนการสอนหรือช่วยเหลือในด้านการตัดสินใจเวลาวินิจฉัย
ซึ่งผมมองว่าอย่างที่สองมันสามารถเอาไปรวมกับพวก medical database ได้ เวลาหมอหาข้อมูลแทนที่จะมาแค่ข้อมูลเปล่าๆ ก็เพิ่ม potential diagnosis มาหรือแนะนำว่าควรสอบถามข้อมูลเพิ่มเติมด้านไหน แน่นอนสุดท้ายหมอก็ต้องตัดสินใจ เค้าไม่ได้บอกว่าจะมาแทนหมอ ส่วนเรื่องงานวิจัยทำให้คนตีความว่าเก่งเท่าหมอก็คงห้ามยาก
คือผมอยากจะบอกแค่ว่าผมไม่เห็นด้วยนะ ผมคิดว่างานวิจัยนี้มันมีประโยชน์อยู่บ้าง แค่นั้นแหละ 5555
ผมเข้าใจว่าอันนี้คือส่วนหนึ่งของ target ของงานวิจัยนี้อยู่แล้วไม่ใช่เหรอครับ? เพื่อให้เริ่มมีสถิติไว้สำหรับถกเถียง
Ai มันก็ถูก train จาก input ที่หมอได้รับบ่อยๆ นั่นแหล่ะ มนุษย์เราก็ประมวลผลจาก input เหล่านี้ หาก input ไม่พอ เขาก็มีบทสนทนาเพื่อขอขอมูลเพิ่มเติมได้ จนกว่าสมการจะมีตัวเลขพยากรณ์ที่สูงพอก็ถึงจะมีผลออกมาให้เลือก สิ่งที่ ChatGPT ต้องการนำเสนอ ไม่ใช่ output แต่เป็นการทำความเข้าใจบทสนทนา และการขอข้อมูลเพิ่มเติมใน thread เดียวกันได้ ส่วน output มันก็ขึ้นอยู่กับเจ้าของข้อมูลจะเอาไป train เรื่องอะไร
แต่พอดีงานวิจัยนี้เขาเอาแบบทดสอบวิชาชีพแพทย์ของสหรัฐมาเป็นโจทย์ ดังนั้นในฐานข้อมูลมันก็ต้องมีคำตอบอยู่แล้ว เพียงแต่ ChatGPT มันฉลาดพอที่จะตีความคำถามแยกองค์ประกอบภาษา เพื่อจำแนก input ออกจากบทสนทนา ที่ได้รับแล้วไปดึง knowledge มาตอบคำถามได้ใกล้เคียงคำตอบที่แพทย์ใช้ตอบ ซึ่งก็ไม่แปลกเพราะคำตอบมันก็มาจากข้อมูลจากแพทย์ที่อยู่ในฐานข้อมูลอยู่แล้ว เอาเป็นว่า ChatGPT ก็เหมือน writer ใน Blognone นี่แหล่ะ ที่เอา knowledge จากแหล่งข่าวมาเรียบเรียงและนำเสนอใหม่ ไม่ได้คิดคำตอบขึ้นมาใหม่เอง ถ้าถามว่าแล้วถ้ามันตอบผิดล่ะ มันก็มาจากการ train นั่นแหล่ะที่ให้ข้อมูล input ไม่เพียงพอที่จะคัดกรอง output ให้มีค่าพยากรณ์ที่สูงเพียงพอที่จะให้ผลลัพธ์ที่ถูกต้องได้
สิ่งที่คนในวงการกลัวในปัจจุบัน ไม่ใช่มันวินิจฉัยไม่ถูก เพราะมันเป็นเรื่องปรกติที่จะยังมีข้อผิดพลาดอยู่ ทุกคนเข้าใจในประเด็นนี้ แต่เขากลัวเพราะว่า ChatGPT มันมีความมั่นใจในคำตอบของตัวเองมากเกินไป มีความเชื่อว่า knowledge ที่ตัวเองได้รับการ train มาถูกต้อง ทั้งๆ ที่ คำตอบนั้นอาจจะผิดเนื่องจาก knowledge กับ parameter ที่ใช้ในการเข้าสมการอาจไม่เพียงพอที่จะคัดกรองคำตอบได้
ประเด็นคือ "ChatGPT มันทำอะไรได้บ้าง"
โดยไม่สนว่ามันคือหัวเรื่อง "...สอบผ่านใบประกอบวิชาชีพ"
เดี๋ยวอนาคต คงมีข่าว ChatGPT สอบ license กฎหมาย ใบขับขี่ วิชาชีพอื่นๆอีกเยอะ เชื่อดิ
ผมเชื่อว่ามีครับ และผมเห็นว่าเป็นข้อดี
เช่น ผมไม่มีความรู้เรื่องกฏกมาย ผมไปถาม ChatGPT license กฎหมาย ก็น่าจะดีกว่าถามที่ social เพื่อศึกษาเองในเบื้องต้น
ผมไม่มีความรู้ด้านการต่อเติมบ้าน ด้านโครงสร้าง ผมก็มาคุยกับ ChatGPT ที่ได้ license เรื่องนั้น
ไม่ได้บอกว่าให้เชื่อ ChatGPT 100% แต่ในขณะที่เราไม่ได้มีโอกาสถามผู้เชี่ยวชาญ การถาม ChatGPT มันก็ช่วยได้เยอะนะครับ ดีกว่าถามตาม social ที่ใครก็ไม่รู้มาตอบ ซึ่งทำให้เราสามารถศึกษาความรู้รวดเร็วขึ้น
แต่ซึ่งก็เหหมือนกับการศึกษาอื่นๆ ที่ไม่ใช่ว่าใครบอกอะไรก็เชื่อไปหมดต้องใช้ "สติและวิจารณญาณ" ไปด้วย
จริงๆเรื่องกฏหมายนี่มัน static ยิ่งกว่าหมออีกรึเปล่าครับ อย่างเราจะเห็นเพจทนายต่างๆพูดถึงว่า 'เคสนี้มีฏีกาออกมาแล้ว ตัดสินตามนี้ๆ ฟ้องได้เลยครับ'
คือดูเหมาะกับ AI มาก