การตรวจสอบข้ามคืออะไร? การเปรียบเทียบแบบจำลองแมชชีนเลิร์นนิง

การตรวจสอบความถูกต้องเป็นเครื่องมืออันล้ำค่าสำหรับนักวิทยาศาสตร์ข้อมูล

มีประโยชน์ในการสร้างที่แม่นยำยิ่งขึ้น   การเรียนรู้ของเครื่อง   แบบจำลองและการประเมินว่าพวกมันทำงานบนชุดข้อมูลทดสอบอิสระได้ดีเพียงใด

การตรวจสอบความถูกต้องข้ามนั้นง่ายต่อการเข้าใจและนำไปใช้ ทำให้เป็นวิธีการทั่วไปสำหรับการเปรียบเทียบความสามารถในการคาดการณ์ (หรือทักษะ) ของแบบจำลองต่างๆ และเลือกสิ่งที่ดีที่สุด จะเป็นประโยชน์เมื่อปริมาณข้อมูลที่มีอยู่มีจำกัด และเป็นวิธีที่ยอดเยี่ยมในการตรวจสอบว่าแบบจำลองการคาดการณ์ทำงานอย่างไรในทางปฏิบัติ

การตรวจสอบข้ามจะใช้เพื่อป้องกันแบบจำลองจาก การ overfitting โดยเฉพาะอย่างยิ่งหากปริมาณข้อมูลที่มีอยู่มีจำกัด เรียกอีกอย่างว่าการประมาณการหมุนหรือการทดสอบที่ไม่อยู่ในตัวอย่าง และส่วนใหญ่จะใช้ในการตั้งค่าที่เป้าหมายของแบบจำลองเป็นการคาดคะเน

ขั้นตอนการสุ่มตัวอย่างนี้ยังใช้เพื่อเปรียบเทียบโมเดลการเรียนรู้ของเครื่องต่างๆ และพิจารณาว่าโมเดลเหล่านี้ทำงานได้ดีเพียงใดในการแก้ปัญหาเฉพาะ กล่าวอีกนัยหนึ่ง การตรวจสอบข้ามเป็นวิธีการที่ใช้ในการประเมินทักษะของแบบจำลองการเรียนรู้ของเครื่อง

พูดง่ายๆ ก็คือ ในกระบวนการตรวจสอบไขว้ ตัวอย่างข้อมูลดั้งเดิมจะถูกสุ่มแบ่งออกเป็นหลายชุดย่อย โมเดลแมชชีนเลิร์นนิงฝึกกับชุดย่อยทั้งหมด ยกเว้นชุดเดียว หลังจากการฝึก ตัวแบบจะได้รับการทดสอบโดยการคาดการณ์ในส่วนย่อยที่เหลือ

ในหลาย ๆ กรณี การตรวจสอบข้ามหลายรอบจะดำเนินการโดยใช้ชุดย่อยที่แตกต่างกัน และผลลัพธ์จะถูกเฉลี่ยเพื่อพิจารณาว่าแบบจำลองใดเป็นตัวทำนายที่ดี

เหตุใดการตรวจสอบข้ามจึงมีความสำคัญ

การตรวจสอบความถูกต้องข้ามเป็นสิ่งสำคัญมากเมื่อปริมาณข้อมูลที่มีอยู่มีจำกัด

สมมติว่าคุณจำเป็นต้องทำนายแนวโน้มที่ยางรถจักรยานจะเจาะ สำหรับสิ่งนี้ คุณได้รวบรวมข้อมูลเกี่ยวกับยางที่มีอยู่แล้ว: อายุของยาง จำนวนไมล์ที่ทน น้ำหนักของผู้ขับขี่ และไม่ว่าจะเคยเจาะมาก่อนหรือไม่

ในการสร้างแบบจำลองการคาดการณ์ คุณจะต้องใช้ข้อมูล (ตามประวัติ) นี้ มีสองสิ่งที่คุณต้องทำกับข้อมูลนี้ – ฝึก อัลกอริทึมและ ทดสอบ โมเดล

เนื่องจากคุณมีข้อมูลในจำนวนจำกัด การใช้ข้อมูลทั้งหมดในการฝึกฝนอัลกอริทึมจึงเป็นเรื่องที่ไร้เดียงสา หากคุณทำเช่นนี้ คุณจะไม่มีข้อมูลเหลือให้ทดสอบหรือประเมินโมเดล

การใช้ชุดฝึกซ้ำเป็นชุดทดสอบไม่ใช่ความคิดที่ดี เนื่องจากเราจำเป็นต้องประเมินความถูกต้องของแบบจำลองกับข้อมูลที่ไม่ได้ฝึกฝน เป็นเพราะวัตถุประสงค์หลักที่อยู่เบื้องหลังการฝึกอบรมคือการเตรียมแบบจำลองเพื่อทำงานกับข้อมูลในโลกแห่งความเป็นจริง และไม่น่าจะเป็นไปได้ที่ชุดข้อมูลการฝึกของคุณจะมีจุดข้อมูลที่เป็นไปได้ทั้งหมดที่ตัวแบบจะเคยพบเจอ

แนวคิดที่ดีกว่าคือการใช้ข้อมูล 75 เปอร์เซ็นต์แรก (สามช่วงตึก) เป็น ชุดข้อมูลการฝึกอบรม และ 25 เปอร์เซ็นต์สุดท้าย (หนึ่งช่วงตึก) เป็น ชุดข้อมูลการทดสอบ วิธีนี้จะช่วยให้คุณเปรียบเทียบได้ว่าอัลกอริทึมต่างๆ จัดหมวดหมู่ข้อมูลการทดสอบได้ดีเพียงใด

แต่แน่นอน คุณจะรู้ได้อย่างไรว่าการใช้ข้อมูล 75 เปอร์เซ็นต์แรกเป็นชุดการฝึก และอีก 25 เปอร์เซ็นต์ที่เหลือเป็นชุดทดสอบเป็นวิธีที่ดีที่สุด

คุณสามารถใช้ข้อมูล 25 เปอร์เซ็นต์แรกสำหรับการทดสอบแทน หรือคุณสามารถใช้บล็อกที่สามของข้อมูลเป็นชุดข้อมูลทดสอบและส่วนที่เหลือเป็นชุดข้อมูลการฝึกอบรม

ด้วยเหตุนี้ ประเภทของการตรวจสอบไขว้ที่เรียกว่า k-fold cross-validation ใช้ชุดข้อมูลทั้งหมด (สี่ส่วน) เป็นข้อมูลทดสอบ ทีละส่วน แล้วสรุปผลลัพธ์

ตัวอย่างเช่น การตรวจสอบข้ามจะใช้สามช่วงแรกของข้อมูลเพื่อฝึกอัลกอริทึมและใช้บล็อกสุดท้ายเพื่อทดสอบแบบจำลอง จากนั้นจะบันทึกว่าแบบจำลองดำเนินการกับข้อมูลการทดสอบได้ดีเพียงใด

หลังจากบันทึกประสิทธิภาพหรือความแม่นยำแล้ว จะใช้บล็อกที่ 1, 2 และ 4 ของข้อมูลในการฝึกและบล็อกที่ 3 เพื่อทดสอบ กระบวนการจะดำเนินต่อไปจนกว่าจะมีการใช้บล็อคทั้งหมดเป็นข้อมูลทดสอบครั้งเดียว ค่าเฉลี่ยของผลลัพธ์ทั้งหมดจะคำนวณเพื่อประเมินประสิทธิภาพของแบบจำลอง

ในตัวอย่างข้างต้น ข้อมูลถูกแบ่งออกเป็นสี่ช่วงตึก ดังนั้น การตรวจสอบไขว้นี้จึงเรียกว่าการตรวจสอบ ข้าม 4 เท่า หากแบ่งออกเป็นสิบช่วงตึก ก็จะเป็นการ ตรวจสอบข้าม 10 เท่า

กล่าวโดยย่อ การตรวจสอบข้ามมีประโยชน์สำหรับการเลือกแบบจำลอง และทำให้การตรวจสอบว่าแบบจำลองสรุปข้อมูลใหม่ได้ดีเพียงใดได้อย่างง่ายดาย

กล่าวอีกนัยหนึ่ง การระบุข้อผิดพลาดในการทำนายของแบบจำลองจะเป็นประโยชน์ นอกจากนี้ยังใช้เพื่อเปรียบเทียบประสิทธิภาพหรือความแม่นยำของวิธีการเรียนรู้ของเครื่องต่างๆ เช่น support vector machine (SVM) เพื่อนบ้าน K-Nearest (KNN) การถดถอยเชิงเส้น หรือการถดถอยโลจิสติก

การตรวจสอบข้ามยังใช้เพื่อปรับแต่ง   ไฮเปอร์พารามิเตอร์   ของโมเดลแมชชีนเลิร์นนิงผ่านเทคนิคที่เรียกว่า randomized grid search cross-validation

ประเภทของการตรวจสอบไขว้

วิธีการตรวจสอบความถูกต้องข้ามสามารถจำแนกได้กว้างๆ ได้เป็นสองประเภท: วิธี ละเอียดถี่ถ้วน และ แบบไม่ละเอียด

ตามชื่อที่แนะนำ วิธีการตรวจสอบข้ามอย่างละเอียดถี่ถ้วนพยายามทดสอบวิธีที่เป็นไปได้ทั้งหมดเพื่อแบ่งตัวอย่างข้อมูลดั้งเดิมออกเป็นการฝึกอบรมและชุดทดสอบ ในทางกลับกัน วิธีการที่ไม่ครบถ้วนสมบูรณ์ไม่ได้คำนวณทุกวิธีในการแบ่งพาร์ติชั่นข้อมูลดั้งเดิมออกเป็นชุดการฝึกอบรมและการประเมิน

ด้านล่างนี้คือการตรวจสอบข้ามประเภททั่วไปห้าประเภท

1. วิธีการถือครอง

วิธีการระงับ เป็นหนึ่งในวิธีการตรวจสอบข้ามพื้นฐานที่ชุดข้อมูลดั้งเดิมแบ่งออกเป็นสองส่วน – ข้อมูลการฝึกอบรมและข้อมูลการทดสอบ เป็นวิธีที่ไม่ครบถ้วนสมบูรณ์ และตามที่คาดไว้ โมเดลได้รับการฝึกอบรมในชุดข้อมูลการฝึกอบรมและประเมินผลในชุดข้อมูลการทดสอบ

ในกรณีส่วนใหญ่ ขนาดของชุดข้อมูลการฝึกจะมากกว่าชุดข้อมูลทดสอบสองเท่า ซึ่งหมายความว่าชุดข้อมูลดั้งเดิมจะถูกแบ่งในอัตราส่วน 80:20 หรือ 70:30 นอกจากนี้ ข้อมูลจะถูกสุ่มแบบสุ่มก่อนที่จะแบ่งออกเป็นชุดการฝึกและการตรวจสอบ

อย่างไรก็ตาม มีข้อเสียบางประการสำหรับวิธีการตรวจสอบไขว้นี้ เนื่องจากโมเดลได้รับการฝึกอบรมโดยใช้จุดข้อมูลที่แตกต่างกัน จึงสามารถแสดงผลที่แตกต่างกันได้ทุกครั้งที่ทำการฝึก นอกจากนี้ เราไม่สามารถแน่ใจได้เลยว่าชุดข้อมูลการฝึกอบรมที่เลือกเป็นตัวแทนของชุดข้อมูลทั้งหมด

หากตัวอย่างข้อมูลต้นฉบับมีขนาดไม่ใหญ่เกินไป ก็มีโอกาสที่ข้อมูลการทดสอบอาจมีข้อมูลสำคัญบางอย่าง ซึ่งตัวแบบจะไม่รู้จักเนื่องจากไม่ได้รวมอยู่ในข้อมูลการฝึก

อย่างไรก็ตาม เทคนิคการตรวจสอบไขว้แบบถือครองนั้นเหมาะอย่างยิ่งหากคุณกำลังเร่งรีบในการฝึกและทดสอบแบบจำลองและมีชุดข้อมูลขนาดใหญ่

2. K-fold การตรวจสอบไขว้

วิธี ตรวจสอบไขว้ k-fold เป็นเวอร์ชันปรับปรุงของวิธีระงับ ทำให้คะแนนของโมเดลมีความสอดคล้องกันมากขึ้น เนื่องจากไม่ได้ขึ้นอยู่กับว่าเราเลือกชุดข้อมูลการฝึกอบรมและการทดสอบอย่างไร

เป็นวิธีการตรวจสอบความถูกต้องข้ามโดยย่อ และตามชื่อที่แนะนำ ชุดข้อมูลจะถูกแบ่งออกเป็นจำนวน k แยก และวิธีการค้างจะดำเนินการ k ครั้ง

ตัวอย่างเช่น ถ้าค่าของ k เท่ากับสอง จะมีชุดย่อยสองชุดที่มีขนาดเท่ากัน ในการทำซ้ำครั้งแรก โมเดลจะได้รับการฝึกกับตัวอย่างย่อยหนึ่งตัวอย่างและผ่านการตรวจสอบในอีกตัวอย่างหนึ่ง ในการทำซ้ำครั้งที่สอง โมเดลจะได้รับการฝึกในส่วนย่อยที่ใช้เพื่อตรวจสอบความถูกต้องในการทำซ้ำครั้งก่อนและทดสอบกับชุดย่อยอื่นๆ วิธีการนี้เรียกว่า 2-fold cross-validation

ในทำนองเดียวกัน ถ้าค่าของ k เท่ากับห้า วิธีการจะเรียกว่าวิธีการ ตรวจสอบความถูกต้องข้าม 5 เท่า และจะเกี่ยวข้องกับชุดย่อยห้าชุดและการวนซ้ำห้าครั้ง นอกจากนี้ ค่าของ k เป็นค่าที่ไม่แน่นอน โดยทั่วไป ค่าของ k ถูกกำหนดเป็น 10 หากคุณสับสนเกี่ยวกับการเลือกค่า ขอแนะนำให้ใช้ค่าเดียวกัน

ขั้นตอนการตรวจสอบข้าม k-fold เริ่มต้นด้วยการแบ่งชุดข้อมูลดั้งเดิมแบบสุ่มเป็นจำนวน k ของการพับหรือชุดย่อย ในการทำซ้ำแต่ละครั้ง โมเดลจะได้รับการฝึกอบรมเกี่ยวกับชุดย่อย k-1 ของชุดข้อมูลทั้งหมด หลังจากนั้น โมเดลจะถูกทดสอบบนเซ็ตย่อย kth เพื่อตรวจสอบประสิทธิภาพ

กระบวนการนี้ทำซ้ำจนกว่า k-folds ทั้งหมดจะทำหน้าที่เป็นชุดการประเมิน ผลลัพธ์ของการทำซ้ำแต่ละครั้งจะถูกหาค่าเฉลี่ย และเรียกว่าความถูกต้องของ การตรวจสอบข้าม ความถูกต้องของการตรวจสอบข้ามใช้เป็นตัวชี้วัดประสิทธิภาพเพื่อเปรียบเทียบประสิทธิภาพของรุ่นต่างๆ

เทคนิคการตรวจสอบไขว้ k-fold โดยทั่วไปจะสร้างแบบจำลองที่มีความเอนเอียงน้อยกว่า เนื่องจากทุกจุดข้อมูลจากชุดข้อมูลดั้งเดิมจะปรากฏทั้งในชุดการฝึกและชุดทดสอบ วิธีนี้เหมาะสมที่สุดถ้าคุณมีข้อมูลในจำนวนจำกัด

อย่างไรก็ตาม ตามที่คาดไว้ กระบวนการนี้อาจใช้เวลานาน เนื่องจากอัลกอริทึมต้องรันใหม่ k ครั้งตั้งแต่เริ่มต้น นอกจากนี้ยังหมายความว่าต้องใช้การคำนวณมากกว่า k-1 เท่าของวิธีการระงับ

3. Stratified k-fold cross-validation

เนื่องจากเราสุ่มสับเปลี่ยนข้อมูลและแบ่งออกเป็นส่วนเท่าในการตรวจสอบข้าม k-fold จึงมีโอกาสที่เราจะลงเอยด้วยชุดย่อยที่ไม่สมดุล ซึ่งอาจทำให้การฝึกอบรมมีอคติ ซึ่งส่งผลให้มีรูปแบบที่ไม่ถูกต้อง

ตัวอย่างเช่น พิจารณากรณีของปัญหาการจำแนกประเภทไบนารี โดยที่ป้ายชื่อคลาสทั้งสองประเภทประกอบด้วยข้อมูลเดิม 50 เปอร์เซ็นต์ ซึ่งหมายความว่าทั้งสองคลาสมีอยู่ในตัวอย่างดั้งเดิมในสัดส่วนที่เท่ากัน เพื่อความง่าย ให้ตั้งชื่อทั้งสองคลาส A และ B

ขณะสับข้อมูลและแบ่งออกเป็นส่วนๆ มีโอกาสสูงที่เราจะจบลงด้วยการพับซึ่งจุดข้อมูลส่วนใหญ่มาจากคลาส A และเพียงไม่กี่คนจากคลาส B เซตย่อยดังกล่าวถูกมองว่าเป็นเซตย่อยที่ไม่สมดุลและสามารถ นำไปสู่การสร้างลักษณนามที่ไม่ถูกต้อง

เพื่อหลีกเลี่ยงสถานการณ์ดังกล่าว รอยพับจะถูกแบ่งชั้นโดยใช้กระบวนการที่เรียกว่า การแบ่งชั้น ในการแบ่งชั้นข้อมูล ข้อมูลจะถูกจัดเรียงใหม่เพื่อให้แน่ใจว่าแต่ละชุดย่อยเป็นตัวแทนที่ดีของชุดข้อมูลทั้งหมด

ในตัวอย่างข้างต้นของการจำแนกประเภทไบนารี หมายความว่าควรแบ่งตัวอย่างเดิมเพื่อให้จุดข้อมูลครึ่งหนึ่งเป็นครึ่งหน้าจากคลาส A และส่วนที่เหลือจากคลาส B

4. Leave-p-out cross-validation

Leave-p-out cross-validation (LpOCV) เป็นวิธีที่ละเอียดถี่ถ้วนโดยนำจุดข้อมูลจำนวน p ออกจากจำนวนตัวอย่างข้อมูลทั้งหมดที่แสดงโดย n

โมเดลนี้ได้รับการฝึกอบรมเกี่ยวกับจุดข้อมูล np และทดสอบกับจุดข้อมูล p ในภายหลัง ทำซ้ำขั้นตอนเดียวกันสำหรับชุดค่าผสมที่เป็นไปได้ทั้งหมดของ p จากตัวอย่างเดิม สุดท้าย ผลลัพธ์ของการวนซ้ำแต่ละครั้งจะได้รับการเฉลี่ยเพื่อให้ได้ความถูกต้องของการตรวจสอบข้าม

5. Leave-one-out cross-การตรวจสอบ

แนวทางการตรวจสอบความถูกต้องแบบปล่อยครั้งเดียวออก (LOOCV) เป็นเวอร์ชันที่ง่ายขึ้นของ LpOCV ในเทคนิคการตรวจสอบไขว้นี้ ค่าของ p ถูกตั้งค่าเป็นหนึ่ง ดังนั้นวิธีนี้จึงละเอียดถี่ถ้วนน้อยกว่ามาก อย่างไรก็ตาม การดำเนินการตามวิธีนี้มีราคาแพงและใช้เวลานาน เนื่องจากต้องติดตั้งโมเดลจำนวน n ครั้ง

มีเทคนิคการตรวจสอบข้ามอื่น ๆ รวมถึง การตรวจสอบความถูกต้องของการสุ่มตัวอย่างย่อยซ้ำ การตรวจสอบข้ามที่ซ้อนกัน และการตรวจสอบข้ามอนุกรมเวลา

การประยุกต์ใช้การตรวจสอบข้าม

การใช้งานหลักของการตรวจสอบข้ามคือการประเมินประสิทธิภาพของโมเดลการเรียนรู้ของเครื่อง ซึ่งจะช่วยเปรียบเทียบวิธีการเรียนรู้ของเครื่องและพิจารณาว่าวิธีใดเหมาะสำหรับการแก้ปัญหาเฉพาะ

ตัวอย่างเช่น สมมติว่าคุณกำลังพิจารณา k-nearest neighbours (KNN) หรือการวิเคราะห์องค์ประกอบหลัก (PCA) เพื่อทำการจดจำอักขระด้วยแสง ในกรณีนี้ คุณสามารถใช้การตรวจสอบข้ามเพื่อเปรียบเทียบทั้งสองโดยพิจารณาจากจำนวนอักขระที่จำแนกประเภทผิดโดยแต่ละวิธี

การตรวจสอบข้ามยังสามารถใช้ใน การเลือกคุณสมบัติ เพื่อเลือกคุณสมบัติที่มีส่วนช่วยให้เกิดผลลัพธ์การคาดคะเนมากที่สุด

ข้อจำกัดของการตรวจสอบไขว้

ความท้าทายหลักของการตรวจสอบข้ามคือความต้องการทรัพยากรการคำนวณที่มากเกินไป โดยเฉพาะอย่างยิ่งในวิธีการต่างๆ เช่น k-fold CV เนื่องจากต้องรันอัลกอริทึมใหม่ตั้งแต่ต้นเป็นเวลา k ครั้ง จึงต้องใช้การคำนวณมากกว่า k เท่าในการประเมิน

ข้อจำกัดอีกประการหนึ่งคือข้อจำกัดที่ล้อมรอบข้อมูลที่มองไม่เห็น ในการตรวจสอบไขว้ ชุดข้อมูลทดสอบคือชุดข้อมูลที่มองไม่เห็นซึ่งใช้ในการประเมินประสิทธิภาพของแบบจำลอง ตามทฤษฎีแล้ว นี่เป็นวิธีที่ยอดเยี่ยมในการตรวจสอบว่าโมเดลทำงานอย่างไรเมื่อใช้กับแอปพลิเคชันในโลกแห่งความเป็นจริง

แต่ในทางปฏิบัติไม่มีวันมีชุดข้อมูลที่มองไม่เห็นที่ครอบคลุม และไม่มีใครสามารถคาดการณ์ประเภทของข้อมูลที่แบบจำลองอาจพบได้ในอนาคต

สมมติว่าแบบจำลองถูกสร้างขึ้นเพื่อทำนายความเสี่ยงของแต่ละบุคคลในการติดโรคติดต่อเฉพาะ หากแบบจำลองได้รับการฝึกอบรมเกี่ยวกับข้อมูลจากการศึกษาวิจัยที่เกี่ยวข้องกับกลุ่มประชากรกลุ่มใดกลุ่มหนึ่งเท่านั้น (เช่น ผู้หญิงในช่วงกลางทศวรรษที่ 20) เมื่อนำไปใช้กับประชากรทั่วไป ประสิทธิภาพการทำนายอาจแตกต่างกันอย่างมากเมื่อเปรียบเทียบกับความถูกต้องของการตรวจสอบข้าม .

นอกจากนี้ การตรวจสอบความถูกต้องไขว้จะให้ผลลัพธ์ที่มีความหมายก็ต่อเมื่ออคติของมนุษย์ถูกควบคุมในชุดตัวอย่างดั้งเดิม

การตรวจสอบข้ามเพื่อช่วยเหลือ

การสร้างแบบจำลองที่มีการตรวจสอบข้ามเป็นวิธีการที่ยอดเยี่ยมในการสร้างแอปพลิเคชันการเรียนรู้ของเครื่องด้วยความแม่นยำหรือประสิทธิภาพที่มากขึ้น เทคนิคการตรวจสอบความถูกต้องข้าม เช่น k-fold cross-validation ทำให้สามารถประเมินประสิทธิภาพของแบบจำลองได้โดยไม่ต้องเสียสละการแบ่งการทดสอบ

พวกเขายังขจัดปัญหาที่เกิดจากการแยกข้อมูลที่ไม่สมดุล กล่าวโดยสรุป พวกเขาสามารถช่วยให้นักวิทยาศาสตร์ข้อมูลสามารถพึ่งพาโชคน้อยลงและทำซ้ำได้มากขึ้น

มีชุดย่อยของการเรียนรู้ของเครื่องที่พยายามเลียนแบบการทำงานของสมองมนุษย์ เรียกว่าการเรียนรู้เชิงลึก และปัญญาประดิษฐ์ทั่วไป ถ้าเป็นไปได้ จะต้องมีความสามารถในการตัดสินใจ