ระบบที่ช่วยกำจัดขยะในตารางข้อมูลโดยอัตโนมัติ

ภาพจาก MIT News

ระบบที่พัฒนาโดยนักวิจัยจาก Massachusetts Institute of Technology (MIT) จะล้าง "ความสกปรกในข้อมูล" โดยอัตโนมัติ เช่นการพิมพ์ผิด ข้อมูลที่ซ้ำ ค่าที่หายไป การสะกดผิด และความไม่สอดคล้องกัน ระบบนี้มีชื่อว่า PClean มันจะรวมข้อมูลภูมิหลังที่เกี่ยวข้องกับฐานข้อมูล และประเด็นปัญหาที่อาจเกิดขึ่นได้เข้ากับการให้เหตุผลที่เป็นไปได้ทางสามัญสำนึก (common-sense probabilistic reasoning) เพื่อใช้ในการตัดสินใจว่าจะเรียกใช้ฐานข้อมูลและประเภทข้อผิดพลาดแบบใด การแก้ไขจะใช้การให้เหตุผลแบบ  Bayesian ซึ่งใช้ความน่าจะเป็นจากความรู้เดิมเกี่ยวกับข้อมูลที่คลุมเครือ เพื่อหาคำตอบที่ถูกต้อง และสามารถให้ค่าประมาณที่ปรับเทียบแล้วสำหรับความไม่แน่นอนของมัน  นักวิจัยพบว่า PClean ซึ่งมีโค้ดเพียง 50 บรรทัดมีประสิทธิภาพเหนือกว่าเกณฑ์เปรียบเทียบ (benchmark) ต่าง ๆ ทั้งในด้านความแม่นยำและเวลาในการทำงาน

อ่านข่าวเต็มได้ที่: MIT News