Applying double clustering technique for intrusion detection in large-scale log

• Main Author: Jakrarin Therdphapiyanak (Author)
• Other Authors: Krerk Piromsopa (Contributor), Chulalongkorn University. Faculty of Engineering (Contributor)
• Format: Book
• Published: Chulalongkorn University, 2014-05-06T03:27:49Z.
• Subjects: Thesis
• Online Access: http://cuir.car.chula.ac.th/handle/123456789/42311
• Other title: การประยุกต์ใช้การจัดกลุ่มแบบสองชั้นเพื่อค้นหาผู้บุกรุกในล็อกขนาดใหญ่
• Notes: http://cuir.car.chula.ac.th/handle/123456789/42311
• Keywords: Computer security; Data protection; Data mining; ความปลอดภัยในระบบคอมพิวเตอร์; การป้องกันข้อมูล; ดาต้าไมนิง

Thesis (M.Eng.)--Chulalongkorn University, 2012

In this dissertation, we proposed an applying double clustering technique for intrusion detection in large-scale log. Log files are list of actions, events and activities that happened in the system. These data of log files are humungous and useless. Therefore, log analysis is another way to enhance the security of the system. K-Mean algorithm and Parallel FP-Growth based on Apache Mahout are applied to cluster these log files and discover the frequent patterns to generate the normal profiles respectively. After the normal patterns are generated, the normal records will be removed from the data set. Therefore, the remaining records are the suspect intrusion records. These remaining records are partitioned and analyzed once again. Finally, the characteristics of these suspect intrusion records are generated. These characteristics are new knowledge and useful to enhance the security of the system.

ในงานวิจัยนี้ได้นำเสนอการประยุกต์ใช้การจัดกลุ่มแบบสองชั้นเพื่อค้นหาผู้บุกรุกในล็อกขนาดใหญ่ เพราะล็อกไฟล์ คือ ไฟล์ที่เก็บข้อมูลของการกระทำ, กิจกรรม และเหตุการณ์ต่างๆที่เกิดขึ้นในระบบ ในระบบคอมพิวเตอร์สมัยใหม่เป็นระบบที่มีขนาดใหญ่และมีความซับซ้อน ทำให้ ล็อกไฟล์เหล่านี้มีปริมาณมหาศาลและมีขนาดใหญ่มาก ดังนั้นการนำข้อมูลเหล่านี้มาวิเคราะห์เพื่อหาความผิดปกติที่เกิดขึ้นกับระบบจึงเป็นวิธีการที่จะสามารถเพิ่มความมั่นคงปลอดภัยให้กับระบบได้มากยิ่งขึ้น และโดยทั่วไป รูปแบบของข้อมูลปกติจะมีอยู่เป็นส่วนมากของรูปแบบข้อมูลทั้งหมด ดังนั้น ในงานวิจัยนี้ได้ประยุกต์ใช้ขั้นตอนวิธีในการทำเหมืองข้อมูล (Data Mining) คือ K-Means Algorithm และ Parallel FP-Growth ด้วย Apache Mahout Framework เพื่อทำการจัดกลุ่มและค้นหารูปแบบของความสัมพันธ์ที่เกิดขึ้นบ่อยครั้งในล็อกไฟล์เหล่านี้ จากนั้นจึงสร้าง Normal Profiles ขึ้นมา เพื่อดึงรูปแบบของข้อมูลปกติออกจากรูปแบบข้อมูลทั้งหมด ดังนั้นข้อมูลส่วนที่เหลือจะเป็นข้อมูลที่มีความน่าจะเป็นที่จะเป็นผู้บุกรุก ข้อมูลเหล่านี้จะถูกนำมาจัดกลุ่มและค้นหาความสัมพันธ์อีกครั้งหนึ่งเพื่อให้ได้มาซึ่งลักษณะเฉพาะของการโจมตีเหล่านั้น ซึ่งลักษณะเฉพาะเหล่านี้เป็นองค์ความรู้ที่จะสามารถระบุถึงลักษณะของผู้บุกรุกที่มีอยู่ในล็อกขนาดใหญ่