นักวิจัย MIT เสนอแนวทางออกแบบคลัสเตอร์, ไม่ต้องเน้นแรม เน้นหน่วยความจำแฟลช

หัวข้อกระทู้ ใน 'เทคโนโลยี' เริ่มโพสต์โดย iPokz, 14 กรกฎาคม 2015.

  1. iPokz

    iPokz ~" iPokz "~ Staff Member

    ทีมวิจัยจาก MIT เสนอสถาปัตยกรรม BlueDBM สำหรับการประมวลผลข้อมูลขนาดใหญ่ด้วยแนวคิดว่าไม่ต้องเน้นการเพิ่มแรมเข้าไปมากๆ เหมือนแต่ก่อน

    กรณีของข้อมูลสำหรับ BlueDBM เช่นการประมวลผลข้อมูลทวิตเตอร์ขนาด 5TB ถึง 20TB ที่ต้องใช้เซิร์ฟเวอร์นับร้อยตัว แต่ละตัวติดตั้งแรมจำนวนมากเพื่อให้ข้อมูลทั้งหมดอยู่บนแรม ข้อเสนอของ BlueDBM เสนอให้ไปเน้นหน่วยความจำแบบแฟลชที่ประสิทธิภาพสูงแต่ยังมีราคาถูกและประหยัดไฟแทน

    BlueDBM พัฒนาการ์ดหน่วยความจำแฟลชเฉพาะทาง เชื่อมต่อกับเครื่องเซิร์ฟเวอร์หลักด้วย PCIe บนตัวการ์ดเองสามารถเชื่อมต่อกับการ์ดบนเครื่องอื่นๆ ได้โดยตรงผ่านสาย SATA จุดพิเศษอีกอย่างหนึ่งคือแต่ละการ์ดจะเป็น FPGA ทำให้สามารถส่งงานง่ายๆ ไปประมวลผลบนตัวการ์ดได้โดยตรง ตัวอย่างเช่น การค้นหาข้อความในไฟล์ขนาดใหญ่จะเสียเวลาจำนวนมากไปกับการทำ I/O ส่งข้อมูลเข้ามายังซีพียู ส่วนซีพียูทำงานจริงเพียง 13% สำหรับการค้นหาบนฮาร์ดดิสก์ และ 65% บน SSD แต่สำหรับ BlueDBM งานเกือบทั้งหมดจะถูกย้ายไปอยู่บน FPGA ที่ควบคุมหน่วยความจำแฟลชแทนทำให้ซีพียูหลักแทบไม่ต้องทำงานเลย

    ทีมงานเสนอสถาปัตยกรรมนี้โดยยกตัวอย่างการใช้งานสามประเภท ได้แก่ การหาข้อมูลใกล้เคียง (nearest neighbor search), การเดินทางในกราฟ (graph traversal), และการค้นหาข้อความ (string search) ซึ่งเป็นงานที่พบได้บ่อยๆ ในงานประมวลผลข้อมูลขนาดใหญ่

    งานวิจัย "BlueDBM: An Appliance for Big Data Analytics" ตีพิมพ์ในการประชุมวิชาการ International Symposium on Computer Architecture 2015

    ที่มา - MIT

    [​IMG]

    MIT, Big Data
     

แบ่งปันหน้านี้