ที่งาน AWS re:Invent 2018 Amazon ได้เปิดตัวบริการ Amazon Elastic Inference ที่ทำให้สามารถเพิ่ม GPU ไปยังเครื่อง EC2 ประเภทใดๆ ก็ได้ เดิมทีการใช้งาน GPU ใน EC2 นั้นจะต้องเลือกใช้เครื่องประเภทที่มี GPU ในตัวเท่านั้น เช่นประเภท P3 ซึ่งบางครั้งผู้ใช้งานอาจจะต้องการใช้เพียงแค่ GPU แต่ไม่ได้ต้องการ CPU หรือ Memory จำนวนมาก โดยเฉพาะงานประเภทหาคำตอบจากโมเดลที่สำเร็จแล้ว (inference) การใช้งานลักษณะนี้จึงสิ้นเปลืองค่าใช้จ่ายมาก Elastic Inference จะทำให้เราสามารถเพิ่ม GPU ไปยังเครื่อง EC2 ประเภทใดๆ ก็ได้ (คล้ายๆ กับของ Google Cloud) หรือต่อกับ SageMaker รองรับการใช้งานผ่านทั้ง TensorFlow และ Apache MXNet สเปคของ GPU ที่ให้ยังไม่มีระบุว่าเป็นรุ่นใด แต่กำหนดจากความเร็วเป็น TFLOPS แทน พร้อมกันนี้ Amazon ยังได้เปิดตัวชิพประมวลผล AWS Inferentia สำหรับงาน inference ที่ต้องใช้ GPU ทั้งตัว หรือต้องการ latency ต่ำมาก โดยจะให้เลือกใช้งานได้จาก Amazon Elastic Inference ในอนาคต ที่มา: AWS Blog Topics: Amazon EC2AWSMachine Learning