หน่วยงานรัฐบาลกลางมองเห็นความจำเป็นที่เพิ่มขึ้นในการใช้ข้อมูลเรียลไทม์อย่างรวดเร็ว ในด้านต่าง ๆ ตั้งแต่การรักษาพยาบาลและการประมวลผลคำขอสวัสดิการ ไปจนถึงการจัดการยานพาหนะและการสนับสนุนภารกิจทางทหาร สำหรับ NASA ข้อมูลตามเวลาจริงยังขยายไปสู่พรมแดนอันไกลโพ้นผ่านDeep Space Network (DSN) เป็นอีกตัวอย่างหนึ่งของวิธีที่เอเจนซี่ใช้ Apache Kafka เพื่อตั้งค่าข้อมูลให้เคลื่อนไหวDSN มีรากฐานมาจากอาร์เรย์ของเสาอากาศวิทยุขนาดใหญ่สามเสาของ NASA ซึ่งมองเห็นได้ในระยะเท่าๆ กันทั่วโลก หนึ่งในเสาอากาศเหล่านี้
ตั้งอยู่ในแกลดสโตน แคลิฟอร์เนีย อีกสองแห่งตั้งอยู่ในกรุงมาดริด
ประเทศสเปน และกรุงแคนเบอร์รา ประเทศออสเตรเลีย แต่การเข้าถึงของมันขยายไปไกลในอวกาศเพื่อสนับสนุนภารกิจระหว่างดาวเคราะห์ของหน่วยงานอวกาศ (เช่นเดียวกับภารกิจสองสามอย่างในวงโคจรรอบโลก) DSN ดำเนินการโดย Jet Propulsion Laboratory (JPL) ในพาซาดีนา แคลิฟอร์เนีย โดยรวบรวมฟีดจากภารกิจต่างๆ เช่น ภารกิจที่ทำงานเกี่ยวกับการสำรวจดาวอังคาร
แม้ว่าคำสั่งและข้อมูลบางอย่างสามารถส่งโดยตรงระหว่างโลกกับยานสำรวจของ NASA แต่ข้อมูลจำนวนมากที่ถูกสร้างขึ้นจะต้องผ่าน Mars Relay Network ก่อน เครือข่ายดังกล่าวประกอบด้วยกลุ่มดาวโคจรที่รวบรวมข้อมูลทางวิทยาศาสตร์จากยานเพอร์ซีเวอรันซ์โรเวอร์ซึ่งลงจอดในเดือนกุมภาพันธ์ เช่นเดียวกับยานคิวริออซิตีซึ่งสำรวจดาวเคราะห์สีแดงมาตั้งแต่ปี 2012 และยานลงจอดอินไซท์ซึ่งทำงานอยู่ที่นั่นตั้งแต่นั้นเป็นต้นมา 2561.
สำหรับประวัติการสำรวจอวกาศส่วนใหญ่ของหน่วยงาน กระบวนการทำงานจากอวกาศของ NASA นั้นช้า แม้กระทั่งการคำนึงถึงเวลาในการส่งสัญญาณที่ต้องใช้ในระยะทางหลายสิบล้านไมล์ กระบวนการสร้างและการปล่อยดาวเทียมและโพรบเกิดขึ้นในช่วงวงจรชีวิตที่ยาวนาน ดังนั้น ภารกิจจึงมักเข้าสู่อวกาศด้วยเทคโนโลยีบางอย่างที่ล้าสมัยไปแล้ว DSN เชื่อถือได้เสมอมา แต่ก็ไม่สามารถรองรับการเติบโตอย่างมหาศาลของข้อมูลหรือการใช้งานแบบเรียลไทม์ได้
สิ่งนี้กำลังเปลี่ยนไปเนื่องจากการใช้ Apache Kafka ของ JPL
ซึ่งเปิดใช้งานการแบ่งปันและการใช้ข้อมูลในขณะที่สร้างขึ้น
ในขณะที่ภารกิจอวกาศของ NASA ขยายตัวอย่างต่อเนื่อง จำนวนข้อมูลที่รวบรวมได้ก็เพิ่มขึ้นอย่างทวีคูณ
“เรากำลังจะได้รับอัตราข้อมูลจากยานอวกาศที่สูงขึ้น มีข้อมูลมากขึ้นในเครือข่าย มีข้อมูลมากขึ้นที่ต้องได้รับการตรวจสอบ และเราจะต้องหาวิธีจัดการกับข้อมูลนี้ และแยกมันออกจากกัน และทำความเข้าใจ ได้อย่างรวดเร็ว” Rishi Verma สถาปนิกข้อมูลของ NASA-JPL กล่าวในการประชุมสุดยอด Kafka ในซานฟรานซิสโก
นอกจากภารกิจที่โดดเด่น เช่น การสำรวจดาวอังคาร ดวงจันทร์ และระบบสุริยะรอบนอกแล้ว NASA ยังรวบรวมข้อมูลจากความพยายามเล็กๆ น้อยๆ อื่นๆ ที่เพิ่มจำนวนขึ้นเรื่อยๆ รวมถึง CubeSats JPL ตั้งเป้าที่จะรวมข้อมูลทั้งหมดไว้ในภาพเดียว
ภาพเรียลไทม์จากที่ไกลออกไป
Apache Kafka จัดการข้อมูลในรูปแบบแบบพกพา ทำให้สามารถโต้ตอบกับระบบใดๆ ก็ได้ ไม่ว่าจะสร้างหรือรับข้อมูล รวมถึงบันทึก แอปของบุคคลที่สาม แอปที่กำหนดเอง และไมโครเซอร์วิส ตลอดจนฐานข้อมูลรุ่นเก่าที่ข้อมูลมักถูกดักจับ โครงสร้างส่วนกลางของคลัสเตอร์ Kafka ช่วยให้สามารถแชร์แบบเรียลไทม์ การสตรีมเหตุการณ์ และการผสมผสานอื่นๆ ของทั้งข้อมูลเรียลไทม์และข้อมูลย้อนหลัง
Confound บริษัทโอเพ่นซอร์สที่อยู่เบื้องหลัง Apache Kafka ได้ร่วมมือกับหน่วยงานต่าง ๆ เพื่อทำงานกับข้อมูลในรูปแบบที่ก่อนหน้านี้ไม่สามารถทำได้ รวมถึงการตอบสนองของพลเมืองที่ตอบสนอง การรับรู้สถานการณ์ตามเวลาจริง การตรวจจับความผิดปกติ ภารกิจที่ขับเคลื่อนด้วยเหตุการณ์ และการดำเนินงานด้านความปลอดภัย
สำหรับ NASA JPL ใช้ Kafka เพื่อรวบรวมข้อมูลตามเวลาจริงจากภารกิจที่สามารถช่วยติดตามความคืบหน้าและระบุองค์ประกอบที่ส่งผลต่อภารกิจที่ซับซ้อน ตัวอย่างเช่น เมื่อใช้ Mars Reconnaissance Orbiter DSN จะได้รับหลักฐานโดยตรงเมื่อยานโคจรผ่านหลังโลก รับสถานะอุปกรณ์ตามเวลาจริง และเห็นความแตกต่างระหว่างแบบจำลองที่คาดการณ์ของ NASA และสิ่งที่เกิดขึ้นจริง ซึ่งอาจเผยให้เห็นการเสื่อมสภาพของอุปกรณ์
ใน DSN ข้อมูลดิบมักจะเข้าสู่ระบบในรูปแบบที่เป็นกรรมสิทธิ์ ตอนนี้ข้อมูลนั้นถูกแปลงโดย Kafka เพื่อให้สามารถแบ่งปันได้ ช่วยให้ NASA รักษาแพ็กเก็ตให้มีขนาดเล็ก ปรับปรุงอัตราข้อมูล และลดเวลาแฝงในเครือข่าย ช่วยให้ JPL ได้รับการแจ้งเตือนข้อผิดพลาด ซึ่งช่วยให้ภารกิจหลีกเลี่ยงการหยุดทำงานและปรับปรุงประสิทธิภาพผ่านระบบอัตโนมัติ
