ไดรเวอร์ Arrow-native ที่มีความสามารถในการประมวลผลข้อมูลสูงสำหรับการวิเคราะห์ lakehouse
มือบันทึกชุดข้อมูลโดยอ้างอิงเพื่อย้ายข้อมูลในรูปแบบคอลัมน์ด้วยการใช้ CPU ที่น้อยที่สุด เชื่อมต่อ Delta Lake และ Apache Iceberg กับเครื่องมือวิเคราะห์ DeltaForge จัดหา ADBC Driver สำหรับ Windows และเดสก์ท็อปอื่น ๆ พร้อมด้วยตัวเชื่อมต่อ Power BI ที่รวมอยู่และการผูกภาษา สำหรับ Python, R และ C จุดเด่นหลักคือการถ่ายโอนที่มีความหน่วงต่ำ การถ่ายโอนแบบไม่มีสำเนา และการเข้าถึงตารางโดยตรงจากการจัดเก็บวัตถุ ซึ่งมุ่งเป้าไปที่วิศวกรข้อมูลและนักวิเคราะห์ BI ที่สอบถามตาราง lakehouse ขนาดใหญ่โดยไม่ต้องรัน Spark.
ไดรเวอร์ส่งการถ่ายโอนแบบ Arrow-native ที่ไม่มีการคัดลอกสำหรับข้อมูลแบบคอลัมน์
DeltaForge ADBC Driver ส่งมอบชุดข้อมูลให้กับแอปพลิเคชันของลูกค้าโดยอ้างอิง ซึ่งจะช่วยขจัดค่าใช้จ่ายในการแปลงแบบแถวและรักษาข้อมูลในหน่วยความจำแบบคอลัมน์ ไดรเวอร์อ่านและเขียนรูปแบบตาราง Delta Lake และ Apache Iceberg และนำเสนอข้อมูลเป็นชุดบันทึก Arrow ให้กับลูกค้า Python, R หรือ C สำหรับการทำงานที่ต้องการชุดข้อมูลแบบคอลัมน์แทนที่จะเป็นบัฟเฟอร์แบบแถว สิ่งนี้จะทำให้เกิดความหน่วงเวลาที่ต่ำกว่าและลดการใช้ CPU ในระหว่างการดึงข้อมูล
มันลดการพึ่งพาคลัสเตอร์ภายนอกโดยการรันเอนจิน SQL แบบเนทีฟในท้องถิ่น
ไดรเวอร์รวมเอนจิน SQL ที่ข้ามความจำเป็นในการพึ่งพา JVM หรือ Spark ดังนั้นการสืบค้นจึงสามารถทำงานบนฮาร์ดแวร์ท้องถิ่นหรือ VM ที่มีอยู่แทนที่จะทำงานบนคลัสเตอร์ที่จัดการ DeltaForge โฆษณาความเร็วที่วัดได้มากกว่า 13 เท่าที่เร็วกว่ามาตรฐาน .NET ODBC drivers สำหรับงานเฉพาะ ซึ่งสนับสนุนกรณีการใช้งานที่องค์กรต้องการหลีกเลี่ยงการบำรุงรักษาคลัสเตอร์ Spark แยกต่างหากสำหรับการวิเคราะห์
การติดตั้งและการรวม BI เป็นไปโดยตรงแต่ต้องมีการตั้งค่าทางเทคนิค
บน Windows ไดรเวอร์จะถูกจัดส่งในรูปแบบ MSI ที่ลงนามและสามารถใช้ได้ผ่าน WinGet และยังมีตัวเชื่อมต่อ Power BI แบบกำหนดเองที่รวมอยู่สำหรับ Desktop การติดตั้งนั้นตรงไปตรงมาสำหรับผู้ดูแลระบบ แต่การรวมตัวเชื่อมต่อเข้ากับท่อ BI ขององค์กรต้องมีการกำหนดค่าการเข้าถึงที่จัดเก็บ (S3, ADLS หรือดิสก์ท้องถิ่น) และเข้าใจเลย์เอาต์ของตาราง lakehouse การผูกพันตามมาตรฐาน ADBC ช่วยให้นักพัฒนาสามารถเรียกใช้ไดรเวอร์จากโค้ดได้เมื่อมีการตั้งค่าข้อมูลรับรองและจุดสิ้นสุดแล้ว
ความปลอดภัยในการดำเนินงานและผลกระทบต่อระบบสอดคล้องกับความต้องการการวิเคราะห์ที่มีความเร็วสูง
ไดรเวอร์อ่านตารางโดยตรงจากการจัดเก็บวัตถุและหลีกเลี่ยงการเขียนข้อมูลเมตาของคลัสเตอร์ ซึ่งช่วยขจัดการพึ่งพาคลัสเตอร์คอมพิวเตอร์ที่ใช้งานอยู่ เนื่องจากมันส่งชุดข้อมูลโดยอ้างอิงและหลีกเลี่ยงค่าใช้จ่ายของ JVM ความดัน CPU และหน่วยความจำลดลงเมื่อเปรียบเทียบกับไดรเวอร์ที่ใช้แบบแถวในระหว่างการส่งออกขนาดใหญ่ สำหรับสภาพแวดล้อมที่ต้องการความปลอดภัยในการย้อนกลับหรือภาพถ่าย การป้องกันเหล่านั้นต้องได้รับการจัดการที่ระดับการจัดเก็บหรือระดับตารางแทนที่จะเป็นโดยไดรเวอร์เอง
ดีที่สุดสำหรับทีมที่สามารถรันคำค้นหากับการจัดเก็บ lakehouse; แนะนำให้ทดสอบกับข้อมูลที่เป็นตัวแทน
DeltaForge ADBC Driver เป็นตัวเลือกที่มีเหตุผลสำหรับวิศวกรข้อมูลและทีม BI ที่ต้องการการเข้าถึง Delta Lake หรือ Iceberg tables ที่มี throughput สูงโดยไม่ต้องดำเนินการ Spark clusters คาดว่าจะมีการถ่ายโอนข้อมูลที่รวดเร็วขึ้นและการใช้ CPU ในท้องถิ่นที่ต่ำลง แม้ว่าการรวมเข้ากับมันจะต้องมีความรู้เกี่ยวกับการจัดเรียงการจัดเก็บและการควบคุมการเข้าถึง ทดสอบคำค้นหาบนสำเนาของชุดข้อมูลของคุณเพื่อตรวจสอบสิทธิ์และการใช้ทรัพยากรก่อนที่จะนำไปใช้ในผลิตภัณฑ์ แนะนำให้ทำเช่นนั้น.
