Fivetran, sebuah perusahaan yang terkenal karena membantu bisnis membangun jalur data mereka, pada hari Selasa mengumumkan ketersediaan produk barunya, Fivetran Managed Data Lake Service.
Layanan baru ini bertujuan untuk menghilangkan tugas berulang dalam mengelola data lake menggunakan otomatisasi dan kontrol bagi pelanggan perusahaan, sehingga membebaskan mereka untuk fokus pada pembuatan produk selain data ini. Saat ini, layanan ini mendukung Amazon S3, Azure Data Lake Storage (ADLS) dan Microsoft OneLake, dengan dukungan untuk Google Cloud.
Secara tradisional, Fivetran hanya mendukung gudang data, yang sering digunakan untuk menyimpan data terstruktur, terkait efisiensi energi dan intelijen bisnis (BI). Data lake, di sisi lain, dirancang untuk menyimpan data terstruktur dan tidak terstruktur dari berbagai sumber dan aplikasi yang sering kali melibatkan analisis real-time dan pembelajaran mesin. Databricks juga menginspirasi konsep Lakehouse, yang bertujuan untuk menggabungkan yang terbaik dari kedua dunia ke dalam satu gudang data.
“Idenya adalah kami membawa inovasi yang telah kami sediakan di BI selama sembilan tahun terakhir ke AI dan seluruh tempat kerja,” kata salah satu pendiri dan COO Fivetran, Taylor Brown kepada saya.
Layanan Data Lake Terkelola menggunakan 500+ konektor Fivetran yang sudah ada, lalu mengubah dan menulis ulang konektor tersebut sebelum mengirimnya ke dalam satu danau yang didukung oleh format tabel Delta Lake atau Apache Iceberg. Setelah berada di lautan data, pengguna dapat bekerja dengan mesin komputasi pilihan mereka (seperti Databricks, Snowflake, Starburst, atau Redshift) untuk memproses data tersebut – atau membawanya ke mesin pembelajaran mesin untuk mendukung aplikasi AI baru mereka.
“Fivetran hanya mendukung pusat data, (…) dan beberapa pelanggan menggunakan peralatan tersebut sebagai data lake, namun kami memiliki banyak pelanggan, yang meminta untuk mendukung fitur Iceberg dan Delta Lake sebagai data lake, khususnya pelanggan besar,” kata coklat.
Brown mengatakan kepada saya bahwa banyak pelanggan yang mencoba layanan baru selama pratinjau menyadari bahwa mereka sedang membangun jalur yang sama untuk memasukkan data mereka ke dalam gudang dan ke dalam data lake.
Salah satu masalah dengan data lake adalah seringkali sulit untuk memastikan bahwa pengguna hanya memiliki akses ke informasi yang seharusnya mereka gunakan. Dalam pengumuman hari Selasa, Fivetran menekankan bahwa mereka terintegrasi dengan katalog dan solusi tata kelola yang ada seperti AWS Glue, Databricks Unity Catalog, dan Microsoft Purview.
“Kami sangat senang Fivetran mendukung Delta Lake sebagai tujuan langsung,” kata Direktur Produk Databricks Himanshu Raja. “Dengan kemampuan baru ini, pelanggan kini dapat menggunakan Fivetran untuk membangun lingkungan terbuka dengan Delta Lake yang didukung oleh Databricks Data Intelligence Platform. Kami juga sangat gembira dengan integrasi Fivetran yang akan datang dengan Unity Catalog untuk menyediakan tata kelola yang out-of-the-box dan keamanan di seluruh meja bertenaga Fivetran.” “
Hingga akhir Agustus, Fivetran menyediakan layanan baru ini secara gratis (hingga $10.000 per pelanggan). Setelah itu, Fivetran akan menggunakan metode pembayaran saat ini untuk membayar. “Salah satu keuntungan menggunakan Layanan Managed Data Lake Fivetran adalah penyerapannya gratis,” kata Brown. “Jika Anda melakukan pembongkaran di dalam Snowflake atau Databricks atau pembeli kelas bawah lainnya, Anda harus menggunakan database untuk menyerap data, yang dalam beberapa kasus bisa jadi (mahal).”
