Latar Belakang: Empat Pergeseran Besar di Sisi Komputasi Platform Data
Seiring platform data berkembang dari sekadar “alat bagi analis manusia” menjadi “fondasi komputasi bagi Agent”, transformasi yang terjadi di lapisan komputasi jauh lebih mendalam dibandingkan transformasi di lapisan interaksi. Secara spesifik, ke depannya terdapat empat pergeseran besar yang dihadapi.
Aset data perusahaan berkembang dari tabel terstruktur menjadi data multimodal. Ke depannya, kontrak, laporan riset, rekaman layanan pelanggan, rekaman video, gambar produk, log tiket, embedding, fitur model, dan memori agent akan menjadi jenis aset data baru — aset yang dapat dipahami oleh model, dipanggil oleh agent, dan dikonsumsi secara otomatis oleh proses bisnis. Data multimodal tidak lagi sekadar “lampiran” atau “materi arsip”, melainkan bahan bakar inti yang menggerakkan kecerdasan perusahaan.
AI Agent akan berkembang dari sekadar portal tanya-jawab menjadi pengguna baru platform data
Pengguna manusia umumnya jarang menulis SQL, melihat laporan, lalu menunggu hasilnya. Sebaliknya, AI Agent akan beroperasi 24/7, menghasilkan kueri dengan konkurensi frekuensi tinggi, memicu proses pencarian (retrieval), memanggil inferensi, mengirimkan tugas pelatihan, dan menuliskan kembali hasilnya ke sistem bisnis. Agent tidak sekadar mengubah cara berinteraksi, tetapi secara fundamental mengubah model beban kerja platform data: satu tujuan bisnis akan diuraikan menjadi rantai tugas data yang berjalan secara berkelanjutan.
Beban kerja Data+AI akan berkembang dari pemanggilan model yang terisolasi menjadi pipeline komputasi komposit
Bisnis di dunia nyata tidak pernah sesederhana melakukan kueri pada satu tabel atau memanggil satu model saja. Prosesnya melibatkan pembacaan multi-sumber, penguraian dokumen, ekstraksi frame video, pembuatan embedding, pencarian hibrida (vektor dan full-text), reranking, inferensi LLM, validasi SQL, prediksi machine learning tradisional, pembuatan laporan, hingga penulisan kembali ke basis pengetahuan — semuanya berjalan sebagai satu proses yang berkesinambungan.
Daya saing platform akan bergeser dari Computing Efficiency menjadi Agent Efficiency
Platform tradisional berfokus pada latensi kueri, throughput, utilisasi CPU, dan stabilitas job. Di era Agent, fokus tersebut meluas mencakup biaya rata-rata per penyelesaian tugas, tingkat keberhasilan rantai pemanggilan, akurasi recall RAG, latensi inferensi, utilisasi GPU, keterlacakan sumber data, hingga kemampuan analisis pasca-insiden secara otomatis.
Compute Intelligence: Sistem Komputasi Konvergen Generasi Baru yang Siap untuk Agent
Kami memperkirakan bahwa jalur peningkatan platform data tradisional bukan sekadar menambahkan basis data vektor atau antarmuka MCP. Yang diperlukan adalah menyatukan beban kerja Data+AI yang kompleks — seperti analitik SQL, komputasi multimodal, pelatihan/inferensi model, dan RAG retrieval — ke dalam satu sistem komputasi tunggal yang dapat dikelola, diawasi, dan berkinerja tinggi.
Pada masa lalu, “AI-Ready” membahas apakah AI Agent dapat mengakses data; “Agent-Ready” membahas apakah Agent dapat memanggil data dan sumber daya komputasi secara berkelanjutan, andal, dan hemat biaya untuk mencapai tujuan bisnis. Compute Intelligence berperan sebagai lapisan eksekusi dari platform data yang Agent-Ready, dan menjadi fondasi bagi implementasi nyata dari kecerdasan data.
Secara spesifik, Compute Intelligence adalah sistem komputasi konvergen generasi baru yang dirancang untuk beban kerja Data+AI dan AI Agent. Sistem ini memberikan dukungan terpadu untuk SQL terstruktur, pemrosesan multimodal, pelatihan/inferensi ML tradisional, RAG, serta pemanggilan oleh Agent, sekaligus memungkinkan penjadwalan cerdas lintas sumber daya heterogen seperti CPU dan GPU untuk memenuhi beragam kebutuhan komputasi, baik dari pengguna manusia maupun AI Agent.
Implementasi Produk Tencent Cloud Big Data Compute Intelligence
Dalam transisi dari AI-Ready menuju Agent-Ready, Tencent Cloud Big Data terus menyempurnakan platform komputasi dasarnya mengikuti konsep Compute Intelligence. Pertama, mesin komputasi SQL berkinerja tinggi bernama Meson meningkatkan performa komputasi terstruktur, memberikan throughput lebih tinggi, biaya lebih rendah, dan kemampuan pemrosesan inkremental yang lebih kuat untuk job SQL dan Spark tradisional. Secara bersamaan, mesin komputasi multimodal — Xpark dan TCRay — beserta layanan RAG satu atap ES, menyatukan pemrosesan multimodal, inferensi model, penjadwalan CPU/GPU, dan pencarian pengetahuan perusahaan ke dalam satu sistem komputasi terpadu. Dengan demikian, platform data berkembang dari sekadar alat analisis data bagi pengguna manusia, menjadi fondasi komputasi cerdas yang dapat dipanggil oleh AI Agent dengan frekuensi tinggi, diorkestrasi secara otomatis, dan dieksekusi secara berkelanjutan.
Sisi Komputasi Terstruktur: Meson Mengadaptasi Komputasi Terstruktur untuk Analisis Agent Berfrekuensi Tinggi
Di era Agent-Ready, SQL tidak akan memudar; sebaliknya, SQL akan dipanggil dengan frekuensi yang lebih tinggi dan otomatisasi yang lebih besar. Nilai dari mesin komputasi berkinerja tinggi milik Tencent Cloud, Meson — yang dirancang untuk paradigma komputasi data terstruktur — terletak pada kemampuannya memberikan performa, pemrosesan inkremental, dan akselerasi heterogen yang dibutuhkan komputasi terstruktur di era AI. Dikembangkan secara internal oleh Tencent Cloud, mesin optimasi SQL Meson memberikan optimasi mendalam pada Spark SQL melalui eksekusi vektorisasi, model pipeline, columnar shuffle, remote shuffle, dan SSD caching.
Pada 2026, mesin komputasi berkinerja tinggi Meson menghadirkan tiga kemampuan baru: dukungan penuh untuk Spark RAPIDS, komputasi inkremental, dan Spark 4.0. Ketiganya secara langsung menjawab kebutuhan utama era Agent-Ready ke depan: Spark RAPIDS mengalihkan operator berat seperti Shuffle dan Join ke tahap akselerasi GPU, memanfaatkan penjadwalan sumber daya GPU berbagi waktu pada platform Data+AI untuk semakin meningkatkan performa analitik SQL tradisional. Komputasi inkremental mencegah perhitungan ulang secara penuh pada setiap eksekusi selama analisis Agent berfrekuensi tinggi berlangsung.
Saat ini, Meson memberikan peningkatan performa keseluruhan hingga 3,6 kali lipat pada benchmark TPC-DS 1TB dalam skenario storage-compute yang terpisah, dengan percepatan hingga 5 kali lipat pada kueri yang bersifat compute-intensive, sekaligus menurunkan penggunaan CPU dari 80% menjadi 40%. Meson telah digunakan secara produksi di lebih dari 100 lokasi pelanggan.
Sisi Komputasi Multimodal: Xpark — Mesin Komputasi Multimodal Berkinerja Tinggi yang Siap Pakai
Pemrosesan multimodal secara tradisional mengandalkan gabungan PySpark, OpenCV, Librosa, skrip Python, layanan model, dan basis data vektor yang disatukan secara manual — mengakibatkan pipeline yang terfragmentasi, utilisasi GPU rendah, dan tugas yang sulit disetel. Untuk mengatasi persoalan ini, Tencent Cloud Big Data meluncurkan Xpark, mesin komputasi multimodal terdistribusi yang dikembangkan secara internal berbasis ekosistem Python. Xpark memperluas Ray Data untuk membentuk Xpark DataSet di lapisan dasar, dan telah dilengkapi lebih dari 50 operator multimodal serta pipeline pemrosesan umum untuk deduplikasi teks, ringkasan teks, pemotongan video, augmentasi data gambar, dan lainnya.
Dengan Xpark, pengembang tidak perlu lagi terus-menerus berpindah antara Spark, Ray Data, fungsi Python, dan layanan inferensi model. Sebagai gantinya, mereka dapat menggunakan semantik DataSet/DataFrame yang terpadu untuk memproses teks, gambar, audio, video, dan jenis data lainnya secara bersamaan dalam satu framework.
Dari sisi performa dan keandalan, Xpark jauh lebih dari sekadar pembungkus kemampuan AI. Xpark mengimplementasikan pemrosesan multimodal terdistribusi secara native berbasis Ray Data: operator deduplikasi teks MinHash miliknya memberikan performa hingga 8 kali lipat dibandingkan Data-Juicer, sementara deduplikasi exact substring terdistribusi berjalan 50 kali lebih cepat dibandingkan versi open source. Untuk tugas embedding, Xpark mendukung inferensi hibrida GPU-CPU, dan inferensi CLIP asinkron memberikan peningkatan performa sekitar 1,5 kali lipat. Untuk tugas pemrosesan data multi-tahap dan berantai panjang yang melibatkan banyak model, Xpark mengurangi risiko pengulangan penuh akibat titik kegagalan tunggal atau anomali data melalui percobaan ulang di tingkat operator, realokasi tugas, strategi lewati (skip), rekonstruksi lineage, dan checkpointing di tingkat tugas.
Bagi perusahaan, nilai Xpark terletak pada kemampuannya mengubah pemrosesan data tidak terstruktur dari “rekayasa skrip tim algoritma” menjadi tugas komputasi yang terstandardisasi, terdistribusi, dan dapat dikelola dalam platform data. Xpark dapat diterapkan untuk pembersihan, deduplikasi, penyaringan kualitas, penyamaran privasi, dan tokenisasi halaman web, dokumen, dan kode berskala petabyte untuk pra-pelatihan LLM. Xpark juga mendukung pemotongan video, ekstraksi audio, penyaringan kualitas gambar, penyaringan kemiripan teks-gambar, pembuatan caption video, dan deteksi keamanan sebelum pelatihan model multimodal. Selain itu, Xpark menjadi fondasi bagi aplikasi berbasis AI generatif seperti analisis opini publik, penerjemahan, peringkasan, dan pencarian multimodal.
Sisi Konvergensi SQL-AI: AI Function Mengubah SQL Menjadi Gerbang Universal bagi Aplikasi AI
Xpark milik Tencent Cloud secara resmi meluncurkan paradigma penggunaan baru bernama TCHouse-X AI Function. Sebagai gudang data cloud yang dikembangkan sepenuhnya secara internal oleh Tencent Cloud, TCHouse-X terintegrasi dengan Xpark untuk menghadirkan kemampuan AI Function.
Dengan TCHouse-X AI Function, pengguna dapat memanfaatkan semantik SQL untuk secara cepat memanggil kemampuan komputasi data multimodal terdistribusi milik Xpark, sekaligus kemampuan pelatihan dan inferensi LLM maupun machine learning tradisional. Sebagai contoh, pengguna dapat menerapkan AI_kmeans langsung dalam SQL untuk melakukan clustering pelanggan, atau menggunakan AI_frequency untuk menghitung frekuensi pembelian. Pengguna juga dapat membuat model KMeans menggunakan CREATE MODEL, kemudian memanggil predict di dalam pernyataan SELECT untuk mengembalikan hasil seperti ID klaster, frekuensi pembelian, dan rasio pengembalian.
TCHouse-X AI Function menjawab hambatan masuk bagi adopsi AI secara luas. Sebelumnya, agar analis bisnis dapat melakukan clustering, forecasting, atau analisis berbasis LLM, mereka sering kali harus mengekspor data, menulis skrip Python, memanggil layanan model, mengelola environment dependensi, dan menuliskan kembali hasilnya ke data warehouse — sebuah alur kerja yang panjang dan kompleks. Dengan TCHouse-X AI Function, tugas-tugas tersebut kini dapat diselesaikan dengan cepat hanya melalui satu pernyataan SQL: siap pakai, praktis, andal, dan selaras dengan pola kerja analis bisnis yang sudah ada.
Sisi Penjadwalan Sumber Daya: TCRay — Infrastruktur Generasi Berikutnya untuk Beban Kerja AI
Ketika Data+AI memasuki tahap produksi, hambatan sesungguhnya sering kali bukan pada model itu sendiri, melainkan pada bagaimana sumber daya CPU/GPU dijadwalkan secara dinamis lintas pemrosesan batch, pelatihan, inferensi, RAG, dan layanan Agent. Dibangun di atas Ray open source, TCRay dioptimalkan secara mendalam untuk infrastruktur AI Tencent Cloud Big Data guna menghadirkan penjadwalan CPU dan GPU yang terpadu.
Selain itu, TCRay menghadirkan implementasi yang disempurnakan dari Ray Core, Ray Data, Ray Train, dan Ray Serve — dengan fokus khusus pada penguatan penjadwalan job, pemulihan tugas, penskalaan sumber daya elastis, isolasi runtime, dan stabilitas job berskala besar. Hal ini menurunkan tingkat kegagalan dan biaya troubleshooting untuk tugas yang berjalan lama, inferensi batch, dan beban kerja pelatihan model.
Dari sisi integrasi ekosistem, TCRay berfokus menghubungkan rantai penggunaan Ray Data, Ray Train, dan Ray Serve, sekaligus meningkatkan manajemen tugas pelatihan, registrasi model, inferensi online, berbagi sumber daya offline-online, dan adaptasi perangkat keras lokal. Untuk skenario bisnis seperti rekomendasi cerdas, RAG, document intelligence, inferensi batch, dan fine-tuning LLM, tersedia template siap pakai yang dapat digunakan kembali, menjadikan TCRay solusi tervalidasi yang siap pakai khusus untuk skenario Data+AI.
Sisi Retrieval & Inferensi: Layanan RAG Satu Atap ES — Rilis Baru Evaluasi Efektivitas RAG
Bagi Agent, RAG adalah sistem memori perusahaan; bagi perusahaan, RAG adalah jalur krusial untuk menyuntikkan pengetahuan domain privat ke dalam alur kerja AI. Sistem RAG tingkat produksi jauh lebih dari sekadar basis data vektor — mencakup penguraian dokumen, chunking, embedding, pencarian full-text, pencarian vektor, pencarian hibrida, reranking, penyaringan izin akses, layanan inferensi, evaluasi efektivitas, hingga optimasi berbasis umpan balik.
Evaluasi Efektivitas RAG adalah kemampuan penting yang mendorong layanan RAG satu atap ES dari sekadar “melakukan pencarian” menjadi “dapat diverifikasi dan dioptimalkan”. Setelah aplikasi RAG tradisional dirilis, persoalan yang umum muncul jarang berupa ketidakmampuan model dalam menjawab; melainkan seputar apakah konten yang diambil sudah akurat, apakah konteksnya lengkap, apakah jawaban benar-benar merepresentasikan materi sumber, dan bagaimana perbandingan berbagai strategi pencarian — yang sering kali tidak memiliki standar evaluasi yang seragam. Dengan evaluasi efektivitas RAG bawaan, platform dapat melakukan penilaian berkelanjutan pada dimensi seperti tingkat keberhasilan recall, relevansi jawaban, konsistensi faktual, dan keterlacakan sitasi. Hal ini memungkinkan pelanggan dengan cepat mengidentifikasi persoalan seperti “pencarian tidak akurat”, “halusinasi jawaban”, atau “konteks yang hilang”.
Bagi Agent tingkat perusahaan, ini berarti RAG bukan lagi sekadar komponen tanya-jawab pengetahuan, melainkan fondasi pengetahuan perusahaan yang memiliki kemampuan observability, dapat disetel, dan berevolusi secara closed-loop. Sebagai gerbang retrieval pada lapisan Compute Intelligence, ES berkolaborasi dengan TCRay untuk menyelesaikan inferensi RAG, serta terhubung dengan TCLake untuk menyatukan fondasi penyimpanan
Compute Intelligence Bukan Mesin Tertutup, Melainkan Kumpulan Komputasi Bersama
Seluruh mesin di atas mengekspos kemampuannya ke luar melalui berbagai antarmuka — SQL, Python, MCP, Skill, CLI — sehingga dapat langsung dipanggil oleh DataBuddy, WorkBuddy, CodeBuddy, dan platform Agent pihak ketiga. Baik pengguna berupa analis manusia maupun AI Agent, keduanya dapat menggunakan kumpulan antarmuka yang sama untuk mengakses daya komputasi.
Pandangan ke Depan
Ke depannya, pengguna utama platform data akan meluas dari “manusia” menjadi “manusia + Agent”, dengan semakin banyak kueri, analisis, penjadwalan, pelatihan, dan tugas pelaporan yang tidak lagi dipicu secara manual oleh manusia, melainkan dipicu secara otomatis oleh Agent. Hal ini menuntut platform untuk menyediakan antarmuka yang ramah mesin, izin akses yang terkendali, hasil yang dapat dijelaskan, pemanggilan yang dapat diaudit, serta eksekusi yang dapat dipulihkan.
Bersamaan dengan itu, objek komputasi akan meluas dari tabel data terstruktur menjadi data kontekstual multimodal. Semantik teks, konten gambar, klip video, sentimen audio, kemiripan vektor, relasi graf, fitur model, dan memori Agent — semuanya akan masuk ke dalam pipeline komputasi. Platform data harus memiliki kemampuan komputasi lintas modalitas. Lebih jauh lagi, paradigma komputasi akan bergeser dari optimasi mesin tunggal menjadi optimasi pipeline komposit. Satu tugas bisnis dapat secara bersamaan memanggil mesin SQL, mesin komputasi multimodal, pencarian vektor, pencarian full-text, layanan inferensi model, framework pelatihan, dan sistem orkestrasi Agent. Daya saing platform tidak lagi ditentukan oleh skor benchmark satu mesin saja, melainkan oleh efisiensi keseluruhan pipeline.
Tantangan sesungguhnya di zona dalam Data+AI bukanlah apakah sebuah perusahaan telah mengadopsi model besar, melainkan apakah perusahaan tersebut memiliki fondasi data yang mampu memungkinkan Agent untuk terus memahami, menghitung, memanggil, dan mengelola data multimodal secara berkelanjutan. Ke depannya, solusi Tencent Cloud Big Data Compute Intelligence akan terus mengintegrasikan komputasi terstruktur, komputasi multimodal, inferensi model, retrieval RAG, dan orkestrasi Agent ke dalam satu platform tunggal yang dapat dikelola, diawasi, dan terus berevolusi secara berkelanjutan — memberdayakan pengguna untuk secara cepat membangun fondasi komputasi AI-native tingkat perusahaan untuk era Data+AI.
