DataEngineのサーバーレス基盤がTrino導入をシンプルに。即時スケールと柔軟性を実現する仕組みを解説します。
VAST DataEngineはリアルタイム処理のためのプログラム可能なコンピュート基盤です。サーバーレストリガー、関数、インプレース処理によりパイプラインを自動化し、大規模に継続的なインサイトを提供します。
VAST DataEngine
リアルタイムに動くデータを支えるコンピュートファブリック
イベント駆動型のコンピュートでデータとAIパイプラインを活性化し、知能をデータに直接もたらします。
課題
既存データ/AIワークフローの限界
DataEngineで複雑なパイプライン管理から解放。AI活用を加速する新しい基盤。
データ置き場の偏り（データグラビティ）
大量データの移動はコスト増と遅延を招きます。 DataEngineは「データのある場所」で処理を行い、無駄な移動をなくして効率を最大化します。
Stop Moving Data
コアテクノロジー
カスタマイズ可能なコンピュート領域でデータを即時活性化
VAST DataEngineはロジックと状態を統合し、ファイル・オブジェクト・テーブルが更新された瞬間にを検知し処理を実行。VAST AI OSの基礎ポートフォリオとして、データをリアルタイムに処理し、取得したデータを止めることなくワークフローへ追加が可能です。
イベントドリブンな分析
With real-time triggers, data changes become instant actions. File and object updates trigger workflows automatically, powering continuous automation and streaming analytics and AI across your data landscape.VAST イベントブローカーについて詳しくサーバーレスなパイソン関数
DataEngine enables lightweight, serverless Python functions that execute directly where your data resides—in stateless containers on CNodes. Replace batch jobs and ETL scripts with custom Python code for real-time, event-powered processing.See How It Works自動オーケストレーションするワークフロー
Automate pipelines across streaming, batch, SQL, and vector workflows from within DataEngine. No external schedulers are needed—just auto-triggered, integrated workflows that keep pace with your data using serverless triggers and functions in VAST.Automate Your AI Pipeline
VASTで動くTrinoとSpark
Powerful, preferred engines, Trino and Spark, run natively on VAST compute nodes (CNodes), maintaining high-speed access to all your data. No data copying, low overhead, and seamless integration with structured and unstructured datasets.詳細を確認する拡張を支えるアーキテクチャ
VAST’s DASE architecture decouples compute from storage while connecting both over NVMe-oF. It delivers parallelism, elastic scaling, near-zero latency, and resilience—providing the foundation for DataEngine.DASEについて詳しくProduct Benefits
Automate, Orchestrate, Accelerate Data Workflows
Build and Automate Any Data Workflow
With VAST Event Broker triggers and serverless Python functions, DataEngine lets you build and automate virtually any workflow. From event detection to enrichment and orchestration, it replaces brittle ETL and schedulers with real-time simplicity.
Flexible Compute Environment for Every Data Workflow
With serverless Python functions and containerized engines, DataEngine provides a programmable, elastic compute fabric. From streaming to batch, SQL to vector, you can design, run, and scale workflows without external orchestration.
VAST Engines Accelerate Workflows from Ingest to Agents
Built on DataEngine, the VAST Engines provide specialized toolkits for automation. InsightEngine enables end-to-end RAG pipelines, AgentEngine orchestrates agentic AI, and SyncEngine simplifies ingest and synchronization—accelerating intelligence across the enterprise.
VASTが提供する：Data Engines
DataEngineに内包される統合的なエージェントサービス
VAST DataEngineは包括的なデータ処理基盤として、AIエージェント実を行うAgentEngine、データ取込と同期を行うSyncEngine、RAGパイプライン自動化をサポートするInsightEngineの3つをプラットフォーム上で稼働させます。
SyncEngine
SyncEngineはファイル・オブジェクト・ストリームの取込と同期を統合。VAST AI OSに迅速にデータを取り込み、分析やAIが一貫して高速に利用できる環境を実現します
SyncEngineについて詳しく
機能の特徴
VAST DataEngineの全貌
自在に拡張できる柔軟なコンピュート
リアルタイムにパイプラインの自動化
拡張可能なアーキテクチャ
サーバーレス関数
軽量Python関数をVAST CNodeで直接実行が可能。イベントをトリガーに自動起動し、補強や変換、ルーティングを実施。ETLや外部スケジューラ不要で、リアルタイムに複雑なデータ、AIパイプラインを構築できます。
イベントトリガー
VAST Event BrokerはKafka互換エンジンで、ファイルやオブジェクトの変化を即時検知。自動でワークフローを起動し、リアルタイムでデータの変化をアクションに変えます。
TrinoとSparkの運用
TrinoとSparkをVAST上でマネージド実行。全データにNVMeで直接アクセスし、外部クラスターやデータコピー不要で高速・シンプルな分析環境を実現します。
インプレース処理
DataEngineはデータのある場所でコンピュートを活用し処理を実行します。データを複製する必要もなく、変換やルーティングを行うだけで、低遅延・低コストでシンプルな運用を実現します。
よくある質問
VAST DataEngineのFAQ
詳細を読む
VAST DataEngineは、サーバーレス環境で動作し、関数やトリガーをAI OSに組み込むことで、データをその場で自律的に処理できる「賢いシステム」へと変える基盤です。
従来のバッチ処理システムとは異なり、DataEngineは継続的かつリアルタイムの処理を可能にし、データの変更をトリガーとしてアクションを引き起こします。これにより、永続的なAIトレーニングと推論の基盤が構築され、組織はデータが保存された瞬間に処理を開始するシステムを構築でき、バッチ処理を待つ必要がなくなります。
DataEngineは、従来のようにデータをイベントバスやデータレイク、AI専用ストレージを行き来させる必要がなく、すべてを一元化されたプラットフォームの中で処理します。データが入った瞬間に関数が自動で動き出し、データの追加や相関をその場で生み出すため、複雑なパイプライン設計や外部ツールは不要になります。
DataEngineはVAST独自のDASEアーキテクチャを基盤としており、世界中に分散したリソース上でサーバーレス関数を実行できます。これにより、すべてのデータへ超高速かつ低遅延でアクセスできます。
一般的なサーバーレスが「クラウドごと・データセンターごと」に閉じているのに対し、DataEngineはエッジからクラウドまでシームレスにまたがり、統合的に機能します。さらに負荷に応じて自動スケールし、真にグローバルな基盤を提供します。
DataEngineは、構造化データと非構造化データを組み合わせ、AIがデータを読み取りやすい形にデータフォーマットを扱います。このフォーマットではコードとトリガーをデータ要素として扱い、関数をグローバルに更新でき、それがすべての依存プロセスに即座に影響を及ぼします。
これにより、推論結果が出るたびに自動でデータ拡張や学習セット更新、モデル改善が回る「自己進化型のAIトレーニングループ」を実現し、人手を介さず継続的に賢くなり続けます。
DataEngineは、ペタバイト級からエクサバイト級までリアルタイム処理を維持して拡張できるよう設計されています。毎秒100万件規模のイベント処理と全データへの並列クエリを同時に実行可能です。
可用性は「6ナイン」（99.9999%）を誇り、データセンター規模でも途切れることなく稼働します。大規模環境の一部が故障しても業務は継続できる強固な設計です。