Velox オープンソース プロジェクトに特化したプレミア開発者カンファレンスである VeloxCon 2024 では、業界のリーダー、エンジニア、愛好家が一堂に会し、データ管理の未来を形作る最新の進歩と共同作業について検討しました。IBM® が Meta と提携して主催した VeloxCon では、プロジェクト ロードマップ、Prestissimo (Presto-on-Velox)、Gluten (Spark-on-Velox)、ハードウェア アクセラレーションなど、Velox の最新のイノベーションが紹介されました。
Velox は、Meta が構築し、オープンソース化した統合実行エンジンで、データ管理システムの高速化と開発の効率化を目的としています。Velox の最大の利点の 1 つは、データ管理システムを統合および統合するため、エンジンを何度も書き直す必要がないことです。現在、Velox は、Presto (Prestissimo)、Spark (Gluten)、PyTorch (TorchArrow)、Apache Arrow など、いくつかのデータ システムとの統合のさまざまな段階にあります。Velox が構築された理由の詳細については、Meta のエンジニアリング ブログをご覧ください。
Presto は、IBM のオープン データ レイクハウス プラットフォームである watsonx.data のエンジンです。過去 1 年間、IBM では Velox for Presto (Prestissimo) の発展に尽力してきました。Presto Java ワーカーは、Velox に基づく C++ プロセスに置き換えられています。現在、Prestissimo プロジェクトには複数のコミッターがおり、Meta と緊密に連携しながら Presto 2.0 の構築に取り組んでいます。
Prestissimo の主な利点は次のとおりです。
今年は、Prestissimo で次のようなさらに多くのことを行う予定です。
私たちは Meta と緊密に協力して VeloxCon 2024 を開催しました。これは素晴らしいコミュニティ イベントでした。2 日間にわたって、Meta、IBM、Pinterest、Intel、Microsoft などの講演者が、現在取り組んでいることや Velox のビジョンについて語りました。
カンファレンスは、Meta のセッションで幕を開けました。Amit Purohit 氏は、Meta のオープンソースとコミュニティ コラボレーションへの取り組みを再確認しました。Pedro Pedreira 氏は、Manos Karpathiotakis 氏と Deblina Gupta 氏とともに、データ管理におけるコンポーザビリティの概念を詳しく解説し、Velox の汎用性と Arrow との連携を紹介しました。
Meta の Amit Dutta 氏は、Meta における Prestissimo のバッチ効率について説明し、データ処理ワークフローの最適化における進歩について説明しました。IBM のデータ & AI ソフトウェア担当副社長 Remus Lazar 氏は、IBM 内での Velox の歩みと将来のビジョンについて発表しました。続いて IBM の Aditi Pandit 氏が、IBM における Prestissimo の統合について説明し、機能強化と将来の計画について強調しました。
午後のセッションも同様に有意義なもので、Meta の Jimmy Lu 氏が Velox の最新の最適化と機能を発表しました。一方、Intel の Binwei Yang 氏は、Velox と Apache Gluten プロジェクトの統合について説明し、その世界的な影響を強調しました。Pinterest と Microsoft のエンジニアは、Velox と Gluten を使用してデータ クエリのパフォーマンスを解き放った経験を共有し、目に見えるパフォーマンスの向上を示しました。
この日は、Xiaoxuan Meng による Velox のメモリ管理に関する Meta のセッションと、Wei He による新しいシンプルな集約関数インターフェースの紹介で終了しました。
2 日目は、Velox の共同作成者である Orri Erling 氏の基調講演で始まりました。同氏は、Velox Wave と Accelerators に関する洞察を共有し、その高速化の可能性を示しました。NeuroBlade の Krishna Maheshwari 氏は、Velox コミュニティとのコラボレーションを強調し、NeuroBlade の SPU (SQL Processing Unit) と、それが Velox の計算速度と効率に及ぼす変革的な影響について紹介しました。
Rivos の Sergei Lewis 氏は、作業をアクセラレータにオフロードして Velox のパイプラインのパフォーマンスを向上させる可能性について説明しました。Voltron Data の William Malpica 氏と Amin Aramoon 氏は、CPU バックエンドとして Velox を使用する、構成可能でスケーラブルな分散データ分析エンジン Theseus を紹介しました。
Meta の Yoav Helfman 氏は、データの保存と検索を強化するために設計された最先端の列指向ファイル形式である Nimble を発表しました。Meta の Pedro Pedreira 氏と Sridhar Anumandla 氏は、Velox の新しい技術ガバナンス モデルについて詳しく説明し、プロジェクトの開発の持続可能性を導く上での重要性を強調しました。
この日は、IBM の Deepak Majeti 氏による Velox の I/O 最適化、ComputeAI の Vikram Joshi 氏による Out-Of-Memory (OOM) によるキルを防ぐための戦略、Deepak Majeti 氏による Velox アプリケーションのデバッグに関する実践的なデモなどのセッションも行われました。
VeloxCon 2024 は、Velox プロジェクトを取り巻く活気あるエコシステムの証であり、画期的なイノベーションを紹介し、業界のリーダーと開発者のコラボレーションを促進しました。このカンファレンスは、参加者に貴重な洞察、実用的な知識、ネットワーキングの機会を提供し、データ管理エコシステムにおける主要なオープンソース プロジェクトとしての Velox の地位を固めました。
さらに詳しく知り、Velox コミュニティに参加することに興味がある場合は、次のリソースを参考にしてください。
私たちは引き続きデータ管理の限界を押し広げ、共にイノベーションを加速させていきますので、Velox コミュニティからの最新情報や開発にご注目ください。
4 分間読む – AI に対する人間中心のアプローチでは、倫理的な慣行を採用し、持続可能性の必須事項に対処しながら、AI の機能を向上する必要があります。
12 分で読めます – 汎用人工知能 (AGI) の可能性は、人間の生活と仕事のほぼすべての側面に革命をもたらす可能性があります。
4 分間読む – 生成 AI テクノロジーが製造業のデジタル化の取り組みを大幅に加速する 4 つの方法を探ります。
3 分で読む – レコーディング アカデミーは、グラミー賞®を通じて、レコーディング アートおよび科学における卓越性を認め、音楽が私たちの文化の消えることのない一部であり続けるよう努めています。世界のトップ レコーディング スターが第 66 回グラミー賞のレッド カーペットを歩くとき、IBM は再びそこにいます。今年、グラミー賞が直面したビジネス上の課題は、他の象徴的な文化スポーツやエンターテイメント イベントの課題と似ています。今日の非常に細分化されたメディア環境では、文化的なインパクトを生み出すには、魅力的なコンテンツを推進する必要があります…
6 分で読む – 人工知能 (AI) をどのように、どこで、いつ使用するかをしっかりと把握している組織は、コンテンツ生成、タスク自動化、コード作成、大規模分類、高密度または複雑なドキュメントの要約、情報抽出、IT セキュリティ最適化など、さまざまな AI ベースの機能を活用できます。医療、ホスピタリティ、金融、製造など、あらゆる業界で AI の有益な使用例は事実上無限です。しかし、AI の実装はパズルの 1 ピースにすぎません。効率的で…
4 分で読む – ファンタジー フットボールをプレイするなら、データに基づく意思決定はおなじみです。フットボール シーズン中は毎週、推定 6,000 万人のアメリカ人が選手の統計、ポイント予測、トレード提案をじっくりと調べ、選手の編成を決定し、勝利に導くためのとらえどころのない洞察を求めています。しかし、数字は物語の半分しか語っていません。過去 7 年間、ESPN は IBM と緊密に連携して、物語のすべてを明らかにしてきました。そして今年、ESPN ファンタジー フットボールは AI モデルを使用しています…
元記事: https://translate.google.com/translate?sl=auto&tl=ja&hl=ja&u=https://www.ibm.com/blog/veloxcon-2024-innovation-in-data-management/