AWS、Kafka Connectクラスタの管理を容易にする「MSK Connect」の提供を開始[小嶋秀治コジーの今週気になるＤＸニュースVOL20210920-01]

米Amazon Web Servicesは、Kafka Connectクラスタの管理を容易にする新機能「MSK Connect」の提供を、9月16日（現地時間）に発表した。Kafka Connectは、リアルタイムのストリーミングデータパイプラインとアプリケーションを構築するためのオープンソースプラットフォーム「Apache Kafka」のオープンソースコンポーネントであり、データベース、Key-Valueストア、検索インデックス、ファイルシステムなどの外部システムに接続するためのフレームワークを提供する。ただし、Kafka Connectクラスタを手動で実行するには、必要なインフラストラクチャを計画およびプロビジョニングし、クラスタ操作を処理して、負荷の変化に応じてスケーリングする必要があった。今回、発表されたMSK Connectを使用すれば、数回クリックするだけでKafka Connectを使用してコネクタを構成およびデプロイできる。必要なリソースをプロビジョニングし、クラスタをセットアップするとともに、コネクタの健全性と配信状態を継続的に監視して、基盤となるハードウェアにパッチを適用して管理し、スループットの変化に合わせてコネクタを自動スケーリングしてくれる。MSK Connectは、Kafka Connectと完全な互換性があり、コードを変更することなく、既存のコネクタへの接続が可能で、使用にあたってMSKクラスタは必要ない。ソースおよびシンクは、Amazon MSK、Apache Kafka、Apache Kafka互換クラスタをサポートしている。なお、MSK Connectはアジアパシフィック（ムンバイ、ソウル、シンガポール、シドニー、東京）、カナダ（中部）、EU（フランクフルト、アイルランド、ロンドン、パリ、ストックホルム）、南米（サンパウロ）、米国東部（バージニア北部、オハイオ）、米国西部（北カリフォルニア、オレゴン）の各リージョンで使用できる。https://codezine.jp/article/detail/14900