ビッグデータ分析 【入門】ビッグデータ分析基盤とは?データパイプラインを構築 ビッグデータ ビッグデータとは、通常のソフトウェアでは処理できないほどの大規模な (テラバイト、ペタバイト、エクサバイト規模の) データのことです。本記事では、ビッグデータを以下のように可視化、分析することをゴールとします。ビッグデータがス... 2020.08.27 ビッグデータ分析
コンテナ 【入門】Grafana とは?構築や設定方法を説明 Grafana Grafana とは、データソースの可視化やアラートの設定をする OSS です。Grafana はデータソースにクエリを渡すことで、可視化するデータを取得します。利用可能なデータソースの一例は、以下のとおりです。Promet... 2022.05.05 コンテナビッグデータ分析
ビッグデータ分析 【入門】Apache Hive とは?メタストアや HiveServer を解説 Apache Hive Apache Hive とは、分散ストレージ(Hadoop など) のデータセットに対して、SQL クエリで「読み取り・書き込み・管理」するソフトウェアです。最初に本記事は、以下のビッグデータ分析基盤シリーズの「スト... 2020.08.25 Apacheビッグデータ分析
ビッグデータ分析 Apache Spark とは【入門】 初めに本記事は、以下のビッグデータ分析基盤シリーズの Apache Spark 編です。【ビッグデータ入門1】ビッグデータ分析基盤【ビッグデータ入門2】ストリーム処理【ビッグデータ入門3】fluentd【ビッグデータ入門4】Elastics... 2020.08.24 Apacheビッグデータ分析
ビッグデータ分析 【入門】fluentd (td-agent) とは?インストールと使い方 fluentd (td-agent) fluentd (td-agent) とは、ログ収集ソフトウェアです。アプリケーションや各 IoT 機器のログを1箇所に集約するために利用します。初めに本記事は、以下のビッグデータ分析基盤シリーズの f... 2021.01.09 OSSビッグデータ分析