ビッグデータ分析

ビッグデータ分析

【入門】ビッグデータ分析基盤とは?データパイプラインを構築

ビッグデータ ビッグデータとは、通常のソフトウェアでは処理できないほどの大規模な (テラバイト、ペタバイト、エクサバイト規模の) データのことです。本記事では、ビッグデータを以下のように可視化、分析することをゴールとします。ビッグデータがス...
コンテナ

【入門】Grafana とは?構築や設定方法を説明

Grafana Grafana とは、データソースの可視化やアラートの設定をする OSS です。Grafana はデータソースにクエリを渡すことで、可視化するデータを取得します。利用可能なデータソースの一例は、以下のとおりです。Promet...
ビッグデータ分析

【入門】Apache Hive とは?メタストアや HiveServer を解説

Apache Hive Apache Hive とは、分散ストレージ(Hadoop など) のデータセットに対して、SQL クエリで「読み取り・書き込み・管理」するソフトウェアです。最初に本記事は、以下のビッグデータ分析基盤シリーズの「スト...
ビッグデータ分析

Apache Spark とは【入門】

初めに本記事は、以下のビッグデータ分析基盤シリーズの Apache Spark 編です。【ビッグデータ入門1】ビッグデータ分析基盤【ビッグデータ入門2】ストリーム処理【ビッグデータ入門3】fluentd【ビッグデータ入門4】Elastics...
ビッグデータ分析

【入門】fluentd (td-agent) とは?インストールと使い方

fluentd (td-agent) fluentd (td-agent) とは、ログ収集ソフトウェアです。アプリケーションや各 IoT 機器のログを1箇所に集約するために利用します。初めに本記事は、以下のビッグデータ分析基盤シリーズの f...