ビッグデータ分析基盤【入門】Apache Kafka とは？docker で起動から使い方までを解説
Apache Kafka を学習する上で以下のような疑問が生まれたため、本記事にまとめました。 どんなことができるの？分散ストリーミング処理システムって何？そもそも何に使うのこれ？メッセージキューイングシステムでよくない？どうやって...
OSS
ビッグデータ分析基盤
ビッグデータ分析基盤Apache Spark とは【入門】
初めに 本記事は、以下のビッグデータ分析基盤シリーズの Apache Spark 編です。 【ビッグデータ入門１】ビッグデータ分析基盤【ビッグデータ入門２】ストリーム処理【ビッグデータ入門３】fluentd【ビッグデータ入門４...
ビッグデータ分析基盤【入門】fluentd (td-agent) とは？インストールと使い方
fluentd (td-agent) fluentd (td-agent) とは、ログ収集ソフトウェアです。 アプリケーションや各 IoT 機器のログを１箇所に集約するために利用します。 初めに ...
ビッグデータ分析基盤【入門】Hadoop とは？MapReduce の使い方やエコシステム一覧
Apache Hadoop Apache Hadoop とは、並列分散処理を実現するミドルウェアです。 「ビッグデータを１台のコンピュータで処理すると時間がかかりすぎるため、コンピューターをいっぱい並べて高速に処...
OSS【入門】Keycloak + Docker で OIDC の SSO を設定
Keycloak Keycloak とは、SSO (シングルサインオン) 、認証、ユーザー管理を提供する OSS です。 本記事は、SAML や OpenOID Connect (OIDC) を理解したけど、結局...
ツール【入門】Jupyter Notebook とは？操作方法を解説
Jupyter Notebook Jupyter Notebook とは、ブラウザで１行ごとにコードを実行したり、メモ帳として使える OSS です。 Jupyter Notebook の例 The Jupy...
ツール【入門】Pandas とは？使い方をわかりやすく解説
Pandas Pandas とは、Python 用のデータ分析ライブラリです。 特に時系列や表形式 (CSV ファイルやデータベースのテーブル) データの操作を得意とします。 初めに 本記事で...
OSS【入門】Git を初心者向けにわかりやすく解説
Git とは Git とは、バージョン (ファイルの変更履歴) を管理するソフトウェアです。 Git と使うと、簡単に編集前のファイルに戻すことができます。 以下のような混沌としたバージョン管理とはおさらばできます。 ...