OSS

ビッグデータ分析基盤

【入門】Apache Kafka とは?docker で起動から使い方までを解説

Apache Kafka を学習する上で以下のような疑問が生まれたため、本記事にまとめました。 どんなことができるの?分散ストリーミング処理システムって何?そもそも何に使うのこれ?メッセージキューイングシステムでよくない?どうやって...
ビッグデータ分析基盤

Apache Spark とは【入門】

初めに 本記事は、以下のビッグデータ分析基盤シリーズの Apache Spark 編です。 【ビッグデータ入門1】ビッグデータ分析基盤【ビッグデータ入門2】ストリーム処理【ビッグデータ入門3】fluentd【ビッグデータ入門4...
ビッグデータ分析基盤

【入門】fluentd (td-agent) とは?インストールと使い方

fluentd (td-agent) fluentd (td-agent) とは、ログ収集ソフトウェアです。 アプリケーションや各 IoT 機器のログを1箇所に集約するために利用します。 初めに ...
ビッグデータ分析基盤

【入門】Hadoop とは?MapReduce の使い方やエコシステム一覧

Apache Hadoop Apache Hadoop とは、並列分散処理を実現するミドルウェアです。 「ビッグデータを1台のコンピュータで処理すると時間がかかりすぎるため、コンピューターをいっぱい並べて高速に処...
OSS

【入門】Keycloak + Docker で OIDC の SSO を設定

Keycloak Keycloak とは、SSO (シングルサインオン) 、認証、ユーザー管理を提供する OSS です。 本記事は、SAML や OpenOID Connect (OIDC) を理解したけど、結局...
ツール

【入門】Jupyter Notebook とは?操作方法を解説

Jupyter Notebook Jupyter Notebook とは、ブラウザで1行ごとにコードを実行したり、メモ帳として使える OSS です。 Jupyter Notebook の例 The Jupy...
ツール

【入門】Pandas とは?使い方をわかりやすく解説

Pandas Pandas とは、Python 用のデータ分析ライブラリです。 特に時系列や表形式 (CSV ファイルやデータベースのテーブル) データの操作を得意とします。 初めに 本記事で...
OSS

【入門】Git を初心者向けにわかりやすく解説

Git とは Git とは、バージョン (ファイルの変更履歴) を管理するソフトウェアです。 Git と使うと、簡単に編集前のファイルに戻すことができます。 以下のような混沌としたバージョン管理とはおさらばできます。 ...