ほげてく

プロトコル

【入門 DHCP プロトコル】 DHCPパケットのシーケンスを説明

DHCP プロトコルとは DHCP プロトコルとは、主に以下の設定情報を自動で設定するためのプロトコルです。・NIC に IP アドレスの割り当て・キャッシュ DNS サーバー・NTP サーバー・デフォルトゲートウェイ(ルーター)・...
ビッグデータ分析基盤

【入門】Apache Hive とは?メタストアや HiveServer を解説

Apache Hive Apache Hive とは、分散ストレージ(Hadoop など) のデータセットに対して、SQL クエリで「読み取り・書き込み・管理」するソフトウェアです。 最初に 本記事は、以下...
ビッグデータ分析基盤

【入門】Apache Kafka とは?docker で起動から使い方までを解説

Apache Kafka を学習する上で以下のような疑問が生まれたため、本記事にまとめました。 どんなことができるの?分散ストリーミング処理システムって何?そもそも何に使うのこれ?メッセージキューイングシステムでよくない?どうやって...
ビッグデータ分析基盤

Apache Spark とは【入門】

初めに 本記事は、以下のビッグデータ分析基盤シリーズの Apache Spark 編です。 【ビッグデータ入門1】ビッグデータ分析基盤【ビッグデータ入門2】ストリーム処理【ビッグデータ入門3】fluentd【ビッグデータ入門4...
ビッグデータ分析基盤

【入門】fluentd (td-agent) とは?インストールと使い方

fluentd (td-agent) fluentd (td-agent) とは、ログ収集ソフトウェアです。 アプリケーションや各 IoT 機器のログを1箇所に集約するために利用します。 初めに ...
ビッグデータ分析基盤

【入門】ストリーム処理とは? OSS のエンジンを紹介

ビッグデータの分析基盤、機械学習を導入するにあたり、「ストリーム処理」という言葉をよく目にするようになりました。 一方で「ストリーム処理」に関する説明が抽象的でイメージが掴みにくいのが実情です。 そこで今回は以下の項目について...
ビッグデータ分析基盤

【入門】Elasticsearch とは?インストールから query の使い方

Elasticsearch Elasticsearch とは、複数のファイルから特定の文字列を検索する分散型エンジンです。 具体的には google 検索や、github のソースコード検索のような全文検索 (後...
ビッグデータ分析基盤

【入門】ビッグデータ分析基盤とは?データパイプラインを構築

ビッグデータ ビッグデータとは、通常のソフトウェアでは処理できないほどの大規模な (テラバイト、ペタバイト、エクサバイト規模の) データのことです。 本記事では、ビッグデータを以下のように可視化、分析することをゴ...
ビッグデータ分析基盤

【入門】Hadoop とは?MapReduce の使い方やエコシステム一覧

Apache Hadoop Apache Hadoop とは、並列分散処理を実現するミドルウェアです。 「ビッグデータを1台のコンピュータで処理すると時間がかかりすぎるため、コンピューターをいっぱい並べて高速に処...
入門

【データベース入門1】データベースとは

本記事はデータベース入門記事のうち第1回「データベースとは」です。 本記事は以下の書籍を参考に執筆しています。 一番初めに読む本 経験者向けの入門本 ...