ping の最初だけ応答が遅い理由は、ARP で送信先の MAC アドレスを調べているからです。

ARP の仕組み
ARP は送信先の MAC アドレスがわからない時に使います。
ARP は次の 2 段階で IP アドレスから MAC アドレスを取得します。
- ARP リクエスト
- ARP リプライ

ブロードキャストで全員に送る理由は、送信先の MAC アドレスがわからないからです。
ARP リクエストには、主に以下の内容が含まれます。
フィールド | 説明 |
---|---|
送信元 MAC アドレス | 11:22:33:44:55:66 (自分の MAC アドレス) |
送信元 IP アドレス | 192.168.0.1 (自分の IP アドレス) |
送信先 MAC アドレス | 00:00:00:00:00 (不明なので 0 で埋めます) |
送信先 IP アドレス | 192.168.0.2 |
この時、ARP リクエストから送信元の MAC アドレスがわかるので、ユニキャストで返します。
なお、送信先 IP アドレスに、他人の IP アドレスが指定されている場合は無視します。
ARP のまとめ
再掲になりますが、まとめると以下のような動作となります。

ARP リプライを受け取ったホストは、ARP テーブル (送信先 IP アドレスと MAC アドレスの対応表) を更新し、キャッシュします。
ARP のレイヤ (階層)
ARP の OSI 参照モデルの L2 か L3 で諸説ありますが、RFC6820 では L2 (データリンク層) と定義されてます。
Although strictly speaking the scope of address resolution is confined to a single L2 broadcast domain (i.e., ARP runs at the L2 layer below IP)
https://tex2e.github.io/rfc-translater/html/rfc6820.html
最後に
TCP/IP のプロトコル一覧
層 | TCP/IP 階層名 | プロトコル |
---|---|---|
4 | アプリケーション層 | HTTP, DNS, DHCP, SSH, SSL/TLS |
3 | トランスポート層 | TCP, UDP |
2 | インターネット層 | IP, ICMP, IPSec |
1 | ネットワーク インターフェイス層 | イーサネット(有線), IEEE802.11(無線), ARP |