PC-A - ルーター - PC-Bの構成があったとして、
でESPにより暗号化されたパケットの送受信を行うとします。
PC-Aから送信されたパケットは、PC-B側では、
IPヘッダ(L3層？)→ペイロード(L7層？) の順番で見られるのでしょうか？
それともその逆でしょうか？

IPパケットの処理はL3層のIPヘッダから行われます。
暗号、平文どちらも共通で、まずL3から読み込まなくては宛先がPC-B宛だと認識出来ません。(厳密には様々な処理が存在しますが、ご質問にあるように真っ先に中身であるペイロードから読み込まれ処理される事はないです。)
PC-Bにたどり着いたパケットは同じくL3のIPヘッダを取り外された後に、中身が処理されます。

また現場での多くのケースはルータがもう一台あり、
PC-A - ルータA - ルータB - PC-B となり、
ルータ間で暗号/復号化されており、PCからすると平文のやりとりとなるケースが多いです。