どうすればいいのでしょうか

先日、旦那が仕事終わりに会社の人と飲みに行っている時に私の母から"明日アウトレット行くけど行く？"とlineがあり、私は特にこれ！といってなかったのですが、旦那にも聞いてみよあと思い聞いたところ買いたいものがあるとのことだったので、娘もまだ2歳で正直買い物は人数がいたほうが助かるのでありがたいため連れて行ってもらうことにしました。
10時ごろ迎えに行くねとlineがあり、その時間を旦那に伝え忘れて自分は寝てしまい当日になってしまいました。朝起きて用意をしていたら娘が起きて泣いていたため寝室に向かうと旦那が手だけ伸ばしていた姿をみてそれにイラッときてしまいました。
その時は二日酔いだしまぁいっかで終わらせましたが、その後起きてきて、用意もせずもっかいねるといい寝室で寝ていて、着替えてねといっても着替えず、母から準備できたら行くよとlineが入ってしまったため、まだ準備できてないと送りましたが母たちが到着。
旦那にもきちゃったから用意してといいましたが、こんな早いって聞いてない、俺行かないってなり、折角だし行こうよと言いましたが、娘を午前寝させてから行くんだと思ってたと言われ、少し距離あるとこにお出かけだし午前寝は今日はしなさそうだし早く行って早く帰ってこようといいましたが、知らないし俺行かないよとなり、それにもイライラしてしまい、後から文句言わないでよっといって出かけました。
欲しいと言っていたサンダルをお土産に買い、旦那に何時の帰りとは言わずに帰宅しました。
すると旦那はこんなに遅くなるとか聞いてないし連絡なんでしなかったのと言われました。
帰宅は16時でした。
娘は買い物中に寝たためその分買い物も長引き、遅くなってしまいました。
ただ旦那に連絡しよーとしていたときにはもう15時くらいだったし、朝の出来事が腑に落ちずもやもやいらいらしていたためもういいや！という感じでした。
旦那には平日も残業あったら連絡して遊びから帰る時連絡して！と言っていたためお互い連絡は約束みたいな感じでした。私は専業主婦なので夜遊びにも行かないので普段連絡はしないのでその時もその感覚でいてしまいました。