主賓の上司について

来月挙式で、今、主賓の上司についてモヤモヤしています。
どのように気持ちを切り替えればいいのか。
皆様の意見をご意見いただけるとうれしいです。

わたしの課は私一人だけで部長が課長を兼務という形になっているため、直属の上司は部長になります。

直属といっても、私は事務員で所属はありますが他の部署も合わせたフロア全体を担当しているため、その部長との関係は濃くなく、全く会話を交わさない日もあるくらいです。

部長に式への出席のお願いをした際、私側の主賓として乾杯の挨拶もお願いしたところ、嫌そうな顔をされてしまいました。冗談かもしれませんが、俺じゃなきゃだめなの？とか言われ傷つきましたが、その場は一応OKという形で終わりました。

招待状を送る時にもう一度、ご招待していいか伺った際には、場所の確認など前回よりは前向きな反応で、スピーチもするつもりのような感じ、招待状をお渡しして良いとの返答でしたので正式に主賓としてご招待しました。

先日返信はがきの期日でしたが、部長からの返信がきておらず、本日会社で確認したところ、「あれ？送ってなかったっけ？送っておきます」「今さら断れないしね」と。わたしも上手い反応ができず「大丈夫ですか？」と聞いてしまい、部長からは「今のところ予定は空いてるから。ハガキ送っておきます」という感じで会話は終了しました。

部長が私の結婚式への参加をめんどくさい、挨拶も嫌がっているのは分かっています。正直私に大した思い入れもないと思いますし。。でも、きっと立場上断るわけにもいかず、当日も嫌々来てくれるのだと思います。
わたしも、本当は上司を呼びたくなかったですが、新郎側とのバランスや仲良くしている同僚の方を招待するため、礼儀として部長をお呼びした感じです。

部長への申し訳ない気持ち、そんなに嫌なら断ってもらってもいいのに…という気持ちが強くなっています。でも、一度招待してしまった以上、こちらから辞退を申し出るなんてできないですよね？きっと、部長もその方が嬉しいはずですが。

割りきって、部長には仕事の一貫として予定通り来ていただくことになると思いますが、1ヶ月前にしてなんだか憂鬱です。。。
このモヤモヤをどう自分の中で処理したらいいのか。ぜひ、アドバイスお願いいたします。