失礼な義兄

度々お世話になっております。
ほぼ愚痴になりますがよろしくお願いします。
主人の兄夫婦は他県で医師をしています。
この義兄は小さい頃から自分は天才だと揺るぎない自信がおありだったようで、家族はもちろん、他人の忠告は一切きかないそうなんです。
そのため結婚前からかなり曲者だと主人から聞いていました。
この義兄に結婚式を行うと主人が電話で伝えた際に、出席を断ってきました。
理由は娘のテニスの試合があるから。
が、しばらくしてやっぱり出席すると連絡があり…
主人は無理しないでいいよと念を押しましたが、どうしても出たいと。
そんなやりとりがあってしばらく経ったある朝。
この義兄から主人に、母さんが結婚式の衣装のことで心配してたぞ、お前は自分の結婚式なんだからちゃんと先導してやれと怒りの電話がきて、主人が義母に電話すると、そんなことは一切言っていない、なんでそんな話が出るのかと言われ…
主人は意味がわからんと頭に来ていましたし、私も失礼な奴だなぁと思いました。
で、当日。
神社で朝10時から挙式だったんですが、7時過ぎにこの義兄から義母に電話があり、今名古屋だと。
名古屋から私達の地元までは2時間ほどあります。
結局式には遅れ、神社で厳かに式が執り行われている最中に締め切られた部屋に家族四人で入ってきて、入り口に近い席に着席しました。
入り口側は新婦側の席だったので、義父がこっちだこっちだというジェスチャーをし、その様子が私の方からはよく見えたのでイライラしていました。
そのあとの食事会の時も主人にこの席順には意味があるのか？ないなら変えていいかと、もう準備されていたにも関わらず勝手に席をいじったり、とにかく自分ペースでやりたい放題。
私はこの義兄に終始イライラしどおしで、結婚式が終わった後主人にはっきり言いました。
あなたの両親とは仲良くやっていこうとは思っているけど、あなたの兄とは仲良くできる自信がないと。
（彼らは一年に最低でも二回は帰省してきます）
大胆発言ではありますが、事情を知っている私の家族や友人はむしろ距離を置けと言っています。
皆さんだったらこの義兄、許せますか？
また、今後はどのような感じでお付き合いしますか？
ご意見をよろしくお願いします。