✨ ベストアンサー ✨
この文を二つに分けると
This is the pen.
Dazai wrote the novel with pen.となります。
この場合の関係代名詞whichは目的格です。
二つ目の文を見てもらうとわかりますが、penは前置詞の目的語になっています。
二つの文を関係代名詞でつなぐ時にwhichになって前に出てくるのですが、その時にwithだけが後ろに残って気持ち悪いですよね。
なので、関係代名詞が前に来るのと同時にwithも前に出てきたと考えてみるといいと思います。