CPベクトルがOAB に垂直ってことはOAベクトルとOB ベクトルに垂直ってことです
OPベクトルとの内積じゃなくてCPベクトルとaベクトルbべくとるそれぞれの内積が0ってことですよ
そしたら文字２つに式２つで多分溶けると思います
回答
疑問は解決しましたか？
おすすめノート
詳説【数学Ⅰ】第一章 数と式～整式・実数・不等式～
4462
117
詳説【数学Ａ】第２章 確率
3587
26
詳説【数学Ⅰ】第二章 ２次関数（前半）～関数とグラフ～
3180
15
詳説【数学Ａ】第１章 個数の処理（集合・場合の数・順列組合）
3025
46
内積が0っていうのを利用しても解けないんです……、OP=ka+(1-k)bとCPの内積を0ですか？それともOPの置き方が違いますか？