仮想86モード（Livingdeadさんは理解していると思いますが、知らない方のために念のために書いておくと、仮想86モードはプロテクトモード内に含まれるサブモードのひとつです）が遅いのはそのとおりだと思います。割り込みが発生した際にリング遷移が起こったり、I/OポートアクセスごとにTSS32のテーブルを確認したり、アドレス変換のためにページテーブルを見たりといった要因も関連しているでしょう（もちろん、これは仮想86モードがプロテクトモードで動くリング０の管理下にある１つのタスクでしかないからこういう設計になっているわけで、無駄なことではありません）。