Debian sid(amd64) on VirtualBox 3.1.4でカーネルパニックが出る件の原因がわかった。仮想マシンのIOAPICが無効になってるかららしい。
# もしくはカーネルパラメータにnoapicとか付ければいいのか？

ついでにインストールもやり直してみた。