日本人にとっては、人口減少よりもむしろ問題なのは「俺が増やす分お前らが減れ」と言う奴が出てきたときにどうするかって点ですよ。
世界中の人が人口を制限しましょう、と出来れば問題ないですが、うちの子が可愛い地球の資源が足りないなら汚らわしいｘｘ人（ｘｘにはあなたの嫌いな人種や思想を入れてね！）が死ね、と思う人が何十億人単位で居てもおかしくないですよね。
それが日頃から先進国に搾取されている、我々だって豊かになる権利がある、とか思ってる人ならなおさら。

そうなったとき、殺されたり奪われたりしないようどうにか手を打たなければなりません。
仮に日本国内はエコで自給自足が可能になっても、だから安全、問題ないとは限らないのです。