X Window啟動權限 - Linux

因為某種特殊需要
(例如：用不同帳號可以各自開啟X Window、Desktop Manager，然後使用VNC)，
我希望一般使用者也有啟動X Window的能力，
也就是能執行/usr/bin/X。
但我發現Ubuntu 9.04是不允許一般使用者啟動X Window。

$ ls -l /usr/bin/X
-rwsr-sr-x 1 root root 10472 2009-04-03 15:44 /usr/bin/X

我想知道為什麼Ubuntu 9.04不允許？

--