Ubuntu下Apache2開不了UserDir - Linux

我想把網站設定在/home底下的使用者資料夾中
我照教學在資料夾裡新增了public_html，確定/etc/apache2/mods-enabled
裡面有userdir.conf和load兩個連結，也有reload和restart過apache
然後開啟localhost/~username/ ...

Forbidden

You don't have permission to access /~username/ on this server.

請問還有可能是什麼的問題？
（這其實是簡化過的狀況，我本來想在User資料夾下新增VirtualHost
結果一直Forbidden，把site刪除掉再試驗才發現基本的userdir功能都沒辦法開）

--