CentOSには結構な数のパッケージが標準で用意されていますが、それでも足りないパッケージはあります。
ソースを持ってきてコンパイルするのも面倒って時は、EPEL(Extra Packages for Enterprise Linux)RepoForgeのリポジトリを追加すると便利です。
追加方法は簡単で、次のコマンドで追加できます。

CentOS6の場合
yum install http://ftp.iij.ad.jp/pub/linux/fedora/epel/6/i386/epel-release-6-8.noarch.rpm
yum install http://pkgs.repoforge.org/rpmforge-release/rpmforge-release-0.5.3-1.el6.rf.x86_64.rpm
※CentOS6以外は上記の公式HPにOS毎の*-releaseファイルへのリンクがあるので、そちらを参照してください。

これでEPELやRepoForgeからパッケージをyumコマンドで追加できるようになりましたが、このままだと標準のパッケージを追加したいのに不用意にパッケージを追加してしまう可能性があります。
このため、
vi /etc/yum.repos.d/epel.repo
vi /etc/yum.repos.d/rpmforge.repo
上記のファイルをそれぞれ開いて
enabled=1
となっている箇所を
enabled=0
に変更しておきます。
これで、yumを使っても勝手にインストールされることは無くなりました。

もし、EPELやRepoForgeからパッケージを追加したくなった時は、
yum install パッケージ名 --enablerepo=epel,rpmforge
とenablerepoを付ければ一時的に指定したリポジトリが有効になります。