O Otubo publicou um script para converter vídeos para tocar no PSP. Conforme escrevi lá nos comentários, aqui vai o script que encontrei e utilizei em alguns poucos testes que fiz só para ver o PSP tocando vídeos.

O script encodepsp pode ser encontrado aqui.

Uso:

1

encodepsp inputfile outputfile

ou:

1

encodepsp dvd://1 movie.mp4

Andei conversando a respeito, percebi que é possível melhorar alguns parâmetros. Como eu nunca mexi muito com isso, preciso dar uma estudada hehe. Quem sabe em breve consigo algo melhor =) .