Es un protocolo que permite abrir un shell en una máquina remota, encriptando toda la información que viaja por la red utilizando criptografía híbrida.

Permite manejar por completo el VPS mediante un intérprete de comandos,

Además de la conexión a otros dispositivos, SSH nos permite copiar datos de forma segura (tanto ficheros sueltos como simular sesiones FTP cifradas), gestionar claves RSA para no escribir claves al conectar a los dispositivos y pasar los datos de cualquier otra aplicación por un canal seguro tunelizado mediante SSH.

Más información en SSH Wikipedia.

Para conectar te vía ssh:

en tu línea de comandos (si tienes windows, puedes usar por ejemplo putty), pones:

ssh -l root xxx.xxx.xxx.xxx

y la tecla "intro".

donde xxx.xxx.xxx.xxx es el ip de tu vps.