Php-скрипт на одном сайте, а база данных на другом?

По поводу надёжности - согласен. А вот по поводу скорости - далеко не всегда. Часто вынос базы на отдельный mysql сервер только ускоряет работу проекта, когда речь идёт о высоконагруженных системах

В высоконакруженных системах делается кластеризация/масштабирование, а не вынос на отдельный сервер базы. Там несколько другие технологии и подход. А чисто перенос базы на другой сервер всегда будет тормозить систему. Т.к. на формирование и передачу ip пакетов всегда тратится время, я даже не говорю об их фрагментации и потере. А в условиях хостинга и его тормозов скорее повышение лимита памяти/процессора в виртуалке больше поможет чем разнесение.

Не обязательно. Мы говорим лишь о разных методах работы с высоконагруженными системами. Право на жизнь имеют оба способа.
Часто делают так: Базу выносят на отдельный сервер, отдельно апач с кеширующим nginx, перед всем этим haproxy. Статика также выносится на отдельный сервер. Такое также актуально в не совсем легальных проектах. Физически серваки стоят в разных странах. Даже если файловые сервера изъяли - они абсолютно неработоспособны без БД, а при попытке их запустить и подключицца - сервера базы ругнутся ошибкой доступа.
Впрочем, мы и так слишком отошли от темы, поэтому предлагаю дискуссию, если считаете нужным, продолжить в личке.