Расклад такой: растворимость при +20оС для Ca(H2PO4)2 15 г/л. Это соответствует 12,5-12,6 г/л ортофосфорной.
Чтобы не произошло замедления растворения накипи по мере срабатывания кислоты, надобно чтобы в растворе оставалась недиссоциированная кислота, это соответствует 0,7-0,8 г/л ортофосфорной. Таким образом оптимальная концентрация 13,3 г/л - ниже этой концентрации замедлится растворение, а избыток над этой концентрацией будет попросту вылит в канализацию.
Продажная 65% ортофосфорная имеет плотность 1,476 г/л - то есть содержит 960 г/л ортофосфорной. Для получения 13,3 г/л оную надо рабавить 71-кратным объёмом воды, иначе говоря 65% ортофосфорку лить 14 мл/л.
Если же вы будете кипятить кислоту в процессе растворения, то можно работать и при существенно больших концентрациях, причём ржавчина вместо преобразования уже будет заметно растворятся, вот только при этом раствор потребуется уже сливать в горячем виде.
Так что при комнатной температуре разбавляйте 70-кратным объёмом, а если будете доводить до кипения, то пожалуй и разбавление тройным объёмом по совету Бродяги будет к месту при массивных отложениях. И ещё: полностью сработавшаяся ортофосфорная превращается в другое полезное вещество - насыщенный раствор удобрения - двойного суперфосфата.