Первое решение. Будем рядом с каждой парой писать какой-нибудь квадратный трёхчлен, корнями которого являются числа этой пары. Пусть в некоторый момент у мальчиков записаны трёхчлены $p(x)$ и $q(x)$. Тогда они решали уравнение вида $\alpha p(x) = \beta q(x)$, где $\alpha, \beta$ — какие-то ненулевые числа. Значит, полученные числа — корни трёхчлена $\alpha p(x) - \beta q(x)$. Если теперь один из мальчиков заменяет свои числа на эти корни, то можно считать, что рядом с ними будет записан трёхчлен $\alpha p(x) - \beta q(x)$.
Обозначим исходные два трёхчлена $p_0(x) = (x-1)(x-2)$ и $q_0(x) = (x-3)(x-4)$. Из сказанного выше теперь следует, что на каждом шаге у каждого мальчика написан трёхчлен вида $\alpha p_0(x) + \beta q_0(x)$.
Итак, если на Петином листке написано число $5$, то у него записан трёхчлен $a(x-5)(x-x_2) = \alpha(x-1)(x-2)+\beta(x-3)(x-4)$. Подставляя $x = 5$, получаем $12\alpha + 2\beta = 0$, откуда $\alpha(x-1)(x-2)+\beta(x-3)(x-4) = \alpha(-5x^2+39x-70) = -\alpha(x-5)(5x-14)$. Значит, второе число равно $x_2 = \frac{14}{5}$.

Второе решение. Будем вычитать из каждого из чисел в тетрадях по $\frac{5}{2}$. Иначе говоря, мы вводим новую переменную $t = x - \frac{5}{2}$. Тогда первоначальные числа в тетрадях станут равны $-\frac{3}{2}$, $-\frac{1}{2}$ у Пети и $\frac{1}{2}$, $\frac{3}{2}$ у Васи, а трёхчлены $f(x)$ и $g(x)$ заменятся на некоторые трёхчлены $F(t)$ и $G(t)$.
Покажем, что теперь произведение пары чисел в любой тетради будет всегда равно $\frac{3}{4}$. Это выполнено в начальный момент времени. Пусть это верно перед очередной заменой. Согласно теореме Виета, имеем $F(t) = a_1t^2 + b_1t + c_1$, где $\frac{c_1}{a_1} = \frac{3}{4}$, и $G(t) = a_2t^2 + b_2t + c_2$, где $\frac{c_2}{a_2} = \frac{3}{4}$. Новая пара чисел $t_1$ и $t_2$ — это пара корней уравнения $F(t) = G(t)$, то есть $(a_1 - a_2)t^2 + (b_1 - b_2)t + (c_1 - c_2) = 0$. Опять по теореме Виета получаем
$$t_1t_2 = \frac{c_1 - c_2}{a_1 - a_2} = \frac{\frac{3}{4}a_1 - \frac{3}{4}a_2}{a_1 - a_2} = \frac{3}{4},$$
что и требовалось доказать.
Итак, если в некоторый момент одно из Петиных чисел равно $t_1 = 5 - \frac{5}{2} = \frac{5}{2}$, то второе есть $t_2 = \frac{3}{4} : \frac{5}{2} = \frac{3}{10}$, откуда $x_2 = \frac{3}{10} + \frac{5}{2} = \frac{14}{5}$.

Замечание. Описанную ситуацию можно получить даже за один ход, если, например, Петя запишет трёхчлен $x^2 - 3x + 2$, а Вася — трёхчлен $6x^2 - 42x + 72$.