Покажем, что система не будет иметь решений при $a = 8$, $b = 13$. Действительно, из уравнений системы вытекает, что
$$13x + ay = \frac{\pi}{2} + \pi k, \quad 21x + by = \frac{\pi}{2} + \pi \ell$$
при целых $k$ и $\ell$. Отсюда следует
$$(21a - 13b)y = 21(13x + ay) - 13(21x + by) = \pi(4 + 21k - 13\ell).$$
При $a = 8, b = 13$ получаем $y = (13\ell - 21k - 4)\pi$, а значит,
$\tan(ay) = 0$. Поэтому первое уравнение системы не может выполняться.

Замечание. Числа $a$ и $b$ такие, что $|21a - 13b| = 1$, можно найти, применив алгоритм Евклида к паре взаимно простых чисел $(21, 13)$. На самом деле, в условии задачи можно заменить числа $21$ и $13$ на любую пару взаимно простых чисел, и ответ не изменится. Можно также заметить, что $13$ и $21$ — последовательные числа Фибоначчи, поэтому равенство $|21 \cdot 8 - 13 \cdot 13| = 1$ является частным случаем общего факта $|F_{n+1}F_{n-1} - F_n^2| = 1$.