Ответ на вопрос
Теорема (общий критерий). Пусть задан простой четырёхугольник \(ABCD\) (выпуклый или невыпуклый). Тогда его можно разрезать прямой линией на два треугольника тогда и только тогда, когда существует диагональ (линия, соединяющая противоположные вершины), лежащая внутри четырёхугольника, для которой расстояния от двух остальных вершин до этой диагонали равны по модулю. Эквивалентно, для диагонали \(AC\) имеет место
\[
\operatorname{dist}(B,AC)=\operatorname{dist}(D,AC),
\]
а для диагонали \(BD\) аналогичное условие с \(A\) и \(C\).
Доказательство.
1) Необходимость: пусть некоторый отрезок \(PQ\) (часть прямой) разбивает четырёхугольник на два треугольника. Концы \(P,Q\) лежат на границе четырёхугольника. Если один из концов лежал бы внутри стороны (не в вершине), то вдоль границы между \(P\) и \(Q\) содержалось бы как минимум ещё одна вершина четырёхугольника, и одна из частей имела бы не менее чем \(4\) вершины, то есть не была бы треугольником. Следовательно оба конца \(P,Q\) совпадают с вершинами исходного четырёхугольника. Они не могут быть соседними вершинами (это сторона многоугольника), значит они — противоположные вершины, т.е. \(PQ\) есть диагональ. Таким образом любой разделяющий отрезок обязательно является диагональю.
2) Условие равенства площадей при разрезе диагональю: пусть диагональ \(AC\) лежит внутри четырёхугольника; она делит фигуру на треугольники \(ABC\) и \(CDA\). Площадь треугольника с одной и той же базой \(AC\) пропорциональна высоте вершины к этой базе, поэтому
\[
[S_{ABC}=S_{CDA}] \iff \tfrac12|AC|\cdot \operatorname{dist}(B,AC)=\tfrac12|AC|\cdot \operatorname{dist}(D,AC).
\]
Так как \(|AC|>0\), получаем эквивалентно
\[
\operatorname{dist}(B,AC)=\operatorname{dist}(D,AC).
\]
Аналогично для диагонали \(BD\):
\[
S_{ABD}=S_{BCD} \iff \operatorname{dist}(A,BD)=\operatorname{dist}(C,BD).
\]
В координатной форме для диагонали \(AC\) это равносильно равенству модулей ориентированных площадей
\[
\big|\det(C-A,\;B-A)\big|=\big|\det(C-A,\;D-A)\big|.
\]
3) Выпуклая и невыпуклая ситуации:
- Для выпуклого четырёхугольника обе диагонали лежат внутри, поэтому возможен разрез любой диагональю, удовлетворяющей условию равных расстояний (возможно обе диагонали дают равные площади, возможно ни одна).
- Для невыпуклого (вогнутого) четырёхугольника ровно одна диагональ лежит внутри; только она может разрезать фигуру на два треугольника, следовательно необходима и достаточна проверка равенства расстояний для этой единственной диагонали. (Если вогнутая вершина лежит по одну сторону от диагонали так, что высоты имеют противоположные знаки, берём модуль расстояния.)
Следствие (практическая проверка). В координатах \(A(x_1,y_1),\;B(x_2,y_2),\;C(x_3,y_3),\;D(x_4,y_4)\) проверку для диагонали \(AC\) можно записать как
\[
\big|(x_3-x_1)(y_2-y_1)-(y_3-y_1)(x_2-x_1)\big|=\big|(x_3-x_1)(y_4-y_1)-(y_3-y_1)(x_4-x_1)\big|.
\]
Таким образом критерий: возможен разрез на два равновеликих треугольника тогда и только тогда, когда одна из диагоналей лежит внутри четырёхугольника и расстояния от двух оставшихся вершин до этой диагонали равны по модулю.
Еще