Ответ на вопрос
Коротко, но по делу: какие методы корпусной лингвистики применимы для анализа изменения частотности слова «gay» в XX веке, как их реализовать и какие выводы можно получить.
1) Корпусы и подготовка данных
- Выбор корпусов: диахронные корпуса (COHA, Google Books Ngrams, British National Corpus / historical subsets, корпус газет/журналов, локальные архивы). Учитывать жанр, регион, OCR-ошибки и покрытие по годам.
- Предобработка: нормализация (нижний регистр или сохранение капитализации), токенизация, лемматизация/POS-тегинг. Для «gay» важно учитывать формы и омонимию.
- Контроль за составом корпуса: вычислять частоты по жанрам/источникам отдельно или включать их как ковариаты.
2) Базовые частотные метрики
- Абсолютная частота: \(\text{count}_t\).
- Нормализованная частота (например, на миллион токенов):
\[
\text{freq}_t = \frac{\text{count}_t}{\text{total\_tokens}_t}\times 10^6.
\]
- Десяти-/пятилетние бины для сглаживания шума при редких событиях.
3) Статистическое моделирование временных рядов частот
- Модели для счётных данных: Poisson/Negative Binomial GLM с учётом размера корпуса:
\[
\text{count}_t \sim \mathrm{Poisson}(N_t\lambda_t),\qquad \log\lambda_t = \beta_0+\beta_1 t.
\]
- Логистическая модель для «волны» распространения значения:
\[
f(t)=\frac{L}{1+e^{-k(t-t_0)}}.
\]
- Непараметрические подходы: GAM (Generalized Additive Models) для нелинейных трендов; методы обнаружения точек перелома (change-point, CUSUM, Bayesian change-point).
- Оценка значимости тренда: бутстрэп, permutation tests.
4) Анализ семантических сдвигов (чтобы отличить рост/падение разных значений слова)
- Коллокации и ассоциаты: PMI, log-likelihood для соседних слов по периоду; позволяет увидеть смещение контекстов (ранние коллокации: merry, bright, а поздние: homosexual, lesbian, pride).
- Конкордансы и ручная/полуавтоматическая аннотация выборок контекстов — золотой стандарт для оценки распределения значений.
- Диаchronные распределительные семантические модели:
- Выравниваемые векторы (aligned word2vec): сравнение векторов по декадам; мера смещения:
\[
\cos(\mathbf{v}_t,\mathbf{v}_{t'})=\frac{\mathbf{v}_t\cdot\mathbf{v}_{t'}}{\|\mathbf{v}_t\|\|\mathbf{v}_{t'}\|}.
\]
- Temporal embeddings, Dynamic Bernoulli/skip-gram, Temporal Random Indexing.
- Изменение соседей (nearest neighbors) как индикатор смены смысла.
- Классификация контекстов: обучить классификатор (SVM/NN) на размеченных контекстах «старое/новое значение», затем оценить временную долю смысла:
\[
\hat p_{sense,t}=\frac{1}{N_t}\sum_{i=1}^{N_t} p_{i,sense}.
\]
5) Практические шаги — минимальный пайплайн
- Собрать корпуса, разбить по годам/декам, очистить OCR.
- Вычислить нормализованные частоты по периоду и жанрам.
- Выполнить коллокационный анализ по периодам.
- Построить диахронные эмбеддинги и измерить косинусное смещение; дополнительно ручная аннотация случайных контекстов по периодам и обучение классификатора для оценки доли смысла.
- Смоделировать частотный ряд (GLM/GAM), проверить точки перелома и сопоставить с историческими событиями (напр., сексуальная революция, правозащитные движения).
6) Ограничения и ловушки
- Google Ngrams даёт частоты без контекста — опасно для полисемичных слов.
- Изменение корпуса по жанрам/региону может давать артефакты; нужно стратифицировать данные.
- Низкая частота в ранние периоды снижает статистическую надёжность.
- OCR/орфографические варианты и капитализация могут искажать результаты.
7) Ожидаемые выводы для «gay» в XX веке (что обычно получают исследования)
- Ранняя часть XX века: основное значение «весёлый, беспечный»; умеренные частоты в художественной и разговорной лексике.
- С середины XX века (особенно с 1950–1970-х): рост использования в смысле «гомосексуальный» — сначала в медицинской/журналистской лексике, затем в общественной и быт. речи.
- Переходный период, когда оба смысла сосуществуют (полисемия), с постепенным сокращением старого значения в письменных источниках.
- Темп роста и точка перелома зависят от корпуса (US vs UK, художественная проза vs газеты).
- Коллокации и эмбеддинги подтверждают семантический сдвиг: соседями становятся слова из сексуальной семантики; косинусное сходство с вектором «merry» падает, с вектором «homosexual/pride» растёт.
- Качественная интерпретация: смена отражает социальные и политические изменения (видимость ЛГБТ, медицинская дискурсивная смена, право/идентичность), а не просто лексический всплеск.
Короткое резюме: для надёжного анализа нужно сочетать нормализованную частотную статистику, коллокационный анализ, диахронные эмбеддинги и ручную аннотацию/классификацию контекстов, а также моделирование временных рядов с контролем за составом корпуса; такое сочетание позволяет не только зафиксировать рост/падение частот, но и количественно описать и датировать смену значений слова «gay».
Еще