продолженте темы: Идея. Усовершенствование поисковой машины

Частотный словарь  термин пример
Тезаурус           термин пример

Список слов (или понятий, словосочетаний), которые могут быть темами для других слов, на первый взгляд, не должен быть слишком большим, можно ограничит его 3-5 тысячами слов. Если это не так, можно составлять отдельные словари по темам. Напимер, "медицина", "космические исследования" и - поехали! Вот подтверждение моих слов - пример ручного составления тезауруса
Чтобы автоматически набрать такой словарь (как его назовём? комбинаторно-тезаурусный?) можно предложить несколько подходов:

• Первый подход. Взять подборку референтных статей, документов, например:
  • а) все школьные, вузовские учебники по теме,
  • б) энциклопедии и словари по теме,
  • в) статьи из научных, профильных журналов
  и составить частотный словрь всех встретившихся слов. Наиболее часто встретившиеся слова объявить подтемами, вручную проверить подтемы и определить подтемы, которые описываются не словами, а фразами. Далее для каждого слова из референтной подборки посчитать частоту его встречаемости в теме и подтемах и поделить на частоту встречаемости слова из общего частотного словаря. Величины, большие единицы зафиксировать в нашем комбинаторно-тезаурусном словаре, остальные отбросить.
• Второй подход. Организовать в существующей поисковой системе специальный режим:
  • - авторизованный вход для специалистов
  • - специалист должен объявить (выбрать из списка) круг тем, которыми он занимается
  • - по результатам каждого поиска специалист по прочитанной им статье отчитывается, а именно называет (выбирает) темы, к которым статья относится. Далее статья включается в список референтных статей по теме и обрабатывается также, как в первом случае.
    Специалисты, разумеется, всё делают добровольно, руководствуясь желанием облегчить себе жизнь при дальнейшем поиске материалов по своей теме. Им присваивается рейтинг по степени соответсвия их оценок усреднённой оценке, наиболее активным и успешным по желанию администрации поисковой системы могут через WebMoney выплачиваться бонусы за работу.