Шаттер объявил войну ушлым сеошникам. Запасаемся попкорном.

[mikayko]

Сообщение от servickuz

Вот только чуть выше писал. Зная Шаттер, думаю эти работы ещё на годы так и останутся в топах с теми же повторами. Патамушта база ну о-о-очень большая, а работников для "вычищения" мало-мало.

Вангую почистку к осени, максимум к Новому Году база сильно поменяется. Качество вытеснит хлам.

[AleksP]

Сообщение от mikayko

Нужно потратить море электричества и море (сотни) жестких дисков, которые посыпятся от форматирования базы.

Вы какие то фантастические вещи пишете. Переиндексация базы ежедневно происходит и никакие диски не сыплются. Скрипт, который пройдется по описаниям и вычистит повторы сделать элементарно и сделает он все это за несколько часов, не нагружая сервера. Всего то две операции SQL извлечь и записать. У меня на слабеньком сервере хранятся десятки миллионов комментариев и ищется в них и чистится все что надо элементарно.

[targowes]

Ну конечно, как же по-другому! Заголовок "Vector card with mandala. Glowing blue mandala." это спам, ага. Но на всякий случай лучше объединю в одно предложение.

Насколько я понял перевод этой штуки правильно

Contributors who have updated their titles to include repeated words or phrases are required to edit these titles to bring them back into compliance.

все это касается вас, если вы меняли названия после приемки. Если инспектор пропустил, значит все хорошо и беспокоится не о чем. Поправьте пожалуйста, кто лучше знает английский, если я не прав.

[mikayko]

Сообщение от AleksP

Вы какие то фантастические вещи пишете. Переиндексация базы ежедневно происходит и никакие диски не сыплются. Скрипт, который пройдется по описаниям и вычистит повторы сделать элементарно и сделает он все это за несколько часов, не нагружая сервера. Всего то две операции SQL извлечь и записать. У меня на слабеньком сервере хранятся десятки миллионов комментариев и ищется в них и чистится все что надо элементарно.

Вы пишете ерунду. На вашем микроскопическом сервере, хранится микроскопическое количество данных, на одном (вероятно) диске. Каждая картинка шаттера дублируется минимум на 3 дисках.

Я могу поискать, если вы будете упрямится лекцию от Яндексделов, где человек на пальцах вам объяснит сколько нужно дисков на какой объем картинок.

SQL это язык, а не способ хранения базы. База может и java поддерживаться с каким-нибудь гремлином.

[mikayko]

AleksP и не забывайте, что сервера шаттера не без дела стоят. Может если отключить их разом на денек, то можно пролопатить базу, но кто вам это позволит?

При объемах подобных шаттеру делается так, как в этом случае. Пишется на форуме, что халява кончилась, а особо упрямых банят, остальные боятся и не делают больше подобного. Сервера не трогают, диски не чистят, база со временем самоочищается самими спамерами или их постепенно выпиливают или их картинки тонут, забитые хламом диски со временем выбрасывают. = Все довольны, бурные овации.

[AleksP]

Сообщение от mikayko

Вы пишете ерунду. На вашем микроскопическом сервере, хранится микроскопическое количество данных, на одном (вероятно) диске. Каждая картинка шаттера дублируется минимум на 3 дисках.

Да хоть на ста дисках. Замена описания скриптом ничем принципиально не отличается от редактирования описания автором. К базе идет обращение, выводится содержимое описания, а потом записывается отредактированная версия. Я могу заменить все эти описания на шатере скриптом с домашнего компьютера для этого мне нужны будут только номера картинок и доступ к редактированию.
Проанализировать всю базу шатера на предмет спама это тоже элементарно. М-ранк делает такой анализ и помечает такие картинки как SEO. Любой программист может быстро написать скрипт, который пройдется по всем картинкам, найдет с помощью регулярных выражений повторы слов и составит список спамеров с любыми заданными параметрами. Можно даже не знать номера картинок, а действовать методом перебора. У меня так с сервера картинки скачивают.

Кстати этот микроскопический сервер существовал еще за пять лет до создания шатера, а в момент появления шатера на нем было пол миллиона картинок.

[Uncle_V]

Сообщение от mikayko

И ещё удивляются, что я недоверяю многим "старичкам". А чего им доверять? Смотришь на портфель, а он целиком из мусора, вылез за счет спама или в жирные годы. Половина рисунков кривые, косые, набитые ватой, зато автор горд до небес.

К осени база почистится и посмотрим.

Может, не стоит голословно обижать всех старичков? Я начал в 2006-м, но не спамил и не собираюсь. Вылезти как раз не вылез, а может, нужно было, если бы знал, какие хапуги сейчас придут на стоки. И мусора у меня хватает, но я не горд до небес - нечем.
А белка как раз не из старичков, но...

[mikayko]

Сообщение от AleksP

скрипт, который пройдется по всем картинкам, найдет с помощью регулярных выражений повторы слов и составит список спамеров с любыми заданными параметрами.

Извините, но дальше я читать не стану. Вы выбрали самый медленный способ, а значит совсем не знаете как устроены подобные системы. Если индексация идет по словам, то на каждый дескрипшн уже есть стек хэшей. Ничего регами искать не нужно, достаточно проверить количество дубликатов хэшей в стеке у дескрипшна.

Однако это ничего принципиально не меняет. Никто в систему не полезет грязными лапами без ну очень жизненной необходимости. Страх перед баном сделает эту работу медленней, но наверняка.

Один косяк программиста и добро пожаловать в безумный откат базы(в лучшем случае), остановку серверов, пересоздание линков и бла, бла, бла.

Я попроще объясню. Так не делают, потому что это почти гарантированный путь в ад.

[mikayko]

Сообщение от Uncle_V

Может, не стоит голословно обижать всех старичков? Я начал в 2006-м, но не спамил и не собираюсь. Вылезти как раз не вылез, а может, нужно было, если бы знал, какие хапуги сейчас придут на стоки. И мусора у меня хватает, но я не горд до небес - нечем.
А белка как раз не из старичков, но...

Слово многим обозначает не всем, а некоторому значительному количеству! Вы приняли на свой счет то, что возможно вам не предназначалось.

Белка сама признавалась, что второй портфель, а значит для меня старичек.

[AleksP]

Сообщение от mikayko

AleksP и не забывайте, что сервера шаттера не без дела стоят. Может если отключить их разом на денек, то можно пролопатить базу, но кто вам это позволит?

Вы по видимому очень далеки и от серверов и от работы с базами данных, если думаете, что для изменения отдельных записей нужно на денек останавливать сервера
Всю эту работу можно сделать в фоновом режиме с ноутбука 2000 года выпуска