Имя домена (например google.com)
Все домены более низкого уровня так же будут включены (например search.google.com, images.google.com и т.д.)
Указанные настройки будут применены на уровне программы. В противном случае они будут применены только в текущем проекте.
Запретить - Все ссылки с этого домена не будут добавляться в очередь
Игнорировать - Все ссылки с этого домена будут добавлены в очередь, но помечены как пропущенные. В дальнейшем вы сами сможете принять решение и обработать только те ссылки, которые вам нужны.
Разрешить только - Все ссылки с этого домена будут добавлены в очередь. В то же время все ссылки с других доменов - нет. Полезно если вы хотите обработать несколько доменов не свзяанных друг с другом.
Удалить все запрещенные или пометить все игнорируемые ссылки в текущей очереди заданий