session_start();
$_SESSION["adw"] = 1; // задаем пользователю сессию
Header("Location:index.php"); // редиректим на индексную страницу с сессией, если у вас другая индексная, значит заменить на вашу

session_start();
$botname = "nebot";
$bots = array(
    'rambler','googlebot','aport','yahoo','msnbot','turtle','mail.ru','omsktele',
    'yetibot','picsearch','sape.bot','sape_context','gigabot','snapbot','alexa.com',
    'megadownload.net','askpeter.info','igde.ru','ask.com','qwartabot','yanga.co.uk',
    'scoutjet','similarpages','oozbot','shrinktheweb.com','aboutusbot','followsite.com',
    'dataparksearch','google-sitemaps','appEngine-google','feedfetcher-google',
    'liveinternet.ru','xml-sitemaps.com','agama','metadatalabs.com','h1.hrn.ru',
    'googlealert.com','seo-rus.com','yaDirectBot','yandeG','yandex',
    'yandexSomething','Copyscape.com','AdsBot-Google','domaintools.com',
    'Nigma.ru','bing.com','dotnetdotcom'
  );
  foreach($bots as $bot)
    if(stripos($_SERVER['HTTP_USER_AGENT'], $bot) !== false){
      $botname = $bot;
    }
if (($botname == "nebot") && ($_SESSSION["adw"] != 1)) // Если это не поисковой робот и юзер без сессии, значит редиректим его на 404 страницу
    {
    Header("Location:url_404"); // тут ваш url 404 страницы
    exit();
    }

session_start(); 
unset($_SESSION["adw"]);  
if (empty($_SESSION["adw"])) echo("Сессия удалена"); else echo("Сессия не удалена");