Как закрыть проксируемый сайт? (no replies)

Суть в том, что сервер1 имеющий ип 1.1.1.1 проксирует сервер2 с ип 2.2.2.2
Конфиг сервера1
location / {
proxy_pass http://server2:80;
proxy_set_header X-Real-IP $remote_addr;
}

Конфиг сервера2
location = /index.php {
set_real_ip_from 1.1.1.1;
real_ip_header X-Real-IP;
........
}
Я использую мод real_ip, вопрос такой:
Как закрыть доступ к серверу2 для всех ип кроме 1.1.1.1 средствами nginx?
Если написать
allow 1.1.1.1;
deny all;
То из-за real_ip это правило не действует.