Problema acesso alguns endereços https [RESOLVIDO]

developer_mts
(usa openSUSE)

Enviado em 17/09/2012 - 11:24h

Problema acesso alguns endereços https

Olá pessoal,

Recentemente coloquei aqui na empresa para funcionar um novo firewall e estou tendo problemas com alguns, não todos, sites que usam https.

Exemplos que não acessam: https://login.yahoo.com, https://addons.mozilla.org, https://login.live.com https://carrinho.americanas.com.br/CustomerWeb/pages/Login
Exemplos que acessam: https://mail.google.com https://www2.bancobrasil.com.br/aapf/login.jsp https://ssl-w03dnn0929.websiteseguro.com/Relativa/AtualizaCadastro.asp https://minha.unisul.br

Percebam que atualmente apenas o HTTP passa pelo proxy, HTTPS não passa.

Detalhe: no firewall, usando lynx todos os sites abrem. Na minha máquina (usando lynx, firefox ou chrome) ou em qualquer outra cliente da rede não acessa.

Será que tem haver com alguma configuração do meu firewall?

Estou usando:
Debian: 6.0.5
uname -a: Linux server1 2.6.32-5-amd64 #1 SMP Sun May 6 04:00:17 UTC 2012 x86_64 GNU/Linux
iptables: v1.4.8.
Squid Cache: Version 3.1.6

Iptables-save:

# Generated by iptables-save v1.4.8 on Mon Sep 17 09:48:44 2012
*mangle
:PREROUTING ACCEPT [10838:5980745]
:INPUT ACCEPT [1013:171099]
:FORWARD ACCEPT [9823:5806646]
:OUTPUT ACCEPT [841:231752]
:POSTROUTING ACCEPT [10505:6014416]
COMMIT
# Completed on Mon Sep 17 09:48:44 2012
# Generated by iptables-save v1.4.8 on Mon Sep 17 09:48:44 2012
*nat
:PREROUTING ACCEPT [228:15869]
:POSTROUTING ACCEPT [82:5564]
:OUTPUT ACCEPT [65:4576]
:PROXY - [0:0]
-A PREROUTING -s 192.168.1.0/24 -i eth0 -p tcp -m tcp --dport 80 -j PROXY
-A POSTROUTING -s 192.168.1.0/24 ! -d 192.168.1.0/24 -o ppp0 -j SNAT --to-source <ip_wan>
-A PROXY -d 200.201.0.0/16 -p tcp -j RETURN
-A PROXY -p tcp -j REDIRECT --to-ports 3128
COMMIT
# Completed on Mon Sep 17 09:48:44 2012
# Generated by iptables-save v1.4.8 on Mon Sep 17 09:48:44 2012
*filter
:INPUT DROP [80:6717]
:FORWARD DROP [88:4892]
:OUTPUT ACCEPT [840:232988]
:ANTI_IP_SPOOFING - [0:0]
:ICMP_REQUEST_CONTROL - [0:0]
:LAN_MAC_FILTER - [0:0]
:PING_FLOOD - [0:0]
:PING_OF_DEATH - [0:0]
-A INPUT -p tcp -m tcp --tcp-flags FIN,SYN,RST,ACK RST -m limit --limit 1/sec -j ACCEPT
-A INPUT -i lo -j ACCEPT
-A INPUT -p icmp -m recent --rcheck --seconds 300 --hitcount 3 --name ICMP_BL --rsource -j DROP
-A INPUT -p icmp -m icmp --icmp-type 0 -j ACCEPT
-A INPUT -p icmp -m icmp --icmp-type 3 -j ACCEPT
-A INPUT -p icmp -m icmp --icmp-type 8 -j ICMP_REQUEST_CONTROL
-A INPUT -s 127.0.0.0/8 -i ppp0 -j ANTI_IP_SPOOFING
-A INPUT -s 192.168.1.0/24 -i ppp0 -j ANTI_IP_SPOOFING
-A INPUT -s <ip_dns_autoritativo> -d <ip_wan> -i ppp0 -p udp -m udp --sport 53 --dport 1024:65535 -m state --state ESTABLISHED -j ACCEPT
-A INPUT -s <ip_dns_autoritativo> -d <ip_wan> -i ppp0 -p tcp -m tcp --sport 53 --dport 1024:65535 -m state --state ESTABLISHED -j ACCEPT
-A INPUT -s 192.168.1.0/24 -d 192.168.1.1/32 -i eth0 -p udp -m udp --sport 1024:65535 --dport 53 -m state --state NEW,ESTABLISHED -j ACCEPT
-A INPUT -s 192.168.1.0/24 -d 192.168.1.1/32 -i eth0 -p udp -m udp --sport 53 --dport 53 -m state --state NEW,ESTABLISHED -j ACCEPT
-A INPUT -i eth0 -p tcp -m state --state NEW -m multiport --dports 22,3128,10000 -j LAN_MAC_FILTER
-A INPUT -i eth0 -p tcp -m state --state RELATED,ESTABLISHED -j ACCEPT
-A INPUT -d <wan_ip> -i ppp0 -m state --state RELATED,ESTABLISHED -j ACCEPT
-A FORWARD -p tcp -m tcp --tcp-flags FIN,SYN,RST,ACK RST -m limit --limit 1/sec -j ACCEPT
-A FORWARD -p icmp -m recent --rcheck --seconds 300 --hitcount 3 --name ICMP_BL --rsource -j DROP
-A FORWARD -i eth0 -p icmp -m icmp --icmp-type 8 -j ICMP_REQUEST_CONTROL
-A FORWARD -i eth0 -p tcp -m state --state RELATED,ESTABLISHED -j ACCEPT
-A FORWARD -i eth0 -p tcp -m state --state NEW -j LAN_MAC_FILTER
-A FORWARD -d 192.168.1.0/24 ! -i eth0 -p tcp -m state --state NEW -m multiport --dports 21,22,25,80,110,143,465,587,3389,5432 -j ACCEPT
-A FORWARD -d 192.168.1.0/24 -i ppp0 -m state --state RELATED,ESTABLISHED -j ACCEPT
-A FORWARD -p tcp -m tcp --dport 135 -j DROP
-A FORWARD -p udp -m udp --dport 137 -j DROP
-A FORWARD -p tcp -m tcp --dport 137 -j DROP
-A FORWARD -p udp -m udp --dport 138 -j DROP
-A FORWARD -p tcp -m tcp --dport 138 -j DROP
-A FORWARD -p udp -m udp --dport 139 -j DROP
-A FORWARD -p tcp -m tcp --dport 139 -j DROP
-A FORWARD -p tcp -m tcp --dport 445 -j DROP
-A FORWARD -d <ip_ftp_server> -i eth0 -p tcp -m tcp --dport 51000:51999 -m state --state NEW -j ACCEPT
-A FORWARD -d 192.168.1.0/24 ! -i eth0 -p tcp -m tcp --dport 5500:5514 -m state --state NEW -j ACCEPT
-A ANTI_IP_SPOOFING -j LOG --log-prefix "IP-SPOOFING > " --log-level 6
-A ANTI_IP_SPOOFING -j DROP
-A ICMP_REQUEST_CONTROL -m length --length 100:65535 -j PING_OF_DEATH
-A ICMP_REQUEST_CONTROL -m limit --limit 1/sec -j ACCEPT
-A ICMP_REQUEST_CONTROL -j PING_FLOOD
-A LAN_MAC_FILTER -s 192.168.1.2/32 -m mac --mac-source F4:6D:04:9F:9A:DF -j ACCEPT
-A LAN_MAC_FILTER -s 192.168.1.4/32 -m mac --mac-source 00:22:15:D7:E1:EA -j ACCEPT
# continua lista lan_mac_filter...
-A PING_FLOOD -j LOG --log-prefix "PING_FLOOD > " --log-level 6
-A PING_FLOOD -m recent --set --name ICMP_BL --rsource
-A PING_FLOOD -j REJECT --reject-with icmp-port-unreachable
-A PING_OF_DEATH -j LOG --log-prefix "PING_OF_DEATH > " --log-level 6
-A PING_OF_DEATH -m recent --set --name ICMP_BL --rsource
-A PING_OF_DEATH -j REJECT --reject-with icmp-port-unreachable
COMMIT
# Completed on Mon Sep 17 09:48:44 2012

developer_mts
(usa openSUSE)

Enviado em 17/09/2012 - 18:44h

Um detalhe que percebi: se eu configurar o proxy para ssl no navegador, todos os sites acessam. Então penso que talvez haja algo de errado com minhas regras forward. Mas ao mesmo tempo acho estranho que outros sites acessem.

cat /proc/sys/net/ipv4/ip_forward
1

Não teria algum módulo de kernel específico para ativar?
Vejam meu lsmod:
Module Size Used by
ipt_MASQUERADE 1554 0
ip_queue 4722 0
nls_utf8 1208 0
isofs 27480 0
xt_TCPMSS 2919 0
xt_tcpmss 1401 0
pppoe 8445 2
pppox 1706 1 pppoe
nf_nat_ftp 2031 0
nf_conntrack_ftp 5537 1 nf_nat_ftp
ipt_REDIRECT 1111 1
xt_multiport 2267 2
xt_mac 979 52
xt_state 1303 13
xt_tcpudp 2319 42
ipt_REJECT 1953 2
ipt_LOG 4518 3
xt_limit 1782 3
xt_length 1164 1
xt_recent 5977 4
iptable_mangle 2817 0
iptable_nat 4299 1
nf_nat 13388 4 ipt_MASQUERADE,nf_nat_ftp,ipt_REDIRECT,iptable_nat
nf_conntrack_ipv4 9833 16 iptable_nat,nf_nat
nf_conntrack 46535 7 ipt_MASQUERADE,nf_nat_ftp,nf_conntrack_ftp,xt_state,iptable_nat,nf_nat,nf_conntrack_ipv4
nf_defrag_ipv4 1139 1 nf_conntrack_ipv4
iptable_filter 2258 1
ip_tables 13915 3 iptable_mangle,iptable_nat,iptable_filter
x_tables 12845 15 ipt_MASQUERADE,xt_TCPMSS,xt_tcpmss,ipt_REDIRECT,xt_multiport,xt_mac,xt_state,xt_tcpudp,ipt_REJECT,ipt_LOG,xt_limit,xt_length,xt_recent,iptable_nat,ip_tables
ppp_generic 19259 6 pppoe,pppox
slhc 4003 1 ppp_generic
loop 11799 0
sg 24069 0
uhci_hcd 18521 0
snd_pcm 60487 0
snd_timer 15598 1 snd_pcm
snd 46526 2 snd_pcm,snd_timer
8139too 17981 0
soundcore 4598 1 snd
ehci_hcd 32097 0
sr_mod 12602 0
i2c_piix4 8328 0
snd_page_alloc 6249 1 snd_pcm
8139cp 15941 0
i2c_core 15819 1 i2c_piix4
usbcore 123122 3 uhci_hcd,ehci_hcd
nls_base 6377 3 nls_utf8,isofs,usbcore
mii 3210 2 8139too,8139cp
virtio_net 10573 0
virtio_balloon 2961 0
virtio_blk 4209 2
evdev 7352 2
pcspkr 1699 0
cdrom 29351 1 sr_mod
processor 29935 0
psmouse 49985 0
button 4650 0
floppy 49087 0
serio_raw 3752 0
ext4 288382 3
mbcache 5050 1 ext4
jbd2 67111 1 ext4
crc16 1319 1 ext4
sd_mod 29937 4
crc_t10dif 1276 1 sd_mod
ata_generic 3239 0
ata_piix 21124 3
virtio_pci 5511 0
thermal 11674 0
thermal_sys 11942 2 processor,thermal
libata 133776 2 ata_generic,ata_piix
scsi_mod 126725 4 sg,sr_mod,sd_mod,libata
virtio_ring 3258 1 virtio_pci
virtio 3309 4 virtio_net,virtio_balloon,virtio_blk,virtio_pci

johnnyb
(usa Fedora)

Enviado em 18/09/2012 - 11:21h

Amigo verifica se os navegadores estao com o proxy setado,ai vc vai la no squid.conf

e na regra abaixo vc adiciona a porta 443

acl SSL_ports port 22 443

blz tenta ai depis da o grito ai

developer_mts
(usa openSUSE)

Enviado em 18/09/2012 - 13:20h

Desta forma funciona sim, fiz este teste, mas não é isto que quero. Preciso que funcione o https sem o squid, por isso direciono apenas a porta 80 para o squid (daí para restringir sites https é outra história).

E como disse, justamente o que não entendo, alguns sites acessam normalmente (sem passar pelo proxy) e outros não (ver exemplos citados no início do tópico).

Penso que tenha algo haver com minhas regras do iptables (que novamente me leva naquele coisa de alguns acessarem e outros não), ou com o próprio Debian.

developer_mts
(usa openSUSE)

Enviado em 18/09/2012 - 15:25h

Usando o ssldump percebi, que com os sites que não acessam o handshake do ssl não é completado.
O cliente envia o ClientHello, mas nunca recebe o ServerHello.

Com aqueles sites que funcionam consigo receber o ServerHello.

johnnyb
(usa Fedora)

Enviado em 18/09/2012 - 19:20h

Amigo poste seu squid assim vai ficar mais facil de lhe ajudar, e lembrando se você usar o proxy transparente obrigatoriamente a porta 443 fica de fora do squid, agora se vc setar o proxy no navegador ai vc ta obrigando a porta 443 a passar no squid ai vc tem que abrir ela da forma que lhe falei e fazer um arquivo para bloquear os sites que nao quer que passe pelo proxy.

ou intao escolher um navegador que lhe permita configurar diferentes proxys ou seja
o firefox blz qualquer coisa e soh da o grito

developer_mts
(usa openSUSE)

Enviado em 19/09/2012 - 08:44h

Posso estar viajando, mas acho que o problema não tem haver com o squid.

Vou frisar alguns trechos que já comentei anteriormente:




config. iptables citada:
-A PREROUTING -s 192.168.1.0/24 -i eth0 -p tcp -m tcp --dport 80 -j PROXY
-A PROXY -d 200.201.0.0/16 -p tcp -j RETURN
-A PROXY -p tcp -j REDIRECT --to-ports 3128


Agora, com relação ao que disse por último:



-> sim, é assim que está configurado e assim que desejo.


-> sim, configurando no navegador não há problema. Apesar de funcionar com a configuração do navegador, não é o que quero: não desejo usar proxy para HTTPS.
-> O problema em si é que alguns sites HTTPS acessam, outros não. Por isso até achei que teria haver com SSL:




-> Aqui realmente não entendi o que quis dizer, só tenho um proxy na rede.



este é meu squid.conf:

dns_nameservers 127.0.0.1

acl manager proto cache_object

acl localhost src 127.0.0.1/32
acl to_localhost dst 127.0.0.0/8 0.0.0.0/32
acl SSL_ports port 443

acl Safe_ports port 80
acl Safe_ports port 21
acl Safe_ports port 443
acl Safe_ports port 70
acl Safe_ports port 210
acl Safe_ports port 1025-65535
acl Safe_ports port 280
acl Safe_ports port 488
acl Safe_ports port 591
acl Safe_ports port 777
acl CONNECT method CONNECT

acl Host_MSN url_regex -i /messenger/sqmserver.dll ADSAdClient31.dll gateway.dll /gateway/gateway.dll?

acl hosts_liberados src "/etc/squid3/conf/hosts_liberados"
acl sites_liberados dstdomain "/etc/squid3/conf/sites_liberados"
acl rede_local src 192.168.1.0/24
acl libera_meiodia time 12:00-13:30
acl libera_meiodia_hosts src "/etc/squid3/conf/libera_meiodia_hosts"
acl manager proto cache_object
acl webserver_local src 192.168.1.233/32
acl msn_novo url_regex -i http://rmd.atdmt.com http://evsecure-ocsp.verisign.com/ http://evsecure-crl.verisign.com/ http://mscrl.microsoft.com/ http://crl.microsoft.com/ http://config.messenger.msn.com/ http://sup.live.com/ http://blstc.msn.com/ http://ads2.msn.com/ http://view.atdmt.com/
acl webserver src 192.168.1.233/32
acl meu_dominio url_regex -i .meu_dominio.
acl ext_preferenciais url_regex -i \.(aspx?|css|jsp?|[js]?html?|rss|php|xml|txt|gif|jpe?g|png)$
acl restrito_t1 time MTWHF 08:00-12:05
acl restrito_t2 time MTWHF 13:25-18:05

http_access allow manager localhost
http_access deny manager
http_access deny !Safe_ports
http_access deny CONNECT !SSL_ports
http_access allow meu_dominio rede_local
http_access allow msn_novo
http_access allow libera_meiodia libera_meiodia_hosts
http_access allow sites_liberados rede_local
http_access allow Host_MSN rede_local
http_access allow hosts_liberados
http_access deny rede_local
http_access allow manager webserver
http_access deny manager
http_access allow manager webserver_local
http_access allow manager
http_access allow localhost
http_access deny all

htcp_access deny all

delay_pools 4
delay_class 1 3
delay_class 2 3
delay_class 3 3
delay_class 4 3

delay_parameters 1 -1/-1 250000/250000 75000/75000
delay_access 1 allow ext_preferenciais restrito_t1

delay_parameters 2 -1/-1 250000/250000 75000/75000
delay_access 2 allow rede_local restrito_t2

delay_parameters 3 -1/-1 187500/187500 40000/40000
delay_access 3 allow rede_local restrito_t1

delay_parameters 4 -1/-1 187500/187500 40000/40000
delay_access 4 allow rede_local restrito_t2

# ** SIM, USO PROXY TRANSPARENTE **
http_port 3128 transparent

hierarchy_stoplist cgi-bin ?

cache_mem 128 MB

maximum_object_size_in_memory 8 KB

cache_dir diskd /srv/squid/cache 4000 16 256

maximum_object_size 12288 KB

access_log /srv/squid/logs/access.log squid

cache_store_log none

cache_log /srv/squid/logs/cache.log

coredump_dir /var/spool/squid3

refresh_pattern ^ftp: 1440 20% 10080
refresh_pattern ^gopher: 1440 0% 1440
refresh_pattern -i (/cgi-bin/|\?) 0 0% 0
refresh_pattern . 0 20% 4320

error_directory /etc/squid3/errors

Um detalhe: este arquivo de configuração funcionava anteriormente no FreeBSD, fiz algumas poucas modificações: caminhos de arquivos e uso do delay pools para limitar o uso de banda.

dastyler
(usa Fedora)

Enviado em 19/09/2012 - 09:23h

Voce postou:

"config. iptables citada:
-A PREROUTING -s 192.168.1.0/24 -i eth0 -p tcp -m tcp --dport 80 -j PROXY
-A PROXY -d 200.201.0.0/16 -p tcp -j RETURN
-A PROXY -p tcp -j REDIRECT --to-ports 3128"

Tenta colocar ANTES do prerouting:
-A PREROUTING -s 192.168.1.0/24 -i eth0 -p tcp -m tcp --dport !443 -j PROXY

E rode o script de novo.
Se nao der, tente colocar o abaixo:

-A PREROUTING -s 192.168.1.0/24 -i eth0 -p tcp -m tcp --dport !443 -j PROXY
-A PREROUTING -s 192.168.1.0/24 -i eth0 -p tcp -m tcp --dport 80 -j PROXY
-A PROXY -d 200.201.0.0/16 -p tcp -j RETURN
-A PROXY -i eth0 -p tcp -m tcp --dport !443 -j REDIRECT --to-ports 3128

Nao entendi o porque que voce nao quer usar o Squid para acessar a porta 443. Aqui uso tranquilo com apenas uma acl e 1 http_access:

sudo cat squid.conf|grep SSL_ports
acl SSL_ports port 443
http_access deny CONNECT !SSL_ports

Só isso. E abre TUDO! nem preciso das regras do iptables conforme declarei acima. Meu proxy valida em AD.

Abraço e boa sorte

developer_mts
(usa openSUSE)

Enviado em 19/09/2012 - 13:57h

Confirmando aquilo que eu pensava: o problema não estava relacionado com o squid.

O problema era a configuração do MSS (Maximum Segment Size), que possivelmente devia ter feito quando executei o pppoe-conf. Que neste artigo http://www.vivaolinux.com.br/artigo/Configurar-servidor-PPPoE-(Ubuntu) corresponde ao 7º passo (e que eu possivelmente respondi não).

aqui tem uma explicação: http://www.akadia.com/services/pppoe_iptables.html

aqui tem uma solução (ou uma solução): http://www.aprendendolinux.com/resolvendo-o-maldito-problema-de-mtu/ que tomei a liberdade de citar aqui:
iptables -I FORWARD -p tcp --tcp-flags SYN,RST SYN -j TCPMSS --clamp-mss-to-pmtu
iptables -A FORWARD -p tcp --tcp-flags SYN,RST SYN -m tcpmss --mss 1400:1536 -j TCPMSS --clamp-mss-to-pmtu

Usei a solução deste último link, que resolveu prontamente. Mas acho ainda que há outra solução possível com a tabela mangle (que eu ainda não uso, mas vou estudar melhor):
iptables -t mangle -o "$PPP_IFACE" --insert FORWARD 1 -p tcp --tcp-flags SYN,RST SYN -m tcpmss --mss 1400:65495 -j TCPMSS --clamp-mss-to-pmtu

...esta última não testei. Ela encontra, no Debian, em /etc/ppp/ip-up.d/0clampmss, e acredito que é executada quando respondo sim no tal 7º passo que citei acima.

johnnyb
(usa Fedora)

Enviado em 19/09/2012 - 13:59h

Amigo parece que deixei passa batido o seu firewall

vamos fazer alguns testes
modifique isso
*filter
:INPUT DROP [80:6717]
:FORWARD DROP [88:4892]
:OUTPUT ACCEPT [840:232988]

para isso
*filter
:INPUT ACCEPT [80:6717]
:FORWARD ACCEPT [88:4892]
:OUTPUT ACCEPT [840:232988]

e veja se tera problemas com os site 443

eu lhe recomendo a estudar a minha dica sobre como bloquear a porta 443 caso queira filtrar algo caso não
a regra assima ja tera lhe resolvido todos os problemas :D

qualquer coisa e soh da o grito blz



e não se esqueça caso resolva o seu problema marque a resposta que lhe ajudo para outros que venha ter prblema assim como vc possa resolver de forma fácil

developer_mts
(usa openSUSE)

Enviado em 19/09/2012 - 15:08h

Vlw Johnhyb, veja que resolvi no tópico anterior (que como a resposta é minha mesmo, não permite marcar como melhor resposta). Ps.: Pelo horário, vejo que enviou quase junto comigo, então isso justifica sua resposta.