#12 Esto ¿que es? ¿Hackeado o que han puesto ese archivo para que no salga la web de la SGAE al buscar eso? Es que de informática y estas cosas no sé nada.
#14#2#12#13 en realidad no.
El archivo robots.txt lo que se encarga es de decirle a los bots que archivos del propio sitio web - en este caso sgae.es - no quiere que indexe. Por ejemplo Disallow:/?SGAE=LADRONES=MONOPOLIO significa: no indexes sgae.es/?SGAE=LADRONES=MONOPOLIO
básicamente los de la SGAE no entendieron nada. En vez de arreglar su buscador para que no les hicieran cross scripting hicieron esta chapuza del robots.
#15#1,#2,#12, el robots.txt es un fichero público con el que informar a los robots de internet lo que quieres o no quieres que indexen de tu página web. No han hackeado nada pues es de acceso público y además lo utilizan mal, como dice #14 (te adelantaste..)
#22 El fichero robots.txt sólo evita que el 'googlebot' y similares escaneen las páginas o directorios mencionados, pero no evita su indexación si alguien (incluído Google) ha visitado ya la página antes. Vamos, que lo que han hecho es una chapuza impresionante, como dice #14.
Por ejemplo, el enlace que aparece en el robots.txt "a no indexar"
#24#9 Yo he mirado un par y nada interesante Supongo que los usarán para pruebas o algo, lo que tenga que estar oculto no estará accesible públicamente por lo que los robots de google no lo pueden ni ver así que da igual. Habrá que hacer un script que baje la página cada x minutos y si detecta cambios avise para ver para qué sirven esas urls
#35 Cuanto hoygan comentando y riéndose de lo que no sabe...
Hace unos años los pre−anonymous hispanos intentaron hacer un bombing a google promocionando elances tipo www.sgae.es/?ladrones , provocando que cuándo alguien buscase sgae el primer enlace que ofrecía el buscador era ese. Pues bien, aunque no es la solución más elegante sí es una solución para evitar la trolleada, pues permite que falle el enlace y así google no lo indexe.
#37 Pues no es por nada, pero con lo zote que soy yo, de letras, y sin zorra idea de estas cosas, y que haya sido capaz de darme cuenta de la chapuza que han hecho... #14 ¿a quién le pagan por hacer esa web?
Ni en el todo a 100 lo harían peor.
#39#1 Aunque mi karma da menos que una castaña y, aunque sí sé de que va esto, como dice #34, es una gilipollez absoluta que te voten negativo por ser claro y sincero.
Ya, la verdad es que no se que tiene de malo decir que no se sabe algo...gracias a eso me he enterado de que va la cosa. En fin...será que tenían un mal día.
#46#36 Pero eso es por que los datos eran públicos, no así los links. Si quieres ocultar algo no lo haces accesible de forma pública confiando en que nadie va a conocer el enlace
#49#36 No me hagas mucho caso, pero cuando entras a un sitio desde marcadores el HTTP_REFERER no se envía. Otra cosa seria que el documento ultra secreto incluyese un enlace a google.com, y ahi se enviase tal dirección. A partir de ahi a saber lo que hace google con sus peticiones.
#55#14 Tenéis que daros cuenta compañeros. Que por mucho que la SGAE vaya de defensora de la Cultura, no tiene NPI de ella, y menos tecnológica. Así que no esperéis algo bien hecho por ellos.
twitter.com/julioalonso/status/284263916597567488 
#1 Son las búsquedas por la que no quieren aparecer en los navegadores.
¿Habrán pagado por el CD de wordpress?
Los autores de wordpress se mueren de hambre con tanta descarga
creo que esa entrada a wordpress quiere decir que no reciban ninguna visita que venga de un blog de wordpress, no estoy seguro de todas formasEDITO:
Pues no, www.sgae.es/wp-admin
Disallow:/portal/
Disallow:/portal/
Disallow:/wp-*
Disallow:/?SGAE=LADRONES=MONOPOLIO
Disallow:/?ladrones
Disallow:/?mafiosos
Disallow:/?
Disallow:/?*
Disallow:/author/
Disallow:/category/
Disallow:/portal/
Disallow:/search/
Disallow:/home2/
Disallow:/sg0-no-tocar/
Disallow:/sg1-no-tocar/
Disallow:/sg2-no-tocar/
Disallow:/sg3-no-tocar/
Disallow:/sg4-no-tocar/
Disallow:/sg5-no-tocar/
Disallow:/sg-5-no-tocar/
Disallow:/sg-4-no-tocar/
Disallow:/sg-3-no-tocar/
Disallow:/sg-2-no-tocar/
Disallow:/sg-1-no-tocar/
Disallow:/sg*
Disallow:/search/search-es.jsp?texto=<a href="">ladrones</a>
Disallow:/search/search-es.jsp?texto=%3Cscript%3Ealert(%22efectivamente,%20somos%20unos%20ladrones%22);%3C/script%3E
Disallow:/search/search-es.jsp?texto=%3Ch1%3ESomos%20unos%20ladrones%20salgamos%20primeros%20en%20google%20o%20no%3C/h1%3E
El archivo robots.txt lo que se encarga es de decirle a los bots que archivos del propio sitio web - en este caso sgae.es - no quiere que indexe. Por ejemplo Disallow:/?SGAE=LADRONES=MONOPOLIO significa: no indexes sgae.es/?SGAE=LADRONES=MONOPOLIO
básicamente los de la SGAE no entendieron nada. En vez de arreglar su buscador para que no les hicieran cross scripting hicieron esta chapuza del robots.
Para más información
support.google.com/webmasters/bin/answer.py?hl=es&answer=156449
Por ejemplo, el enlace que aparece en el robots.txt "a no indexar"
www.sgae.es/?SGAE=LADRONES=MONOPOLIO
Está indexado, porque hay otras páginas que hacen referencia a ésta (está explicado por google en el enlace de #15).
Disallow:/search/search-es.jsp?texto=%3Cscript%3Ealert(%22efectivamente,%20somos%20unos%20ladrones%22);%3C/script%3E
Efectivamente, somos unos ladrones
Disallow:/search/search-es.jsp?texto=%3Ch1%3ESomos%20unos%20ladrones%20salgamos%20primeros%20en%20google%20o%20no%3C/h1%3E
Somos unos ladrones salgamos primeros en google o no
Vaya chapuza de envío también, al nivel del robots.txt
telendro.com.es/2007/03/01/jugando-a-policias-y-ladrones-con-google-y-
Los enlaces "ladrones" linkaban con esos textos.
Todo este tiempo reconociéndolo y nosotros sin saberlo. ¿Qué pasa ahora con sus denuncias por derecho al honor?
Hace unos años los pre−anonymous hispanos intentaron hacer un bombing a google promocionando elances tipo www.sgae.es/?ladrones , provocando que cuándo alguien buscase sgae el primer enlace que ofrecía el buscador era ese. Pues bien, aunque no es la solución más elegante sí es una solución para evitar la trolleada, pues permite que falle el enlace y así google no lo indexe.
Disallow:/documentos-muy-secretos/
en el robots.txt, no vaya a ser que la gente se entere de que existe, y nos caiga una bronca...
#24 lo que tenga que estar oculto no estará accesible públicamente por lo que los robots de google no lo pueden ni ver así que da igual.
No subestimes el poder de Google...
1. Uno de la SGAE está mirando un documento ultrasecreto en su navegador, ubicado en www.sgae.es/documentos-muy-secretos/cuentas_en_suiza_de_teddy.pdf
2. En un momento dado, se va a sus marcadores, y pincha en cualquier dirección que quiera consultar, por ejemplo: www.foroblanqueo.ky . Y resulta que ese servidor guarda los logs de los accesos web y genera automáticamente las estadísticas en un dirección de consulta "típica", por ejemplo, www.foroblanqueo.ky/stats o www.foroblanqueo.ky/aw-stats
3. Google indexa esa dirección y, escaneando los datos, resulta que en las estadísticas sale que hubo una visita a www.foroblanqueo.ky que entró (HTTP_REFERER) desde la dirección www.sgae.es/documentos-muy-secretos/cuentas_en_suiza_de_teddy.pdf
4. En su afán de dominar el mundo, Google indexa todos los enlaces que encuentra visitándolos y escaneando lo que contienen, incluyendo www.sgae.es/documentos-muy-secretos/cuentas_en_suiza_de_teddy.pdf que nadie debería de saber que existe
5. Un día cualquiera no sabes qué hora es, y tecleas "teddy cuentas suiza" en el buscador de Google.
6. Envías el enlace a meneame y se lía parda.
Algo así pasó con un proxy de una universidad española, que guardaba los datos de las direcciones visitadas públicamente y accesibles vía web.
Ni en el todo a 100 lo harían peor.
www.sgae.es/
efectivamente somos unos ladrones
===
Pd. A ver si indexa esto google
#39
Ya, la verdad es que no se que tiene de malo decir que no se sabe algo...gracias a eso me he enterado de que va la cosa. En fin...será que tenían un mal día.
www.google.es/search?q=efectivamente+somos+unos+ladrones&rlz=1C1RN
www.alexa.com/siteinfo/sgae.es
Salu2