클라우드101(feat. AWS)
/
소식 / 글 / 기사
/
Perplexity가 크롤링 금지 지침을 우회하기 위해 은밀하고 신고되지 않은 크롤러를 사용함
Search
Share
Perplexity가 크롤링 금지 지침을 우회하기 위해 은밀하고 신고되지 않은 크롤러를 사용함
URL
https://news.hada.io/topic?id=22344
날짜
2025/08/05
태그
* Perplexity가 크롤링 금지 지침을 우회하기 위해 신원을 숨긴 웹 크롤러를 사용함 * robots.txt 파일 무시 및 IP, User Agent 지속적 변경같은 행위가 포착됨 * 신규 도메인 실험에서 금지 설정에도 불구하고 Perplexity가 사이트 콘텐츠에...