1.½ºÆÄÀÌ´õ(spider),Å©·Ñ·¯(crawler)¶õ ¹«¾ùÀΰ¡?
½ºÆÄÀÌ´õ(spider) ȤÀº Å©·Ñ·¯(crawler)¶ó°íµµ ºÒ¸®´Â ·Îº¿Àº ÀÎÅͳݿ¡ ÀÖ´Â À¥ÆäÀÌÁö(À¥¹®¼)¸¦ ¹æ¹®Çؼ ¼öÁýÇÏ´Â ÀÏÀ» ÇÕ´Ï´Ù. ÀÌ ¶§ ÇÑ ÆäÀÌÁö¸¸ ¹æ¹®ÇÏ°í ¸¶´Â °ÍÀÌ ¾Æ´Ï¶ó ±× ÆäÀÌÁö¿¡ ¸µÅ©µÇ¾î ÀÖ´Â ¶Ç ´Ù¸¥ ÆäÀÌÁö¸¦ Â÷·Ê·Î ¹æ¹®ÇÕ´Ï´Ù. ÀÌó·³ ¸µÅ©¸¦ µû¶ó À¥(web:°Å¹ÌÁÙ)À» µ¹¾Æ´Ù´Ï´Â ¸ð½ÀÀÌ ¸¶Ä¡ °Å¹Ì¿Í ºñ½ÁÇÏ´Ù°í ÇØ¼ ½ºÆÄÀÌ´õ¶ó°í ºÎ¸£´Â °ÍÀÔ´Ï´Ù.
Âü°í·Î °¢ °Ë»ö¿£ÁøÀÇ ·Îº¿¿¡´Â °íÀ¯ÇÑ À̸§ÀÌ Á¸ÀçÇϸç, ³×À̹ö ·Îº¿ÀÇ À̸§Àº cowbotÀ̶ó°í ÇÕ´Ï´Ù.
2.½ºÆÄÀÌ´õ(spider),Å©·Ñ·¯(crawler)°¡ ÇÏ´Â ÀÏÀº?
¾öû³ ºÐ·®ÀÇ À¥¹®¼¸¦ »ç¶÷ÀÌ ÀÏÀÏÀÌ »öÀÎÀ» ÀÛ¼ºÇÑ´Ù´Â °ÍÀº ºÒ°¡´É¿¡ °¡±õ½À´Ï´Ù. ¶§¹®¿¡ À¥¹®¼ °Ë»ö¿¡¼´Â »ç¶÷ÀÌ ÀÏÀÏÀÌ »öÀÎÀ» ´Ù´Â ´ë½Å ÇÁ·Î±×·¥ÀÌ À̸¦ ÀÚµ¿À¸·Î ¼öÇàÇØ ÁÝ´Ï´Ù. »öÀÎÀÛ¾÷À» Çϱâ À§Çؼ´Â ¿ì¼± »öÀÎÀÇ ´ë»óÀÌ µÉ À¥¹®¼¸¦ ¼öÁýÇØ¾ß ÇÕ´Ï´Ù. À¥¹®¼¸¦ ÀÚµ¿À¸·Î ¼öÁýÇØ ÁÖ´Â ¿ªÇÒÀ» ÇÏ´Â °ÍÀÌ ¹Ù·Î ·Îº¿À̶ó´Â ÇÁ·Î±×·¥ÀÔ´Ï´Ù.
3.½ºÆÄÀÌ´õ(spider),Å©·Ñ·¯(crawler)¿Í À¥»çÀÌÆ®(µð·ºÅ丮)°Ë»ö,À¥¹®¼°Ë»öÀÇ °ü°è´Â?
´ëºÎºÐÀÇ °Ë»ö¿£ÁøÀº "À¥»çÀÌÆ®(µð·ºÅ丮)°Ë»ö"°ú "À¥¹®¼°Ë»ö" ¼ºñ½º¸¦ º´ÇàÇϰí Àִµ¥ µð·ºÅ丮(À¥»çÀÌÆ®)°Ë»ö°á°ú¿¡ ³ª¿À±â À§ÇØ È¨ÆäÀÌÁöµî·ÏÀ» ÇÏ´Â °ÍÀ̰í ÀÚÀǵç ŸÀǵç ȨÆäÀÌÁöµî·ÏÀÌ µÇ¾î ÀÖÁö ¾ÊÀº °æ¿ì¿¡´Â À¥»çÀÌÆ®( µð·ºÅ丮)°Ë»ö°á°ú¿¡ ³ª¿ÀÁö ¾Ê½À´Ï´Ù.
ȨÆäÀÌÁö°¡ °Ë»ö¿£Áø¿¡ µî·ÏµÈ °æ¿ì ¾ó¸¶ ÈÄ¿¡ ±× °Ë»ö¿£ÁøÀÇ ·Îº¿Àº ȨÆäÀÌÁö¸¦ ¹æ¹®ÇÏ¿© ¹®¼¸¦ ¼öÁýÇØ °©´Ï´Ù.
ȨÆäÀÌÁö°¡ µî·ÏµÇ¾î ÀÖÁö ¾ÊÀº °æ¿ì¿¡µµ ½ºÆÄÀÌ´õ°¡ ȨÆäÀÌÁö¸¦ ¹æ¹®ÇÏ¿© ¹®¼µéÀ» ¼öÁýÇØ °¥ ¼ö ÀÖ½À´Ï´Ù.
ÀÌ·¸°Ô ¼öÁýµÈ ¹®¼µéÀº »öÀΰúÁ¤À» °ÅÄ£ ÈÄ °Ë»öâ¿¡ °Ë»öÀ» ÇÑ °æ¿ì °ü·Ã ¹®¼µéÀ» "À¥¹®¼"°Ë»ö°á°ú¿¡ ³ªÅ¸³ª°Ô µË´Ï´Ù.
4.½ºÆÄÀÌ´õ°¡ ³» ȨÆäÀÌÁöÀÇ ¹®¼µéÀ» ¼öÁýÇÏ°Ô ÇÏÀÚ
Àγ»½ÉÀ» °¡Áö°í¼ ±â´Ù¸®¸é ¾ðÁ¨°¡´Â ȨÆäÀÌÁö¸¦ ¹æ¹®ÇÏ¿© ¹®¼¸¦ ¼öÁý,»öÀÎÇÏ°Ô µÈ´Ù. ±×·¯³ª »öÀνÅûÀ» ÇÏ´Â ¹æ¹ýµµ ÀÖÀ¸¹Ç·Î ÂüÁ¶Çϵµ·Ï ÇÏÀÚ. ´ëºÎºÐÀÇ ¸ÞÀÌÀú±Þ °Ë»ö¿£Áøµé¿¡¼´Â ±¸±Û°ú ÄÚ¸®¾Æ¿ÍÀÌÁî³ÓÀÇ À¥¹®¼°Ë»ö¼ºñ½º¸¦ ÀÌ¿ëÇϰí ÀÖ´Ù. °ú°Å¿¡´Â ±¸±ÛÀÇ À¥¹®¼°Ë»ö¼ºñ½º¸¦ ¸¹ÀÌ ÀÌ¿ëÇßÀ¸³ª ¿äÁò¿¡´Â Å©°Ô ±¸±Û,ÄÚ¸®¾Æ¿ÍÀÌÁî³Ó,ÀÚü À¥¹®¼°Ë»ö¼ºñ½º¸¦ ÀÌ¿ëÇϰí ÀÖ´Ù. ƯÈ÷ ÄÚ¸®¾Æ¿ÍÀÌÁî³ÓÀÇ À¥¹®¼°Ë»ö¼ºñ½º¸¦ ÀÌ¿ëÇÏ´Â °Ë»ö¿£ÁøµéÀÌ ´Ã¾î°¡°í ÀÖ´Â Ãß¼¼´Ù.
±¸±Û¿¡ URLÀ» µî·ÏÇÏÀÚ : http://www.google.co.kr/intl/ko/add_url.html ÄÚ¸®¾Æ¿ÍÀÌÁî³Ó¿¡ »çÀÌÆ®¸¦ µî·ÏÇÏÀÚ : http://www.wisenut.co.kr/submit/
±¸±Û°ú ÄÚ¸®¾Æ¿ÍÀÌÁî³ÓÀÇ À¥¹®¼°Ë»ö¼ºñ½º¸¦ ÀÌ¿ëÇÑ °æ¿ì¸¦ º¸ÀÚ. ±¸±ÛÀÇ À¥¹®¼°Ë»ö¼ºñ½º¸¦ ÀÌ¿ëÇÑ °æ¿ì À¥¹®¼°Ë»ö°á°ú ¿ìÃø¿¡
ÄÚ¸®¾Æ¿ÍÀÌÁî³ÓÀÇ À¥¹®¼°Ë»ö¼ºñ½º¸¦ ÀÌ¿ëÇÑ °æ¿ì À¥¹®¼°Ë»ö°á°ú ¿ìÃø¿¡
¶õ ·Î°í°¡ ÀÖ´Ù.
°¢ °Ë»ö¿£Áø¿¡ À¥»çÀÌÆ®(µð·ºÅ丮)µî·Ï ¸øÁö ¾Ê°Ô ¸ÞÀÌÀú±Þ°Ë»ö¿£Áø¿¡ À¥¹®¼°Ë»ö¼ºñ½º¸¦ Á¦°øÇϰí ÀÖ´Â ±¸±Û°ú ÄÚ¸®¾Æ¿ÍÀÌÁî³Ó¿¡ URLÀ» µî·ÏÇÏ¿© À̵é·ÎºÎÅÍ ¼ºñ½º¸¦ ¹Þ°í ÀÖ´Â °Ë»ö¿£ÁøÀÇ À¥¹®¼°Ë»ö°á°ú¿¡ ÀÚ½ÅÀÇ È¨ÆäÀÌÁö°¡ °Ë»öµÇµµ·Ï ÇÏÀÚ.
5.·Îº¿ ¹èÁ¦¹æ¹ý
°Ë»ö·Îº¿ÀÇ ¹®Á¦Á¡
·Îº¿À̶ó´Â ÇÁ·Î±×·¥ÀÌ ³×Æ®¿öÅ©¸¦ µ¹¾Æ´Ù´Ï°Ô µÇ¸é ÀÚÄ© ³×Æ®¿öÅ©¿¡ ¾öû³ Æ®·¡ÇÈ(Traffic)ÀÌ ¹ß»ýÇÒ ¼ö ÀÖ½À´Ï´Ù. Áï, ³×Æ®¿öÅ©¿¡ °úºÎÇϰ¡ °É·Á ƯÁ¤ »çÀÌÆ®¿¡ Á¢¼ÓÀÌ Àß µÇÁö ¾Ê°Å³ª ¼Óµµ°¡ ´À·ÁÁö´Â ¹®Á¦°¡ »ý±æ ¼ö ÀÖ½À´Ï´Ù. ¶ÇÇÑ µ¿È£È¸ ¸í´Ü, Á÷Àå ÀüȹøÈ£µî ¿øÄ¡ ¾ÊÀº Á¤º¸°¡ °Ë»ö¿£Áø¿¡ ³ëÃâµÇ´Â °á°ú°¡ »ý±æ ¼öµµ ÀÖ½À´Ï´Ù.
ÇØ°á¹æ¾È
1) ù ¹øÂ°·Î ¾î¶² »çÀÌÆ®¸¦ º¸·Á¸é ID¿Í ºñ¹Ð¹øÈ£°¡ ÇÊ¿äÇϵµ·Ï ¸¸µå´Â ¹æ¹ýÀÔ´Ï´Ù.
ÀÌ °æ¿ì ·Îº¿Àº ÇØ´ç »çÀÌÆ®ÀÇ ID¿Í ºñ¹Ð¹øÈ£¸¦ °¡Áö°í ÀÖÁö ¾Ê±â ¶§¹®¿¡ Á¢±ÙÇÒ ¼ö°¡ ¾ø°Ô µË´Ï´Ù. ÀÌ ¹æ¹ýÀº ·Îº¿ÀÇ Á¢±ÙÀ» Á÷Á¢ÀûÀ¸·Î ¹èÁ¦ÇÏ´Â °·ÂÇÑ ¼ö´ÜÀÌÁö¸¸ »çÀÌÆ®¸¦ »ç¿ëÇÏ´Â »ç¶÷µéµµ ID¿Í ºñ¹Ð¹øÈ£¸¦ ÀÔ·ÂÇØ¾ß ÇÏ´Â ºÒÆíÇÔÀÌ ÀÖ½À´Ï´Ù. °£È¤ ID¿Í ºñ¹Ð¹øÈ£·Î ¸·¾Æ³õÀº ÆäÀÌÁö°¡ ³×À̹öÀÇ À¥¹®¼ °Ë»ö¿¡ ³ëÃâµÈ´Ù´Â ¹®Àǰ¡ µé¾î¿À±âµµ ÇÕ´Ï´Ù.
ÇÏÁö¸¸ ¸µÅ©·Î ¿¬°áµÇÁö ¾Ê´Â ÇÑ ³×À̹öÀÇ ·Îº¿Àº ºñ¹Ð¹øÈ£·Î º¸¾ÈÀ» °É¾î³õÀº ¹®¼¿¡ Á¢±ÙÇÏÁö ¸øÇÕ´Ï´Ù. ºñ¹Ð¹øÈ£·Î º¸¾ÈÀ» °É¾î³õ¾Ò´Âµ¥µµ À¥°Ë»ö¿¡ ³ëÃâÀÌ µÇ´Â °æ¿ì´Â ¾î¶² »ç¶÷(ÁÖ·Î ³»ºÎÀÚ)ÀÌ ÇØ´ç ¹®¼ÀÇ URLÀ» ´Ù¸¥ À¥ÆäÀÌÁö¿¡ Àû¾î³õ¾Ò±â ¶§¹®ÀÏ °¡´É¼ºÀÌ Å®´Ï´Ù.
2)µÎ ¹øÂ°·Î ·Îº¿ ¹èÁ¦(Robot exclusion) Ç¥ÁØÀ» µû¸£´Â ¹æ¹ýÀÌ ÀÖ½À´Ï´Ù.·Îº¿ ¹èÁ¦ Ç¥ÁØÀ̶õ ¸» ±×´ë·Î À¥¹®¼¸¦ ¼öÁýÇØ °¡´Â ·Îº¿À» ¹èÁ¦ÇÑ´Ù´Â ¶æÀÔ´Ï´Ù. ·Îº¿ÀÇ ¹èÁ¦¿Í °ü·ÃµÈ ³»¿ëÀ» Àû¾î ³õÀº robots.txt ÆÄÀÏÀ» »çÀÌÆ®ÀÇ ÃÖ»óÀ§ ÁÖ¼Ò(¼¹ö ·çÆ® µð·ºÅ丮 ¿¹:www.gaseo.com/robots.txt)¿¡ ÀúÀåÇÏ¸é µË´Ï´Ù. robots.txt¸¦ ¼ºêµð·ºÅ丮¿¡ ³õ´Â °æ¿ì È¿·ÂÀÌ ¾ø´Ù´Â »ç½Ç¿¡ ÁÖÀÇÇϼ¼¿ä.¿¹¸¦ µé¾î, www.yourhost/~mypage ¹Ø¿¡ robots.txt°¡ À־ ÀÌ´Â ¾Æ¹«·± È¿·ÂÀ» °®Áö ¸øÇÕ´Ï´Ù. ·Îº¿Àº ¿ÀÁ÷ ·çÆ® µð·ºÅ丮ÀÇ robots.txt¸¸À» ÂüÁ¶ÇÒ »ÓÀÔ´Ï´Ù. ·Îº¿ÀÇ Á¢±ÙÀ» ¾îµð±îÁö Çã¿ëÇÒ °ÍÀ̳Ŀ¡ µû¶ó robots.txt¿¡ µé¾î°¡´Â ³»¿ëÀº ´Þ¶óÁý´Ï´Ù.·Îº¿ ¹èÁ¦¿¡ ´ëÇÑ º¸´Ù ÀÚ¼¼ÇÑ ³»¿ëÀº http://www.robotstxt.org¿¡¼ È®ÀÎÇÒ ¼ö ÀÖ½À´Ï´Ù.
(1) ¸ðµç ·Îº¿À» ¹èÁ¦ÇÏ°í ½ÍÀ» ¶§
User-agent: * Disallow: /
(2) ¸ðµç ·Îº¿À» Çã¿ëÇÏ°í ½ÍÀ» ¶§ ÀÌ °æ¿ì¿¡´Â ¡°robots.txt¡±¸¦ ÀÛ¼ºÇÒ Çʿ䰡 ¾øÀ¸³ª, ±»ÀÌ ÀÛ¼ºÀ» ÇÏÀÚ¸é ´ÙÀ½°ú °°½À´Ï´Ù. ( (1)°ú ºñ±³ÇßÀ» ¶§ ¡°/¡±°¡ ºüÁ® ÀÖ½À´Ï´Ù.)
User-agent: * Disallow:
(3) ¸ðµç ·Îº¿¿¡°Ô ¼¹öÀÇ ÀϺκи¸À» Á¦ÇÑÇÏ°í ½ÍÀ» ¶§
User-agent: * Disallow: /my_photo/ Disallow: /my_diary/
ÀÌ·¸°Ô ÀÛ¼ºÇÏ¸é ·Îº¿Àº my_photo, my_diary¶ó´Â Æú´õ¿¡ ¼ÓÇÑ À¥¹®¼¿¡ Á¢±ÙÇÒ ¼ö ¾ø½À´Ï´Ù.
(4) ƯÁ¤ ·Îº¿¸¸À» ¹èÁ¦ÇÏ°í ½ÍÀ» ¶§ ¾Æ·¡ÀÇ ¿¹¿¡¼´Â ¡°EvilRobot¡±À̶ó´Â À̸§À» °¡Áø ·Îº¿¸¸À» ¹èÁ¦ÇÏ°Ô µË´Ï´Ù.
User-agent: EvilRobot Disallow: /
(5) ƯÁ¤ ·Îº¿¿¡°Ô¸¸ Á¢±ÙÀ» Çã¿ëÇÏ°í ½ÍÀ» ¶§ ¾Æ·¡ÀÇ °æ¿ì Cowbot¸¸ÀÌ À¥¹®¼¸¦ ¼öÁýÇØ°¥ ¼ö ÀÖ½À´Ï´Ù.
User-agent: Cowbot Disallow: User-agent: * Disallow: /
3)¼¼ ¹øÂ°·Î ¸ÞŸÅ±׸¦ ÀÌ¿ëÇÏ´Â ¹æ¹ý
¡°robots.txt¡±¸¦ ÀÛ¼ºÇÏ´Â °Í°ú À¯»çÇÑ ¹æ¹ýÀ¸·Î HTML¹®¼ÀÇ ¿Í ÅÂ±× »çÀÌ¿¡ ¶ó´Â ¸ÞŸÅ±׸¦ Ãß°¡ÇÏ¸é ·Îº¿Àº À¥¹®¼¸¦ °¡Á®°¥ ¼ö ¾ø½À´Ï´Ù. ÀÌ ¹æ¹ýÀº ´Ù¼Ò ¹ø°Å·Ó±â´Â ÇÏÁö¸¸ ¹®¼ ÇϳªÇϳª¿¡ ´ëÇØ Á¤È®ÇÏ°Ô ¸í½Ã¸¦ ÇØÁֱ⠶§¹®¿¡ °¡Àå È®½ÇÇÏ°Ô ·Îº¿ÀÇ Á¢±ÙÀ» ¸·À» ¼ö ÀÖ´Â ¹æ¹ýÀÔ´Ï´Ù.
|