На главную Инструменты Панель оптимизатора

Новости Реклама у нас Обратная связь

Бесплатная доска объявлений по всей России - Do-Ska.ru

15.06.2015 в 17:02 Открытия панели отпимизатора!

Google pr	16.06.2015

Яндекс ТиЦ	25.06.2019
поиск	28.06.2019
каталог	16.01.2018

Витрина ссылок[Добавить]

доска объявлений подать объявление Аквалайн Пермь

Анализ сайта

Войти или зарегистрироваться

Забыли пароль?

Главная Инструменты Анализ сайта

Данный инструмент поможет Вам Выполнить анализ сайта по наиболее значимым показателям сайта.

URL	contentmastery.io (WHOIS IP, WHOIS DOMAIN)
Заголовок	contentmastery.io - Web Marketing & SEO Consultant Based in Bangkok Thailand
Ключевые слова	(нет)
Описание	ให้คำปรึกษาการทำ SEO & Web (Consultant) สำหรับองค์กร บริษัทและเจ้าของธุรกิจ รวมทั้ง SEO Training สำหรับองค์กรธุรกิจต่าง ๆ
Тэг h1	Web Marketing and SEO Consultant based in Bangkok Thailand
Размер страницы	41.12 Kb
Кодировка	UTF-8
IP сайта	104.21.66.228 Все сайты на IP
Скорость загрузки	40.35 Kb/s
Время загрузки	1.02 sec
Перенаправление	https://contentmastery.io/
Внутренние / внешние ссылки	Анализ
Анализ контента страницы	Выполнить
Посетителей за сутки по LI	?
Посетителей за месяц по LI	?
Сервер сайта	104.21.66.228
Расположение датацентра	?
Сервер	cloudflare
Заработок	Вы можете зарабатывать на сайте более 150$

Постоянная ссылка на страницу

http://qoogoo.perm.ru/tools/analysis/contentmastery.io

Основные показатели сайта[ Скрыть ]

Яндекс ТиЦ: 0

Склей домена: Нет

С WWW

Без WWW

Яндекс Ранг: 0 из 6

Яндекс.Каталог: (не описан в каталоге)

Поднять ТиЦ регистрируя сайт в каталогах

Google PageRank: 0 из 10

Alexa Traffic Rank: ?

Alexa Traffic Rank (график):

Счетчик Live Internet:

Общие данные сайта[ Скрыть ]

Поддержка JavaScript отключена!

Поисковый трафик с Google[ Скрыть ]

Backlink History (Majestic SEO)[ Скрыть ]

Наличие сайта в каталогах[ Скрыть ]

Яндекс Каталог: (Нет)	Посмотреть	DMOZ:	Посмотреть
Google каталог:	Посмотреть	Mail.ru:	Посмотреть
Aport:	Посмотреть	Rambler Top 100:	Посмотреть

Проиндексировано страниц[ Скрыть ]

Яндекс:	Посмотреть	Google:	Посмотреть
Bing:	Посмотреть	Yahoo:	Посмотреть
Rambler:	Посмотреть

Ссылаются на сайт из[ Скрыть ]

Яндекс:	Посмотреть	Сайты из Я-Каталога:	Посмотреть
Яндекс блоги:	Посмотреть	Google:	Посмотреть
Google блоги:	Посмотреть	Yahoo:	Посмотреть
Bing:	Посмотреть	Rambler:	Посмотреть
Яндекс картинки:	Посмотреть	Google картинки:	Посмотреть

Дополнительная информация[ Скрыть ]

В кэше Google:	Посмотреть	В кэше Yandex:	Посмотреть
Похожие сайты в Google:	Посмотреть	История сайта:	Посмотреть
Упоминания в Ответы@Mail.ru:	Посмотреть	Поиск плагиата:	Посмотреть

Дополнительные инструменты[ Скрыть ]

Проверка валидности HTML:	Посмотреть	Проверка валидности CSS:	Посмотреть
Ping\Traceroute\DNS:	Посмотреть	Скорость загрузки страницы:	Посмотреть

Данные страницы[ Скрыть ]

Ответ сервера

HTTP/1.1 200 OK
Date: Tue, 19 Nov 2024 10:19:07 GMT
Content-Type: text/html; charset=utf-8
Transfer-Encoding: chunked
Connection: keep-alive
X-Frame-Options: SAMEORIGIN
Vary: Cookie
Strict-Transport-Security: max-age=60; includeSubDomains; preload
X-Content-Type-Options: nosniff
Referrer-Policy: same-origin
Cross-Origin-Opener-Policy: same-origin
Set-Cookie: csrftoken=PuDDsu3PW6Cn9rpz2rf7cgznyNmItFOu; expires=Tue, 18 Nov 2025 10:19:07 GMT; Max-Age=31449600; Path=/; SameSite=Lax; Secure
CF-Cache-Status: DYNAMIC
Report-To: {"endpoints":[{"url":"https:\/\/a.nel.cloudflare.com\/report\/v4?s=EBimGEInverQ3mcPrkniJj0bsIPJhDuujxrqUSWCG6lzw6nHxT%2BSNs9QyvWyorX3NnVHhKlAZ8yyOUQ5U6Qr2lUV39uYnWU27dIwSk0mRn2zOExATwGj7K286WBPpksdHZWxpQ%3D%3D"}],"group":"cf-nel","max_age":604800}
NEL: {"success_fraction":0,"report_to":"cf-nel","max_age":604800}
Server: cloudflare
CF-RAY: 8e4f75c9ad0f6ea0-SOF
alt-svc: h3=":443"; ma=86400
server-timing: cfL4;desc="?proto=TCP&rtt=818&sent=5&recv=7&lost=0&retrans=0&sent_bytes=2853&recv_bytes=490&delivery_rate=3624530&cwnd=251&unsent_bytes=0&cid=5f6773a6ecfee9ff&ts=292&x=0"

Файл robots.txt, размер: 34.04 Kb , проверить на Яндекс.Вебмастер

<!DOCTYPE html>
<html lang="th">
  <head>
    <meta charset="utf-8">  <title>เข้าใจ robots.txt พร้อมวิธีการใช้งานที่ถูกต้อง</title>
<meta name="description" content="robots.txt คือ ไฟล์ที่ใช้บอก Search Engine เช่น Google, Bing, Yandex, etc  เกี่ยวกับเนื้อหาที่ควรและไม่ควรให้ Bots เหล่านี้มาเก็บเกี่ยวหน้าเว็บเพจในเว็บไซต์ของเราไปทำการ index" />
<meta name="author" content="Son contentmastery.io" />
<link rel="canonical" href="https://contentmastery.io/blog/robots-txt/" />
<meta property="og:title" content="เข้าใจ robots.txt พร้อมวิธีการใช้งานที่ถูกต้อง | Content Mastery" />
<meta property="og:description" content="robots.txt คือ ไฟล์ที่ใช้บอก Search Engine เช่น Google, Bing, Yandex, etc  เกี่ยวกับเนื้อหาที่ควรและไม่ควรให้ Bots เหล่านี้มาเก็บเกี่ยวหน้าเว็บเพจในเว็บไซต์ของเราไปทำการ index" />
<meta property="og:type" content="article" />
<meta property="og:url" content="https://contentmastery.io/blog/robots-txt/" />
<meta property="og:image" content="https://contentmastery.io/media/blog-cover/robots_txt.jpg" />
<meta property="og:site_name" content="Content Mastery" />
<meta name="twitter:card" content="summary_large_image" />
<meta name="twitter:site" content="@contentmastery" />
<meta name="twitter:title" content="เข้าใจ robots.txt พร้อมวิธีการใช้งานที่ถูกต้อง" />
<meta name="twitter:description" content="robots.txt คือ ไฟล์ที่ใช้บอก Search Engine เช่น Google, Bing, Yandex, etc  เกี่ยวกับเนื้อหาที่ควรและไม่ควรให้ Bots เหล่านี้มาเก็บเกี่ยวหน้าเว็บเพจในเว็บไซต์ของเราไปทำการ index" />
<meta name="twitter:image" content="https://contentmastery.io/media/blog-cover/robots_txt.jpg" />
 
  
    <meta name="viewport" content="width=device-width, initial-scale=1, shrink-to-fit=no">
    <link href="/static/blog/svg/svg/logos/cm2.webp" rel="icon">
    <link rel="stylesheet" href="https://cdn.jsdelivr.net/npm/bootstrap-icons@1.3.0/font/bootstrap-icons.css">
    <link rel="stylesheet" href="/static/blog/css/hs-mega-menu.min.css">
    <link rel="stylesheet" href="/static/blog/css/theme.min.css">
     
     
     
    <noscript>
      <img height="1" width="1" style="display:none" src="https://www.facebook.com/tr?id=636380595282452&ev=PageView&noscript=1" />
    </noscript>
  </head>
  <body>
    <noscript>
      <iframe src="https://www.googletagmanager.com/ns.html?id=GTM-5KW9RGSP" height="0" width="0" style="display:none;visibility:hidden"></iframe>
    </noscript> 
    
 
<header id="header" class="navbar navbar-expand-lg navbar-light bg-white">
    <div class="container">
        <a class="navbar-brand" href="/" aria-label="Go to the homepage">
            <img src="/static/blog/img/cm.webp" alt="contentmastery.io logo" height="60" class="d-inline-block align-top">
        </a>
        <button class="navbar-toggler" type="button" data-bs-toggle="collapse" data-bs-target="#navbarNavDropdown" aria-controls="navbarNavDropdown" aria-expanded="false" aria-label="Toggle navigation">
            <span class="navbar-toggler-icon"></span>
        </button>
        <nav class="collapse navbar-collapse" id="navbarNavDropdown">
            <ul class="navbar-nav ms-auto align-items-center">
                <li class="nav-item dropdown">
                    <a class="nav-link dropdown-toggle" href="#" id="servicesDropdown" role="button" data-bs-toggle="dropdown" aria-expanded="false">
                        Services
                    </a>
                    <ul class="dropdown-menu" aria-labelledby="servicesDropdown">
                        <li><a class="dropdown-item" href="/seo-consultant-service">SEO & Web Consult</a></li>
                        <li><a class="dropdown-item" href="https://contentmastery.io/courses/seo/">SEO Training Course</a></li>
                    </ul>
                </li>
                <li class="nav-item dropdown">
                    <a class="nav-link dropdown-toggle" href="#" id="gtmGa4Dropdown" role="button" data-bs-toggle="dropdown" aria-expanded="false">
                        Resources
                    </a>
                    <ul class="dropdown-menu" aria-labelledby="gtmGa4Dropdown">
                        <li><a class="dropdown-item" href="/blog/">Blog</a></li>
                        <li><a class="dropdown-item" href="/seo-tools/">Web & SEO Tools</a></li>
                        <li><a class="dropdown-item" href="/seo-free-course/">SEO Free Course</a></li>
                        <li><a class="dropdown-item" href="/resources/">Download Free Resources</a></li>
                    </ul>
                </li>              
                <li class="nav-item ms-lg-3">
                    <a href="https://contentmastery.io/seo-consultant-service" class="secondary-cta">Start Consulting</a>
                </li>
            </ul>
        </nav>
    </div>
</header>
  <main id="content" role="main">
  <section class="bg-soft-warning border-bottom">
    <div class="container content-space-1 content-space-md-2">
      <div class="row justify-content-lg-center position-relative zi-2">
        <div class="col-lg-8">
          <nav aria-label="breadcrumb">
            <ol class="breadcrumb">
              <li class="breadcrumb-item">
                <a href="/">Home</a>
              </li>
              <li class="breadcrumb-item">
                <a href="/blog/">Blog</a>
              </li>
              <li class="breadcrumb-item text-muted" aria-current="page">เข้าใจ robots.txt พร้อมวิธีการใช้งานที่ถูกต้อง</li>
            </ol>
          </nav>
          <br>
          <div class="mb-4">
            <h1 class="h2 text-dark">เข้าใจ robots.txt พร้อมวิธีการใช้งานที่ถูกต้อง</h1>
          </div>
          <div class="d-flex align-items-center">
            <div class="flex-grow-1 ms-3">
              <h6 class="mb-0">
                <br>
                <a class="text-dark" href="#">Son contentmastery.io</a>
              </h6>
              <span class="d-block text-muted small">Updated: Aug. 3, 2024</span>
            </div>
          </div>
        </div>
      </div>
    </div>
  </section>
  <div class="shape-container">
    <div class="shape shape-bottom zi-1">
      <svg width="3000" height="0.1" viewBox="0 0 3000 600" fill="none" xmlns="http://www.w3.org/2000/svg">
        <path d="M0 600H3000V0L0 600Z" fill="#fff" />
      </svg>
    </div>
  </div>
  <br>
  <br>
  <section class="container content-space-b-1 content-space-b-md-3">
    <div class="row justify-content-lg-center">
      <div class="col-lg-8">
        <article>
          <p style="line-height: 2;"><span style="font-size: 18px;">robots.txt คือ text file </span><span style='font-size: 18px; font-family: -apple-system, BlinkMacSystemFont, "Segoe UI", Roboto, "Helvetica Neue", Arial, "Noto Sans", sans-serif, "Apple Color Emoji", "Segoe UI Emoji", "Segoe UI Symbol", "Noto Color Emoji";'>อยู่ที่ root ของเว็บไซต์ เช่น example.com/robots.txt </span><span style='font-family: -apple-system, BlinkMacSystemFont, "Segoe UI", Roboto, "Helvetica Neue", Arial, "Noto Sans", sans-serif, "Apple Color Emoji", "Segoe UI Emoji", "Segoe UI Symbol", "Noto Color Emoji"; font-size: 18px;'>ใช้สำหรับควบคุมบอตของ search engines เช่น Google, Bing, Yandex, etc  เกี่ยวกับหน้า URLs </span><span style='font-family: -apple-system, BlinkMacSystemFont, "Segoe UI", Roboto, "Helvetica Neue", Arial, "Noto Sans", sans-serif, "Apple Color Emoji", "Segoe UI Emoji", "Segoe UI Symbol", "Noto Color Emoji"; font-size: 18px;'>หน้าไหนที่อนุญาตหรือไม่อนุญาตให้บอตไปเก็บข้อมูล</span><span style='font-family: -apple-system, BlinkMacSystemFont, "Segoe UI", Roboto, "Helvetica Neue", Arial, "Noto Sans", sans-serif, "Apple Color Emoji", "Segoe UI Emoji", "Segoe UI Symbol", "Noto Color Emoji"; font-size: 18px;'> (crawl) ในเว็บไซต์ของเราไปทำการประมวลผล</span></p><p style="line-height: 2;"><span style="font-size: 18px;">ทำให้เว็บของเราประหยัดหรือควบคุม
 crawl budget ได้ ทำให้มั่นใจได้ว่า มีแต่ URLs หรือหน้าเว็บเพจคุณภาพ 
ที่มีโอกาสได้ traffic จริง ๆ ที่จะถูกนำไปแสดงผลในหน้า search result 
ในลำดับถัดไป</span><span style='font-size: 18px; font-family: -apple-system, BlinkMacSystemFont, "Segoe UI", Roboto, "Helvetica Neue", Arial, "Noto Sans", sans-serif, "Apple Color Emoji", "Segoe UI Emoji", "Segoe UI Symbol", "Noto Color Emoji";'> </span></p><p style="line-height: 2;"><span style='font-size: 18px; font-family: -apple-system, BlinkMacSystemFont, "Segoe UI", Roboto, "Helvetica Neue", Arial, "Noto Sans", sans-serif, "Apple Color Emoji", "Segoe UI Emoji", "Segoe UI Symbol", "Noto Color Emoji";'>เพราะความจริงแล้ว ไม่ใช่ทุกหน้าเว็บเพจของเราที่จำเป็นต้องให้บอตมา crawl ครับ ดังนั้นการมีไฟล์ robots.txt จะทำให้เราสามารถควบคุมส่วนนี้ได้</span></p><p style="line-height: 2;"><span style="font-size: 18px;"><i>Note: ถ้าพื้นฐาน SEO ยังไม่แน่น แนะนำศึกษาเพิ่มเติมในคอร์สเรียน SEO ฟรีของเราในส่วน <a href="https://contentmastery.io/learn-seo/what-is-seo/" target="_blank"><span style="background-color: rgb(255, 255, 255);"><font color="#3984c6">SEO คืออะไร</font></span></a> (ศาสตร์การ optimize web เพื่อติดหน้าแรก Google โดยไม่เสียค่าโฆษณา)<br/></i></span></p><p style="line-height: 1;"><span style="font-size: 18px;"><i><br/></i></span></p><p align="center" style="line-height: 2;"><img src="/media/django-summernote/2024-05-27/de9ac3df-9c1d-45d6-95bd-727355a1cc89.png" style="width: 100%;"/><span style="font-size: 18px;">ตัวอย่าง robots.txt ของ Shopee</span><span style="font-size: 18px;"><br/></span></p><p style="line-height: 2;"><span style="font-size: 18px;"><br/></span></p><p style="line-height: 2;"><span style="font-size: 18px;">จากภาพด้านบนจะเห็นว่ามีการกำหนดชื่อบอตอยู่ 3 ตัว คือ </span></p><ul><li style="line-height: 1.5;"><span style="font-size: 18px;">Googlebot</span></li><li style="line-height: 1.5;"><span style="font-size: 18px;">Googlebot-Mobile</span></li><li style="line-height: 1.5;"><span style="font-size: 18px;">Bingbot<br/></span></li></ul><p style="line-height: 1;"><span style="font-size: 18px;"><br/></span></p><p style="line-height: 2;"><span style="font-size: 18px;">และนี่ก็คือบอตที่เรามักจะเห็นกันบ่อย ๆ ถ้าเราเปิด robots.txt โดยเฉพาะของเว็บใหญ่ ๆ ดู</span></p><ul><li style="line-height: 1.5;"><span style="font-size: 18px;">Googlebot (Google)</span></li><li style="line-height: 1.5;"><span style="font-size: 18px;">Bingbot (Bing)</span></li><li style="line-height: 1.5;"><span style="font-size: 18px;">Baiduspider (Baidu)</span></li><li style="line-height: 1.5;"><span style="font-size: 18px;">Slurp Bot (Yahoo)</span></li><li style="line-height: 1.5;"><span style="font-size: 18px;">Yandexbot (Yandex)</span></li><li style="line-height: 1.5;"><span style="font-size: 18px;">DuckDuckBot (DuckDuckGo)<br/></span></li></ul><p class="" style="line-height: 1.2;"><span style="font-size: 18px;">แน่นอนครับว่า Googlebot จะเป็นบอตที่เราเจอได้บ่อยสุด<br/></span></p><p class="" style="line-height: 1;"><span style="font-size: 18px;"><br/></span><span style='font-size: 24px; font-family: "Helvetica Neue"; background-color: rgb(255, 255, 255);'><b><font color="#000000"><br/></font></b></span></p><h2 class="" id="robotstxt" style="line-height: 1.2;"><span style='font-size: 24px; font-family: "Helvetica Neue"; background-color: rgb(255, 255, 255);'><b><font color="#000000">ข้อดีของ robots.txt</font></b></span></h2><ol><li style="line-height: 2;"><p class="" style="line-height: 2;"><strong><span style="font-size: 18px;">ควบคุมการเข้าถึงของบอต</span></strong><span style="font-size: 18px;">: robots.txt ช่วยให้เจ้าของเว็บไซต์สามารถกำหนดได้ว่าหน้าไหนหรือไฟล์ไหนที่ไม่ต้องการให้บอตค้นหาหรือเข้าถึง เช่น ไฟล์ที่มีข้อมูลส่วนตัวหรือหน้าที่ไม่สำคัญสำหรับการทำ SEO เช่น หน้าแดชบอร์ดของผู้ใช้ ฯลฯ<br/></span></p></li><li style="line-height: 2;"><p style="line-height: 2;"><span style="font-size: 18px;"><b>ประหยัด banwidth & resources</b></span><span style="font-size: 18px;">: ด้วยการป้องกันไม่ให้บอตเข้าถึงบางส่วนของเว็บไซต์ สามารถลดปริมาณการใช้แบนด์วิดท์และโหลดบนเซิร์ฟเวอร์ ทำให้เว็บไซต์ทำงานได้เร็วและมีประสิทธิภาพมากขึ้น คือเว็บเบาขึ้นนั่นเองครับ</span></p></li><li style="line-height: 2;"><p style="line-height: 2;"><strong><span style="font-size: 18px;">ป้องกันการจัดอันดับของหน้าที่ไม่ต้องการ</span></strong><span style="font-size: 18px;">: บางครั้งหน้าเว็บบางหน้าที่ไม่ต้องการให้ถูกค้นห</span><span style="font-size: 18px;">า เช่น หน้าที่ซ้ำกันหรือหน้าทดสอบ (เช่นหน้าที่อยู่ใน UAT ที่ยังไม่ใช่หน้าเว็บ production ใช้งานจริง สำหรับ software dev จะคุ้นเคยกับหน้านี้) สามารถใช้ robots.txt เพื่อป้องกันไม่ให้บอตจัดอันดับหน้าเหล่านี้</span></p></li><li style="line-height: 2;"><p style="line-height: 2;"><strong><span style="font-size: 18px;">ช่วยปรับ SEO ranking</span></strong><span style="font-size: 18px;">: การใช้ robots.txt อย่างถูกต้องสามารถช่วยให้บอตของเสิร์ชเอนจินโฟกัสไปที่เนื้อหาหรือ URL ที่สำคัญและมีคุณภาพ</span><span class="" data-state="closed"><span class="text-token-text-secondary" style="font-size: 18px;"> ทำให้</span></span><span style="font-size: 18px;">ช่วยในการปรับการจัดอันดับ SEO โดยรวมให้ดีขึ้นได้</span></p><p style="line-height: 2;"><span style="font-size: 18px;"><br/></span></p></li></ol><h2 class="" id="robotstxt" style="line-height: 1.2;"><span style='font-size: 24px; font-family: "Helvetica Neue"; background-color: rgb(255, 255, 255);'><b><font color="#000000">โครงสร้างของ robots.txt</font></b></span></h2><p style="line-height: 2;"><span style="font-size: 18px;">ไฟล์ robots.txt นั้นเป็นไฟล์รูปแบบ text file โดยให้ตั้งชื่อไฟล์เป็น "robots.txt" (ต้องชื่อนี้เท่านั้น) และนำไปอัปโหลดไว้ที่ หรือให้ทำการ map URL ไปที่ root ของเว็บไซต์ (ปกติ web dev จะทำส่วนนี้ให้เรา หรือไม่ถ้าเพื่อน ๆ ที่ใช้ WordPress ก็จะมีปลั๊กอินส่วนนี้ครับ)</span></p><p style="line-height: 2;"><span style="font-size: 18px;">โดยโครงสร้างของไฟล์ robots.txt ประกอบด้วยส่วนต่าง ๆ ดังนี้</span></p><h3 class="" id="user-agent" style="line-height: 1.2;"><span style='font-size: 18px; background-color: rgb(255, 255, 255); font-family: "Helvetica Neue";'><b><font color="#000000">User-agent</font></b></span></h3><p style="line-height: 2;"><span style="font-size: 18px;">user-agent คือ ชื่อบอตของเสิร์ชเอนจินที่จะมา crawl หน้าเว็บ หากต้องการกำหนดกฎเฉพาะสำหรับบอตนั้น ๆ สามารถระบุ User-agent ของบอตนั้นได้ เช่น บอตที่นิยมที่สุดคือ Googlebot (สำหรับ Google), Bingbot (สำหรับ Bing) หรือ * (wildcard) สำหรับทุก Search Engines</span></p><pre class="language-textile" style='margin-top: 0.5em; margin-bottom: 0.5em; padding: 1em; font-family: Consolas, Monaco, "Andale Mono", "Ubuntu Mono", monospace; hyphens: none; max-height: 30em; color: rgb(0, 0, 0); background: rgb(245, 242, 240); text-shadow: white 0px 1px; font-size: 16px; word-break: normal; overflow-wrap: normal; line-height: 1.5; tab-size: 4;' tabindex="0"><code class="language-bash" style='margin: 0px; padding: 0px; font-family: Consolas, Monaco, "Andale Mono", "Ubuntu Mono", monospace; hyphens: none; color: black; background: none; text-shadow: white 0px 1px; font-size: 1em; word-spacing: normal; overflow-wrap: normal; line-height: 1.5; tab-size: 4;'>User-agent: *</code></pre><h3 class="" id="" style="line-height: 1;"><span style='font-size: 18px; background-color: rgb(255, 255, 255); font-family: "Helvetica Neue";'><b><font color="#000000"><br/></font></b></span></h3><h3 class="" id="disallow" style="line-height: 1.2;"><span style='font-size: 18px; background-color: rgb(255, 255, 255); font-family: "Helvetica Neue";'><b><font color="#000000">Disallow</font></b></span></h3><p style="line-height: 2;"><span style="font-size: 18px;">disallow คือ เส้นทาง (route) ของ URL ที่ไม่ควรให้เสิร์ชเอนจินค้นหาเข้าถึงหน้าใด ๆ บนเว็บไซต์ โดยเราสามารถกำหนด route ของ URL นั้นในส่วน Disallow เช่น Disallow: /admin/ จะหมายถึงไม่ควรให้ค้นหาหน้าใน  /admin/ , /user/, ... /secret-page/ นั่นเอง ซึ่งอันนี้ก็สมเหตุสมผลใช่ไหมครับ เพราะไม่มีความจำเป็นที่จะให้บอตมาเก็บเกี่ยวหน้าแอดมินหรือหน้าที่ user ของเราเพื่อไปแสดงผลบน search result</span></p><p style="line-height: 2;"><span style="font-size: 18px;">และอีกหน้าที่ใช้บ่อยคือหน้าเสิร์ช ลองจินตนาการดูว่า ถ้าเว็บเรามีหน้าเสิร์ช เช่น /search?q='keyword' (q คือ URL พารามิเตอร์) โอกาสเป็นไปได้ของหน้าใหม่ ๆ ที่จะเกิดขึ้นนี่เรียกได้ว่า unlimited กันเลยทีเดียว ดังนั้นก็จัดการ Disallow หน้านี้ไว้โลด</span></p><pre class="" style="line-height: 2;"><pre class="language-textile" style='font-family: Consolas, Monaco, "Andale Mono", "Ubuntu Mono", monospace; font-size: 16px; margin-top: 0.5em; margin-bottom: 0.5em; color: rgb(0, 0, 0); padding: 1em; hyphens: none; max-height: 30em; background: rgb(245, 242, 240); text-shadow: white 0px 1px; word-break: normal; overflow-wrap: normal; line-height: 1.5; tab-size: 4;' tabindex="0"><pre class="language-textile" tabindex="0"><code class="language-markup"># ห้ามเข้าถึงหน้าผู้ใช้และข้อมูลส่วนตัว
Disallow: /user/
Disallow: /account/
Disallow: /profile/
Disallow: /dashboard/

# ห้ามเข้าถึงหน้าแอดมิน
Disallow: /admin/
Disallow: /wp-admin/

# ห้ามเข้าถึงไฟล์และ directory เหล่านี้
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /private/
Disallow: /.htaccess
Disallow: /wp-includes/

# ห้ามเข้าถึงหน้าเสิร์ช
Disallow: /search/
Disallow: /search?q=</code></pre></pre></pre><h3 class="" id="" style="line-height: 1;"><span style='font-size: 18px; font-family: "Helvetica Neue"; background-color: rgb(255, 255, 255);'><b><font color="#000000"><br/></font></b></span></h3><h3 class="" id="allow" style="line-height: 1.2;"><span style='font-size: 18px; font-family: "Helvetica Neue"; background-color: rgb(255, 255, 255);'><b><font color="#000000">Allow</font></b></span></h3><p style="line-height: 2;"><span style="font-size: 18px;">allow คือ เส้นทาง (route) ของ URL ที่ต้องการอนุญาตให้เสิร์ชเอนจินทำการค้นหาหน้าใด ๆ ที่อยู่ใน route ที่ต้อง (หน้าที่ต้องการให้บอตมาเก็บข้อมูล)</span></p><p style="line-height: 2;"><span style="font-size: 18px;">ปกติท่าที่หลายคนใช้ก็คือ จะอนุญาตทั้งหมด โดยใช้เป็น Allow: / แล้วค่อยไป disallow ตัว path ที่ต้องการ ซึ่งอันนี้สะดวกกว่า เพราะปกติหน้าที่ต้อง disallow นั้นมีน้อยกว่าอยู่แล้ว  (หรือบางทีก็ไม่จำเป็นต้องกำหนด Allow ก็ได้ เพราะมันเป็น default อยู่แล้วครับ กำหนดแค่ Disallow ก็พอ)</span></p><pre class="language-textile" style='font-family: Consolas, Monaco, "Andale Mono", "Ubuntu Mono", monospace; font-size: 16px; margin-top: 0.5em; margin-bottom: 0.5em; color: rgb(0, 0, 0); padding: 1em; hyphens: none; max-height: 30em; background: rgb(245, 242, 240); text-shadow: white 0px 1px; word-break: normal; overflow-wrap: normal; line-height: 1.5; tab-size: 4;' tabindex="0"><code class="language-bash" style='font-family: Consolas, Monaco, "Andale Mono", "Ubuntu Mono", monospace; font-size: 1em; color: black; margin: 0px; padding: 0px; hyphens: none; background: none; text-shadow: white 0px 1px; word-spacing: normal; overflow-wrap: normal; line-height: 1.5; tab-size: 4;'>Allow: /</code></pre><p style="line-height: 2;"><br/></p><h3 class="" id="sitemap" style="line-height: 1.2;"><span style='font-size: 18px; background-color: rgb(255, 255, 255); font-family: "Helvetica Neue";'><b><font color="#000000">Sitemap</font></b></span></h3><p style="line-height: 2;"><span style="font-size: 18px;">คือ แผนผังของเว็บไซต์ ซึ่งเป็นไฟล์ที่เก็บรวบรวมลิงก์ทั้งหมดของเว็บที่เราต้องการ index เพื่อช่วยในการค้นหาลิงก์ในเว็บไซต์ของเราได้สะดวกมากยิ่งขึ้น</span></p><p style="line-height: 2;"><span style="font-size: 18px;"> คือถ้าอยากให้ Googlebot มาเก็บเกี่ยวลิงก์เพื่อไป index อยู่เป็นประจำให้สร้างไฟล์ sitemap.xml เพื่อทำ sitemap ครับ เพราะเรายังสามารถกำหนดความถี่ที่จะให้บอตมา crawl หน้า URLs นั้น ๆ ได้ ไม่ว่าจะเป็น daily, weekly, monthly อะไรทำนองนี้</span></p><pre class="language-textile" style='font-family: Consolas, Monaco, "Andale Mono", "Ubuntu Mono", monospace; font-size: 16px; margin-top: 0.5em; margin-bottom: 0.5em; color: rgb(0, 0, 0); padding: 1em; hyphens: none; max-height: 30em; background: rgb(245, 242, 240); text-shadow: white 0px 1px; word-break: normal; overflow-wrap: normal; line-height: 1.5; tab-size: 4;' tabindex="0"><code class="language-bash" style='font-family: Consolas, Monaco, "Andale Mono", "Ubuntu Mono", monospace; font-size: 1em; color: black; margin: 0px; padding: 0px; hyphens: none; background: none; text-shadow: white 0px 1px; word-spacing: normal; overflow-wrap: normal; line-height: 1.5; tab-size: 4;'>Sitemap: https://www.example.com/sitemap.xml</code></pre><p style="line-height: 1;"><br/></p><p style="line-height: 2;"><span style="font-size: 18px;">ตัวอย่างไฟล์ Robots.txt แบบเต็ม </span></p><pre class="language-markup" style='margin-top: 0.5em; margin-bottom: 0.5em; padding: 1em; font-family: Consolas, Monaco, "Andale Mono", "Ubuntu Mono", monospace; hyphens: none; max-height: 30em; color: rgb(0, 0, 0); background: rgb(245, 242, 240); text-shadow: white 0px 1px; font-size: 16px; word-break: normal; overflow-wrap: normal; line-height: 1.5; tab-size: 4;' tabindex="0"><code class="language-markup" style='margin: 0px; padding: 0px; font-family: Consolas, Monaco, "Andale Mono", "Ubuntu Mono", monospace; hyphens: none; color: black; background: none; text-shadow: white 0px 1px; font-size: 1em; word-spacing: normal; overflow-wrap: normal; line-height: 1.5; tab-size: 4;'>User-agent: *

# ห้ามเข้าถึงหน้าผู้ใช้และข้อมูลส่วนตัว
Disallow: /user/
Disallow: /account/
Disallow: /profile/
Disallow: /dashboard/

# ห้ามเข้าถึงหน้าแอดมิน
Disallow: /admin/
Disallow: /wp-admin/

# ห้ามเข้าถึงไฟล์และ directory เหล่านี้
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /private/
Disallow: /.htaccess
Disallow: /wp-includes/

# ห้ามเข้าถึงหน้าเสิร์ช
Disallow: /search/
Disallow: /search?q=

Sitemap: https://www.example.com/sitemap.xml</code></pre><p style="line-height: 1;"><span style="font-size: 18px;"><br/></span></p><p style="line-height: 2;"><span style="font-size: 18px;"><br/></span></p><h2 class="" id="" style="line-height: 1;"><b style="font-size: 24px;">สิ่งที่ต้องระมัดระวัง</b></h2><p class="" style="line-height: 2;"><span style="font-size: 18px;">หากเว็บไซต์ของเรามีการเพิ่มไฟล์ robots.txt แต่ไม่ได้ตั้งค่าให้ถูกต้องนั้น ก็อาจจะส่งผลเสียมากกว่าผลดีได้เลย เช่น เผลอไป disallow หน้าที่ไม่ควร disallow ก็จะทำให้เกิดปัญหาที่บอตเข้ามาเก็บข้อมูลหน้านั้น ๆ ไม่ได้ จนทำให้เกิดปัญหาในการนำไป index </span><span style='font-size: 18px; font-family: -apple-system, BlinkMacSystemFont, "Segoe UI", Roboto, "Helvetica Neue", Arial, "Noto Sans", sans-serif, "Apple Color Emoji", "Segoe UI Emoji", "Segoe UI Symbol", "Noto Color Emoji";'>ดังนั้นจึงต้องระมัดระวังในขั้นตอนนี้พอสมควร</span></p><p class="" style="line-height: 2;"><span style="font-size: 18px;"></span><span style="font-size: 18px;"><b><span style="font-size: 24px;"><br/></span></b></span></p><p style="line-height: 1;"><span style="font-size: 24px;"><b>สรุป</b></span></p><p style="line-height: 2;"></p><p style="line-height: 2;"><span style="font-size: 18px;">ควรตั้งค่าไฟล์ robots.txt อย่างระมัดระวัง ถ้าเป็นเว็บเล็ก ๆ มี URLs ไม่กี่หน้า ไม่มีส่วนที่ต้องซ่อนหน้า URL หรือต้องการให้หน้าเว็บไป index ทุกหน้าก็คิดว่าไม่จำเป็นต้องไปก็ได้ครับ (ตัวอย่าง เช่น contentmastery.io ก็ไม่ได้มีไฟล์นี้) </span></p><p style="line-height: 2;"><span style="font-size: 18px;">แต่ถ้าเว็บไซต์ขนาดกลาง ถึงเว็บใหญ่ ๆ ที่มี URLs เยอะมาก ๆ เป็นเว็บใหญ่ที่มี </span><span style='font-size: 18px; font-family: -apple-system, BlinkMacSystemFont, "Segoe UI", Roboto, "Helvetica Neue", Arial, "Noto Sans", sans-serif, "Apple Color Emoji", "Segoe UI Emoji", "Segoe UI Symbol", "Noto Color Emoji";'>URLs ในระดับหลายพัน หมื่น แสนหรือล้านนี่ </span><span style='font-size: 18px; font-family: -apple-system, BlinkMacSystemFont, "Segoe UI", Roboto, "Helvetica Neue", Arial, "Noto Sans", sans-serif, "Apple Color Emoji", "Segoe UI Emoji", "Segoe UI Symbol", "Noto Color Emoji";'> ก็คงควรต้องมีครับ เพื่อที่จะสามารถควบคุมและจัดการการ crawl ของบอต ซึ่งจะช่วยให้บอตมาเก็บข้อมูลหน้าเว็บที่สำคัญ ๆ และหน้าที่จำเป็นเท่านั้น เป็นผลให้ประสิทธิภาพ SEO และ visibility (การมองเห็น) ของเว็บไซต์เราดีขึ้นครับ </span></p><p style="line-height: 2;"><span style="font-size: 18px;"><br/></span></p><p style="line-height: 2;"><span style="font-size: 18px;">ที่มา</span></p><ul><li style="line-height: 2;"><span style="font-size: 18px;"><a href="https://developers.google.com/search/docs/crawling-indexing/robots/intro" target="_blank">Google Search Central</a></span></li><li style="line-height: 2;"><span style="font-size: 18px;"><a href="https://www.semrush.com/blog/beginners-guide-robots-txt/" target="_blank">Semrush</a></span></li></ul>
        </article>
        <div class="social-share mt-5 mb-5">
          <h5 class="mb-3">แชร์บทความนี้</h5>
          <div class="d-flex">
            <a href="https://www.facebook.com/sharer/sharer.php?u=https://contentmastery.io/blog/robots-txt/" target="_blank" class="btn btn-outline-dark me-2">
              <i class="bi bi-facebook me-1"></i> Facebook </a>
            <a href="https://twitter.com/intent/tweet?url=https://contentmastery.io/blog/robots-txt/&text=%E0%B9%80%E0%B8%82%E0%B9%89%E0%B8%B2%E0%B9%83%E0%B8%88%20robots.txt%20%E0%B8%9E%E0%B8%A3%E0%B9%89%E0%B8%AD%E0%B8%A1%E0%B8%A7%E0%B8%B4%E0%B8%98%E0%B8%B5%E0%B8%81%E0%B8%B2%E0%B8%A3%E0%B9%83%E0%B8%8A%E0%B9%89%E0%B8%87%E0%B8%B2%E0%B8%99%E0%B8%97%E0%B8%B5%E0%B9%88%E0%B8%96%E0%B8%B9%E0%B8%81%E0%B8%95%E0%B9%89%E0%B8%AD%E0%B8%87" target="_blank" class="btn btn-outline-dark">
              <i class="bi bi-twitter me-1"></i> Twitter </a>
          </div>
        </div>
      </div>
    </div>
  </section>
  <section class="container content-space-b-1 content-space-b-md-3">
    <div class="row justify-content-lg-center">
      <div class="col-md-8 mt-0">
        <div class="profile-container">
          <div class="mt-0">
            <img class="avatar avatar-xl avatar-circle profile-picture" src="/media/images/sonny_content_mastery.jpeg" alt="Son contentmastery.io" width="100" height="100">
          </div>
          <div class="mt-3">
            <h5 class="mb-0">Son contentmastery.io</h5>
          </div>
        </div>
        <div class="mt-3">
          <p>ที่ปรึกษาด้าน Web & SEO สำหรับองค์กรและเจ้าของธุรกิจ ชอบเขียนและแชร์ความรู้ เชื่อว่าความรู้คือสิ่งที่มีมูลค่ามากที่สุดและจะติดตัวเราไปในทุกที่ ให้อะไรก็คงไม่เท่าให้ความรู้ หลงไหลในธรรมชาติและการเดินทาง เป็นพ่อของแงว ๆ อยู่หลายตัว เสพติดกาแฟ อเมริกาโน่</p>
        </div>
      </div>
      <div>
  </section>
  
  <br>
  <section class="bg-soft-warning">
    <div class="container content-space-1">
      <div class="container content-space-1 content-space-md-1">
        <div class="w-lg-65 text-center mx-lg-auto mb-3">
          <h3>อัพสกิล SEO & Web Marketing?</h3>
          <p> ลดระยะเวลาลองผิดลองถูกด้วยตัวเอง เรียน SEO ด้วยแนวทางปฎิบัติที่ดีที่สุด (Best Practices) สอนครอบคลุมในทุกมิติ ทั้งด้าน On-Page, Technical, Web Analytics & Report ฯลฯ เพื่อให้ผู้เรียนไปต่อยอดกับเว็บไซต์ธุรกิจของตัวเองได้อย่างเต็มประสิทธิภาพ เหมาะสำหรับองค์กร บริษัทต่าง ๆ </p>
        </div>
        <div class="row justify-content-lg-center">
          <div class="col-lg-8">
            <div class="text-center mx-auto" style="max-width: 32rem;">
              <a href="https://contentmastery.io/courses/seo/" button type="button" class="btn btn-outline-dark btn-lg">คอร์สเรียน SEO Mastery</a>
            </div>
          </div>
        </div>
      </div>
    </div>
  </section>
  </div>
  <section class="bg-light">
    <div class="container content-space-1 content-space-md-1">
      <header class="w-lg-65 text-center mx-lg-auto mb-7">
        <h3>บทความล่าสุด</h3>
      </header>
      <div class="row">  <div class="col-sm-6 col-lg-4 mb-5 mb-lg-0">
          <article class="card h-100">
            <div class="card-body">
              <figure class="mb-5">
                <img class="img-fluid" src="/media/blog-cover/seo_high_search_volume_root_keyword.webp" loading="lazy" alt="คีย์ search volume สูง ไม่เกิด conversion แต่ช่วยดันหน้า money pages?" />
              </figure>
              <header>
                <h5 class="card-title">
                  <a class="text-dark" href="/blog/high-search-volume-low-conversion/">คีย์ search volume สูง ไม่เกิด conversion แต่ช่วยดันหน้า money pages?</a>
                </h5>
              </header>
              <p>Nov. 11, 2024</p>
            </div>
          </article>
        </div>  <div class="col-sm-6 col-lg-4 mb-5 mb-lg-0">
          <article class="card h-100">
            <div class="card-body">
              <figure class="mb-5">
                <img class="img-fluid" src="/media/blog-cover/success_disavow.webp" loading="lazy" alt="วิธี Disavow สแปม Links ด้วย Backlink Audit Tool จาก Semrush" />
              </figure>
              <header>
                <h5 class="card-title">
                  <a class="text-dark" href="/blog/disavow-toxic-backlinks/">วิธี Disavow สแปม Links ด้วย Backlink Audit Tool จาก Semrush</a>
                </h5>
              </header>
              <p>Oct. 21, 2024</p>
            </div>
          </article>
        </div>  <div class="col-sm-6 col-lg-4 mb-5 mb-lg-0">
          <article class="card h-100">
            <div class="card-body">
              <figure class="mb-5">
                <img class="img-fluid" src="/media/blog-cover/cctld_vs_tld_domain.webp" loading="lazy" alt="ccTLD และ TLD คืออะไร ต่างกันอย่างไร ตัวไหนเหมาะสำหรับจดโดเมนเนม?" />
              </figure>
              <header>
                <h5 class="card-title">
                  <a class="text-dark" href="/blog/cctld-vs-tld-domain-name-explained/">ccTLD และ TLD คืออะไร ต่างกันอย่างไร ตัวไหนเหมาะสำหรับจดโดเมนเนม?</a>
                </h5>
              </header>
              <p>Oct. 12, 2024</p>
            </div>
          </article>
        </div>  </div>
    </div>
  </section>
</main>

<div id="announcement-popup" class="modal fade" tabindex="-1">
        <div class="modal-dialog">
          <div class="modal-content">
            <div class="modal-header justify-content-center">
              <div class="text-center w-100">
                <div class="icon-circle mb-3">
                  <i class="bi bi-bell-fill"></i>
                </div>
                <h5 class="modal-title">Complete Web Marketing & Technical SEO Master Course</h5>
              </div>
              <button type="button" class="btn-close position-absolute top-0 end-0 mt-2 me-2" data-bs-dismiss="modal" aria-label="Close"></button>
            </div>
            <div class="modal-body">
              <p>คลาสที่สมบูรณ์และครบครันที่สุดที่ผมเคยสอนมา เพื่อให้คุณสามารถเข้าใจทุกศาสตร์ของ Web Marketing ตั้งแต่การทำเว็บด้วยภาษาโปรแกรมมิ่งสุดง่ายอย่าง Python พร้อมแนวทางการทำให้ติดหน้าแรก Google พร้อมการติด tags และวัดผลต่าง ๆ  ครบครัน เหมาะสำหรับนักทำ SEO เจ้าของธุรกิจ หรือ Solo Entrepreneur ต่อยอดธุรกิจและอัพสกิลเหนือใครทันที</p>
            </div>
            <div class="modal-footer justify-content-center">
              
                <a href="https://docs.google.com/document/d/1-wvoCRtK_f9u05PWpP1AdTOamNkXScTl5UVBz4vRr0A/edit?usp=sharing" class="btn custom-btn custom-btn-primary">ฉันสนใจ ดูรายละเอียด</a>
              
              <button type="button" class="btn custom-btn custom-btn-secondary" data-bs-dismiss="modal">ฉันยังไม่สนใจ</button>
            </div>
          </div>
        </div>
      </div>

<footer class="bg-white border-top">
    <div class="container">
      <div class="row content-space-1">
        <div class="col-12 col-lg-3 mb-7 mb-lg-0">
          <div class="mb-5">
            <a class="navbar-brand" href="/" aria-label="Go to homepage">
              <img class="navbar-brand-logo" src="/static/blog/img/cm.webp" alt="contentmastery.io logo" width="200" height="120">
            </a>
          </div>
        </div>
        <div class="col-6 col-lg-2 mb-5 mb-lg-0">
          <span class="footer-heading">Resources</span>
          <ul class="list-unstyled list-py-1 mb-0">
            <li>
              <a class="link-sm text-secondary" href="/blog/">Blog</a>
            </li>
            <li>
              <a class="link-sm text-secondary" href="/seo-free-course/">Free SEO Course</a>
            </li>
            <li>
              <a class="link-sm text-secondary" href="/seo-tools/">Web & SEO Tools</a>
            </li>
            <li>
              <a class="link-sm text-secondary" href="/seo-news-update/">SEO News & Update</a>
            </li>
            <li>
              <a class="link-sm text-secondary" href="/resources/">Resources (Free Download)</a>
            </li>
          </ul>
        </div>
        <div class="col-6 col-lg-2 mb-5 mb-lg-0">
          <span class="footer-heading">Services</span>
          <ul class="list-unstyled list-py-1 mb-0">
            <li>
              <a class="link-sm text-secondary" href="/seo-consultant-service">SEO & Web Consult</a>
            </li>
            <li>
              <a class="link-sm text-secondary" href="https://contentmastery.io/courses/seo/">SEO Training Course</a>
            </li>
          </ul>
        </div>
        <div class="col-6 col-lg-3">
            <span class="footer-heading">Company</span>
            <ul class="list-unstyled list-py-1 mb-0">
                <li>
                    <a class="link-sm text-secondary" href="/about/">About Us</a>
                </li>
                <li>
                    <a class="link-sm text-secondary" href="/contact">Contact Us</a>
                </li>
                
            </ul>
        </div>
      </div>
      <div class="border-top my-4"></div>
      <div class="row align-items-md-center py-4">
        <div class="col-md text-center-md">
          <p class="text-secondary mb-0">© Content Mastery 2024. All rights reserved.</p>
          <span class="ms-2">
            Built with <i class="bi bi-heart-fill text-danger"></i> by Son contentmastery.io
          </span>
          
          <ul class="list-inline footer-social-icons">
            <li class="list-inline-item">
              <a class="btn btn-icon btn-sm btn-light rounded-circle" href="https://www.facebook.com/contentmastery" aria-label="Visit Content Mastery on Facebook">
                <i class="bi-facebook"></i>
              </a>
            </li>
            <li class="list-inline-item">
              <a class="btn btn-icon btn-sm btn-light rounded-circle" href="https://www.youtube.com/@content-mastery" aria-label="Visit Content Mastery on YouTube">
                <i class="bi-youtube"></i>
              </a>
            </li>
            <li class="list-inline-item">
              <a class="btn btn-icon btn-sm btn-light rounded-circle" href="/cdn-cgi/l/email-protection#7353101c1d0712100733101c1d07161d071e12000716010a5d1a1c" aria-label="Email Content Mastery">
                <i class="bi-envelope"></i>
              </a>
            </li>
          </ul>
        </div>
      </div>
    </div>
  </footer>

</body>
</html>