Време за ботове
Отдавна не си бях правил експерименти за времето, което е необходимо да се появяват ботовете на чисто нов сайт.
Ето данни от днес (изключен ping и feed)
Googlebot 14 минути
YandexBot 1 chas 55 min
Baiduspider 1 час и 59 минути
Yahoo! Slurp 5 часа и 6 минути
MSNbot – 11 часа по-късно още липсва
Поява на страницата като кеширана в Google 3 часа и 1 минута
P.S. времената са засечени от пускането на първия линк (всички връзки са само от БГ сайтове)
… друго си е twitter :-)
…
Продължение на експеримента
2 нови сайта с по 1 уникален пост
Сайт 1 : добавен в twitter, facebook, delicious, identi.ca
Време за поява на googlebot – 8 минути
Сайт 2 : разрешен ping и rss , веднага след поста ръчен ping през pingler.com
Време за поява на googlebot – 3 минути
Още по темата- Как да попаднем в Google Blog Search за 2 минути
- Който пуска новината , той обира трафика :-) Стара максима, но все по-често се случва да не важи. Доста от...
- Експериментални резултати
- Пиша този пост във връзка с многото питанки (главно по ICQ) за странните резултати които Google извежда през почивните дни....
- Проблеми с wordpress 2.6
- От няколко месеца имам сериозни проблеми с един от сайтовете на wordpress – internetreklama.com. Накратко : когато пусна пост за...
If you enjoyed this post, please consider to leave a comment or subscribe to the feed and get future articles delivered to your feed reader.
Огнян Младенов 
с какъв инструмент ги следиш, аз отдавна търся такова нещо и още не съм намерил подходящ, пробвах Piwik, но той не хваща ботовете
Почти винаги използвам Latest Visitors Stats в cpanel. Най-точните резултати са при него
еди време ползвах една модификация на RobotStats http://www.robotstats.com/en/install.php , но имаше доста разминавания в отчитане на първите влизания и все в полза на Latest Visitors Stats
Довечера ще пускам и други нови сайтове и ще тествам и със социалки
Оггин, откъде го намираш това свободно време за тия статистики :) вече забравих откога не съм се сещал за тези неща.
супер
всеки се хвали с нещо и аз така ;)
Огняне, пробвах го този експеримент с Twitter-а, но не стана. Създадох си поредния сателитен сайт в блогспот.ком, сложих пост в Twitter, но вече 3-4 дена минаха и не го е индексирало. Вчера вечерта му навързах няколко линка, пак от сателити – към сегашен момент не го е индексирало. Може би все пак зависи от какъв сайт го линкваш.
Просто спри да ползваш сателити купи си няколко домейна от GoDady.com има ефтини за по 2$ първата година и с тях си прави експериметни иначе няма смисъл с Блогспота а все пак гледам,че се занимаваш и с Уеб дизайн Още по добре ще ти е
;)
@Barmolino Аз че се занимавам се занимавам, друг е въпроса колко съм изкарал и дали имам възможност да инвестирам. За момента нямам тази възможност. Пробвах да направя инвестиция за скромния си бизнес, закупувайки си един агрегатор за WordPress, който се оказа, че при мен неработи, въпреки, че производителите се опитват всячески да ме убедят в обратното. Пък ако си отворя устата публично ме заплашват със съд.
WordPress попринцип е Open Source и всичките приложения,модули,теми и т.н можеш да си ги пробваш преди да решиш да инвестираш,но в България кой пише за тези неща никой за съжаление 100 човека са се хванали да си мерят кое какво защо и няма и бизнес много няма и развитие за много хора които искат да развиват бизнес или ако има Българските Web дизайнери и девелопери и СЕО-та взимат скандални цени и като гледам какво глупости правят и те не знаят май какво точно и защо го правят.
@Банери, докато ти не се похвалиш, че е заработил, няма да им купим агрегатора! Пък те да помогнат малко! Не е достатъчно да те убедят, че работи, а наистина да заработи!
Аз го купих от българска фирма, но добавката не работеше, написах няколко статии в блога си, но след това бях заплашен със съд, ако не ги махна и не се извиня. Така и направих, но не защото ми се е искало, а защото не ми се разправя с адвокати. Та въпросната добавка ми беше изпратена от въпросната фирма с описание само на английски език, за което имам пълно основание да пусна жалба в КЗП относно Раздел 1, Чл.5, (1) на Закона за защита на потребителите. Дори съм сигурен, че въпросния човек от въпросната фирма ще прочете коментара ми. Но аз ще изчакам поне седмица в тестване отново и отново за да се уверя, че добавката наистина неработи. А колко хубаво би било да беше обратното.
Дано да имаш късмет с агрегатора :) Само незнам защо си скочил на платен, а първо не изпробва безплатните варианти, като wp-o-matic :)
Защото, когато напишеш в Google – „най-добрия агрегатор за wordpress“ – почти всички резултати те водят към този въпросния. И само дето не струва 19 евро, а 60лв.
Извинявам се на Огнян, че спамнахме блога му с не-релевантни коментари.
People you must understand something for Google and Business in Google and How to make money and Business in Google.
Just stop Reading and asking in Bulgarian Language.
Then you will have more useful web and successful „винаги ми е била трудна дума успешни“projects.
Have Fun
Продължение на експеримента
2 нови сайта с по 1 уникален пост
Сайт 1 : добавен в twitter, facebook, delicious, identi.ca
Време за поява на googlebot – 8 минути
Сайт 2 : разрешен ping и rss , веднага след поста ръчен ping през http://pingler.com/
Време за поява на googlebot – 3 минути
Най-бързата индексация от всичко май е за нов пост в WordPress.com блог, там си е удоволствие да гледаш влизане в индекса в почти реално време (1-2 минути).
Така е даже има един плъгин който ти показва пълна статистика не мога да се деня името ползвам го на един сайт и съм доволен показва всяка секунда какво се случва в сайта ти със айпито даже ,ботове и т.н
Калин : говорим за нов сайт/блог, а не за нов пост. И затова кога идва Googlebot
За нови постове почти от всеки що годе разработен блог влиза до минута две в индекса, но това съвсем не значи че е дошъл и Googlebot :-) Просто си индексира през RSS
Ако ползвате Joomla! сайт има един чудесен компонент – Joomla Stats. Това е единствения такъв, който съм срещал, който освен статистика за посещенията, ключови думи и т.н. дава информация и за ботовете – кои ботове са идвали, кога са идвали, колко пъти са идвали и кои страници са обхождали. Интересното в случая е, че не всеки пък бота влиза през началната страница и започва да „щъка“ навътре из сайта. Доста често направо влиза във вътрешна страница – възможно е да си води статистика за всеки сайт до къде е стигнал с обхождането и когато реши се връща директно във вътрешната страница. Защото ако (поне googlebot) следваше само линковете – щеше първо да минава през началната страница и тогава да следва вътрешните, при положение, че аз външни линкове към вътрешни страници нямам.
Компонента е безплатен, за WP не съм срещал нищо подобно.
Visitor Maps and Who’s Online WP Plugin
Displays Visitor Maps with location pins, city, and country. Includes a Who’s Online Sidebar to show how many users are online. Includes a Who’s Online admin dashboard to view visitor details. The visitor details include: what page the visitor is on, IP address, host lookup, online time, city, state, country, geolocation maps and more. No API key needed.
Рекорда ми е с WordPresss. След инсталиране на платформата и създаване на начална страница следва pingler.com + StatsBlaster и до два часа съм вече в SERP.
Че аз и поддомейн в хит.бг ми се е появявал в СЕРП-а за около 30 мин., естесвено без да е кешириан :)
Много полезна статистика и както винаги Оги се изпусна за 1-2 неща, които е добре да се знаят от начинаещи блогъри :) Оги вече ще ти викам Българският Мат Кътс :)
А между другото съм забелязал, че има значение и откъде линкваш. Линковете от статии се индексират значително по-бързо от тези в футерите и сайтбара…
Аз директно звъня на гугъла. За другите от списъка не съм и чувал.
@Андон Иванов аз вече слагам линкове само в статии ако искам да избутам даден сайт напред. Footer и Sidebar съм ги зарязал :-)
То е просто всичко но в България малко го знаят как става а тези които го знаят не го споделят
Малко са тези като огин
А и Ни виждам да има голям интерес към такива статии примерно свежо понеже там има таланти които си пилеят времето с поп фолк новини снимките които даже не са техни а могат доста по полезни най вече за тях неща да учат и правят не им се пише просто за нова сме и толкова назад със технологиите и комуникациятя младите просто не пишат
Даже много се радвам,че попаднах на този приятел тук
поне чета на български нещо което ми е интересно и ме вълнува иначе се изгубвам на английски толкова много информация понякога като седна
и ако се занимавам с някой сайт за клиент и като попадна на някоя статия и то под нея още една и така 2 -3 часа чета и практикувам ,че забравя чак че съм почнал да пиша някой сайт
От скоро няколко месеца се опитвам сам да си пиша кода на WP и мисля скоро да шляпна няколко мой теми в сайта на WordPress а се и зарибих с тоя Sharetronix oggin ти пробва ли го?
И междудругото имам 5-6 СЕО домейна да измислим нещо? info са ама то няма голямо значение попринцип вече
Barmolino, по-добре за нас, че няма много хора, които да се интересуват от SEO тематика :) Нали така? :)
@Barmolino я ме светни за тези домейни от GoDady.com , видях, че има за по 2 долара, но това както разбирам е само първата година. От там нататък как е – дерат ли кожи или не?
Zaya Mai ne chetesh mongo
Kolkoto poveche tolkova poveche I to ne pari
Znaniq opit kontakti znaesh az kolko mnogo oferti izpuskam poneje sum Sam I otskoro si subiram partniori za rabota
Go daddy ili kudeto I da e
Kakvo ti Davao edno ime I t.n Nima ne se sehtash ot kude trugva I nakude otiva biznesa
Izvinqvam se za pisaneto prosto ne sum v nas
Абсолютно нищо не ти схванах от коментара, ама карай :-) Говориш почти като google translate
колкото повече хора се присъединяват към интернет като цяло толкова по добре за SEO-та
Колкото повече публика събираш толкова повече клиенти ще имаш колкото повече потребители в интернет има толкова по добре защото постоянно има нови идеи интереси следователно търсене
ти колко си чел какво е гугъл и какво ти предоставя
какво е СЕО?
огняне SEO в SEOM
и не ми отговори а хора търсите ли си ?? за проекти
MSNbot бота нещо е във ваканция. В Гугъл съм с няколко нови проекта в топ 10-20 от месеци в Бинг ме няма в топ 100 :)
Нарави ръчен ъпдейт на silverlight и си валидирай сайтовете пуснали са много нови неща
И много полезни ако ги имаше в гугъл
Чакам са видя няколко чисто нови uk сайта за бинг каво защо имам един 200 идексирани страници от 200
Ако ме бяха оставили да му направя
Всичките 200 със няколкото WP SEO
Плъгина щеше да е интересно
Ама българия си е оакала пътеките не само в България
Извън темата сори
Статистиката ми беше полезна с оглед на стратегията за добавяне на статии по социалните мрежи, за да засече бота моето си съдържание като авторско. Та след добавянето на статията следва пингване през пинглера
Отново да повторя, че става дума за чисто нов сайт. За стари сайтове със съдържание би трябвало за не повече от минута две съдържанието да е в индекса, защото се взема от RSS feed, a не се чака бота да дойде на сайта.
Това, че съдържанието е авторско, един сайт му е източник, съвсем не значи, че той ще се позиционира добре, преди агрегаторите да речем. Примери за това – многоооооооо :-)
Oggin Avatarcheto DMOZ li trqbva da znachi
И на мен ми прилича на дракончето от ДМОЗ, нали Оги е редактор там :P
Постоянно се очудвам какви работи следят хората. Но ако сикаш да ти върви добре работата, трябва да се вглеждаш в малките и на пръв поглед незначителни неща. Явно Огнян изпипва проектите си! :-) Често взимам идейки от тук но много рядко пиша. Обичам да чета и слушам без да преча. :-)
Анатолий Симеонов : особено след като вече два месеца си блъскам главата над два случая :
1. Защо Google индексира и след 24 часа деиндексира един блог и
2. Защо на що годе популярен в нишата си сайт не ще да захапе елементарни страници пълни с уникално съдържание и най-вече съдържащи уникална ключова дума :-)
И аз наблюдавам подобни случай основно за БГ сайтове
следователно гугъл вижда по-бързо линковете от социалните мрежи?
По-скоро google вижда нови линкове от сайтове с голям тръст рейт, много посещавани, и от които на практика не излиза. Може и да не е социална мрежа, може и голям новинарски сайт да е, или форум за слоновете в южна африка :)
За мене, както винаги, този блог си е учебник по оптимизация на сайт. Благодаря на Огнян, че споделя опита си! Научих нови неща.
А, какво става със сайтове с частичен РСС? ;)
А с частичното РСС не се ли прави принципно защита срещу ботове за автоматично крадене на съдържание :)
Реално, ако взима информацията от RSS канала, дори да е частичен, мисля, че ще му е достатъчен текста за да задели информация и за описанието и заглавието на връзката ;)
Това което съм виждал е че веднага в индекса влиза само частта която е във фийда, а другата е неоткриваема дори и по доста голям низ за търсене още известно време, вероятно докато бота посети странцицата и захапе и останалото.
Факт е че това не е валидно във всички случаи – сайтовете в Goole news например, но там може да се дължи на news feed-a или на честите посещения на бота
А този проблем има ли го ако feed-а е целия текст а не частичен?!
Би трябвало да го няма, защото Оги е описал какво се случва при непълен feed :)
А защо има такава голяма разлика във времето ?
Много интересно мислех че е нужно поне 2-3 дни но явно не е така
Незнам, но в моя блог нещата се индексират след 1-2 дни в гугъл.
А какво ти е мнението относно Last-Modified header-a? От такава гледна точка, има ли смисъл сайтове които се генерират динамично, да генерират автоматично ласт модифайд или не?
А какво ти е мнението относно Last-Modified header? Имам няколко страници, които се генерират динамично и ласт модифайд показват последната промяна на съотвения скрипт за генериране. Според тебе оказва ли влияние това?
Забелязах, че и доста сайтове не го изпращат дори този хеадър. Чудя се дали ще има положителен или отрицателен ефект, ако last-modified бъде просто текущото време?
Банери, проблема ти не се ли реши, нали ти писах да помолим хората от Хост България да видят защо не ти работи php.ini-то. Ти не ми отговори и помислих че сте го оправили.
Оггин, съжалявам че тук пускам тоя офтопик, ама сега видях че в половината коментари се говори за нас и не се сдържах…
Банери, още веднъж – да не спамим Огнян тук, а ми го пусни на емайла.
Първата поява е бърза, но втората винаги се бави. От 5 дни не мога да го накарам да се върне на един мой сайт.
Впечатляващи резултати си постигнал, беше ми много интересно да прочета подробности около експеримента ти.
Доста интересно инфо… не знаех, че толкова бързо се лепват ботовете.
Интересна статистика, благодаря :) Обаче се забелязват “отчетливи“ разлики между ботовете на различните търсачки..дали заради техническите им възможности или заради метода на обхождане не знам. Но все пак браво и за втората част от статистиката, не съм очаквал, че бота може да пристине за няколко минути.
Най си е добре да случиш стар небаннат домейн с много беклинкове:)
И аз съм прави опити, и при мене Гугъл идва най-бързо.
Гугъл пристига на момента ако сайтът Ви е блог и го призовете при инсталацията.
[...] се как да викна Google бързо да дойде на моя сайт? И намерих решението. Мерси! Categories: Webmaster Tags: Googlebot – Ping – Rss – Twitter 24 September 2010 at [...]
Our Trackback…
[...]It can be expired after certain days hence users have to periodically renew for utilizing all benefits[...]…