STAW 12/12: (Re)găsirea resurselor Web. De la motoare de căutare şi SEO la date structurate

Dr.SabinBuragaprofs.info.uaic.ro/~busaco
(re)găsirea resurselor Web
de la motoare de căutare și SEO la date structurate
searchcode.com
Full-Stack Web Development
Dr. Sabin Corneliu Buraga – profs.info.uaic.ro/~busaco/

“A well-defined problem is half solved.”
Michael Osborne

Ce activități realizează un motor de căutare?

Scop:
localizarea resurselor existente pe Web

Scop:
conținut textual
documente Web, știri, comentarii, cod-sursă,
însemnări în cadrul aplicațiilor Web sociale etc.

Scop:
conținut multimedia
imagini (fotografii, diagrame, ilustrații), audio,
video, prezentări,… (în formă fizică și/sau electronică
– gratuite ori comerciale)

Scop:
entități
persoane, organizații, evenimente, cunoaștere
(cărți, software), de interes personal/social
(bunuri reale/digitale – produse și/sau servicii),…

Tipuri de căutări – maniera tradițională:
pe bază de indecși
explorare a Web-ului (crawling) +
prelucrarea conținutului textual (indexing)
Lycos – 1994 (Carnegie Mellon University)
AltaVista – 1995 (Digital Equipment Corporation)

pe baza ierarhiilor de termeni
(servicii de tip catalog – topic directory, taxonomii)
Yahoo! – Yet Another Hierarchical Officious Oracle
1994 (Stanford)
Jerry and David’s guide to the World Wide Web

hibride
indecși + taxonomiiportal Web
Excite – 1994 (inițial Architext – Stanford)

pe baza legăturilor hipertext
(hyperlink analysis)
Google – 1996 (inițial BackRub – Stanford)
vezi și S. Buraga, „Căutarea resurselor Web” (2016)
www.slideshare.net/busaco/sabin-buraga-cutarea-resurselor-web

Un motor de căutare trebuie să satisfacă
nevoia de informații a utilizatorului
(user information-seeking)

Caracteristici ale unui motor de căutare ideal
scop
căutarea oricărei resurse existente

viteză
rezultatele să fie disponibile imediat
direcție de interes major: real-time Web search

disponibilitate
actualizarea permanentă
(orice modificare să fie indexată „instantaneu”)

„reamintire” – recall
găsirea tuturor resurselor relevante
pentru o cerere dată

precizie
rezultatul conține doar resurse relevante
prezent: recurgerea la tehnici din inteligența artificială

categorisire eficientă – ranking
cele mai relevante resurse Web
sunt plasate primele

Care sunt principalele componente
ale unui motor de căutare?

Robot Web
extrage informații
Index (catalog)
stochează – în mod persistent – (meta)date
despre resursele existente pe Web
Mecanism de evaluare (ranking)
pe baza cererii utilizatorului,
oferă răspunsuri – de dorit, utile

structura generică a unui motor de căutare (Chakrabarti, 2003)

Preluarea + indexarea resurselor se pot realiza:
automat – via roboți Web
manual – recurgând la experți umani
hibrid

Preluarea și indexarea resurselor
strategii:
natura datelor/relațiilor (data/relation mining)
detectarea subiectului conținutului (topic distillation)
meta-date – date descriind date
(e.g., doar însemnări ca replici la alte mesaje)
căutare socială (tag-uri, anturaj, aplicații Web sociale)
context (e.g., localizare geografică, timp, dispozitiv)
profil al utilizatorului – personalizare
(e.g., istoric al căutărilor, preferințe lingvistice)

Am putea recurge la extragerea automată
a datelor expuse pe Web?

Roboți
programe ce traversează automat Web-ul,
cu scopul de a extrage date
spiders, crawlers, Web bots
robot Web  navigator Web

Roboți
pornind de la un URL, realizează o conexiune HTTP
la un server Web, pentru a întreprinde anumite
acțiuni privitoare la reprezentarea unei resurse
– uzual, HTML – și, recursiv, din toate resursele
(documentele) desemnate de legăturile existente
în cadrul reprezentării

Roboți
pornind de la un URL, realizează o conexiune HTTP
la un server Web, pentru a întreprinde anumite
acțiuni privitoare la reprezentarea unei resurse
– uzual, HTML – și, recursiv, din toate resursele
(documentele) desemnate de legăturile existente
în cadrul reprezentării
acțiuni: extrage de date, copiere, agregare de conținut,
monitorizare, realizare a unui rezumat etc.

roboți: pericole
Operarea în foc rapid (rapid-fire)
trafic de rețea
supraîncărcarea serverelor Webdenial of service

roboți: pericole
Actualizarea cu întârziere a bazelor de date
ale motoarelor de căutare

roboți: pericole
Actualizarea cu întârziere a bazelor de date
ale motoarelor de căutare
necesitatea specificării timpului de revizitare a sitului
de către robotul Web
<meta name="Revisit-After" content="30 Days" />

roboți: pericole
Exploatarea (ne)controlată de către utilizatori
atacuri „brute”

roboți: pericole
Intrarea în „găurile negre”

roboți: pericole
Accesarea unor date nerelevante

roboți: identificare
Fiecare robot Web trebuie să se identifice
(nume, domeniu, creator,...)
uzual, va fi folosit câmpul User-Agent
din antetul unei cereri HTTP

Ai motoarelor de căutare majore
Baidu – Baiduspider: www.baidu.com/search/spider.html
Bing – Bingbot, BingPreview, AdIxBot
www.bing.com/webmaster/help/which-crawlers-does-bing-use-8c184ec0
DuckDuckGo – duckduckgo.com/duckduckbot
Google – APIs-Google, AdSense, AdsBot, Googlebot,
Googlebot-Image, Googlebot-News, Googlebot-Video,…
support.google.com/webmasters/answer/1061943
Yahoo! – Slurp: help.yahoo.com/help/us/ysearch/slurp
Yandex – YandexBot, YandexImages etc.:
yandex.com/support/webmaster/robot-workings/check-yandex-robots.html

Specializați
e.g., validarea codului HTML, scurtarea lungimii
URL-urilor, scanare de vulnerabilități, statistici,
arhivarea conținutului disponibil pe Web,…
exemplificări: ChangeDetection, citeseerxbot, Distill,
Feedity, Heritrix (folosit de archive.org),
extensii Nagios, Scrapy, W3C Validator

Personali
rulați de utilizatori
exemplificare: software de „oglindire” (copiere)
a conținutului unui (fragment de) sit Web
aplicații notorii disponibile în regim deschis:
curl – curl.haxx.se/  wget – www.gnu.org/software/wget/

Roboți (potențial) malefici
pot cauza breșe de securitate, exploatând diverse
vulnerabilități ale siturilor/aplicațiilor Web
exemple tipice: JS/PHP/SQL/link injection,
atacuri XSS (Cross-Site Scripting)
www.botreports.com/badbots/

66.249.65.173 - - [09/Nov/2019:11:26:31 +0200] "GET /~introp/ HTTP/1.1" 304 - "-"
"Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
93.158.178.188 - - [09/Nov/2019:11:25:08 +0200] "GET /~adria/...pdf HTTP/1.1" 200 198738 "-
" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
66.249.65.70 - - [09/Nov/2019:11:22:06 +0200] "GET /~busaco/teach/courses/cliw/
HTTP/1.1" 200 2120 "-" "Mozilla/5.0 (iPhone; …Safari/600.1.4 (compatible;
Googlebot/2.1; +http://www.google.com/bot.html)"
180.76.5.101 - - [09/Nov/2019:11:22:02 +0200] "GET /~busaco/ HTTP/1.1" 200 1907 "-"
"Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)"
"Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"
157.55.39.73 - - [09/Nov/2019:11:20:43 +0200] "GET /~webdata/…/OCT.pdf HTTP/1.1" 403
220 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"
208.115.111.71 - - [09/Nov/2019:11:20:42 +0200] "GET /%7Eorar/ HTTP/1.1" 200 12705 "-"
"Mozilla/5.0 (DotBot/1.1; http://www.opensiteexplorer.org/dotbot, help@moz.com)"
63.249.66.212 - - [09/Nov/2019:11:14:55 +0200] "GET /~croitoru/ag/ HTTP/1.1" 200 2575 "-"
"Mozilla/4.0 (compatible; MSIE 6.0; http://www.changedetection.com/bot.html)"
66.249.65.70 - - [09/Nov/2019:11:12:47 +0200] "GET /~busaco/paint/leaf/leaf-9.jpg HTTP/1.1"
304 - "-" "Googlebot-Image/1.0"
157.55.39.177 - - [09/Nov/2019:11:11:53 +0200] "GET /~lrc/ HTTP/1.1" 200 1914 "-" "msnbot-
media/1.1 (+http://search.msn.com/msnbot.htm)"
"Mozilla/5.0 (… James BOT - WebCrawler http://cognitiveseo.com/bot.html"
cereri HTTP efectuate de diverși roboți Web
(menționate în fișierul de jurnalizare Apache)

statistici + detalii:
www.botsvsbrowsers.org

Cum putem „instrui” roboții Web
să nu viziteze anumite zone ale sitului?

Orice robot trebuie să respecte
standardul de excludere
„inhibă” vizitarea anumitor zone (secțiuni)
ale unui sit Web
în rădăcina unui domeniu Web
se poate plasa fișierul robots.txt
www.robotstxt.org/robotstxt.html

# https://developer.mozilla.org/robots.txt
User-agent: * # toți roboții
Crawl-delay: 5 # 5 sec. între cereri
Sitemap: https://developer.mozilla.org/sitemap.xml
Disallow: /admin/ # căi ce nu trebuie vizitate
Disallow: /*/dashboards/*
Disallow: /*docs/feeds
...
fișierul robots.txt poate cuprinde extensii recunoscute
doar de un anumit crawler Web
cazul Google:
developers.google.com/search/reference/robots_txt

de studiat câteva exemple reale de fișiere robots.txt:
www.amazon.com/robots.txt
www.facebook.com/robots.txt
github.com/robots.txt
www.google.com/robots.txt
User-agent: *
Disallow: /user/*
Disallow: /addtocart*
Disallow: /proces_comanda
Disallow: /cart/*
Disallow: /checkout
Disallow: /imagini/*
Disallow: /images/*
Disallow: /compare/*
Disallow: /thank-you$
Disallow: /cat-*/pid-*/ord-*/p-*
Disallow: /adauga-review
Disallow: /adauga-intrebare
Disallow: /header-cart
Disallow: /header-wl
Disallow: /product_get_recommandations/*
Disallow: /get_back_to_search_url
Disallow: /search-tools/*
Disallow: /ajax_live_products
Disallow: /box_user_history
Disallow: /gr_box_bottom_landing/*
Disallow: /site_ajax_ads
Allow: /*/*/*all-products
User-agent: 008
Disallow: /

Orice robot trebuie să respecte
standardul de excludere
evitarea indexării conținutului:
<meta name="robots" content="noindex, nofollow" />

motoare: căutarea
Activitatea generală a unui robot (crawler) simplu:
F = mulțimea de URL-uri de start (frontiera)
cât-timp F este nevidă
extrage un URL u din F
preia pagina (resursa Web) p cu adresa u
dacă p este relevantă
stochează p în index
pentru-fiecare legătură v din p
dacă v nu este în index și v nu aparține lui F
și v ar putea fi vizitată
adaugă v la F

motoare: căutarea
Bazată pe învățare
data mining
(de exemplu, reinforcement learning)
vezi materia
„Învățare automată”

motoare: căutarea
Conținutul ce trebuie indexat nu e doar textual
hiper-informația:
INFORMATION = HYPERINFO + TEXTINFO
dependența de legături
ordonarea legăturilor
(alegerea unor criterii vizând importanța)

motoare: căutarea
Robotul/motorul de căutare decide momentul
revizitării resursei care urmează a fi reindexată
sau doar verificată

motoare: căutarea
Aspect de interes:
rezoluția adreselor Web
(nume de domeniiadrese IP)
DNS caching
pre-fetching
address resolution

motoare: căutarea
Aspect de interes:
realizarea cererilor concurente

motoare: căutarea
Aspect de interes:
extragerea legăturilor
e.g., normalizarea URI-urilor:
www.Info.UAIC.Ro:80www.info.uaic.ro

motoare: căutarea
Aspect de interes:
eliminarea adreselor deja vizitate
evitarea „găurilor negre”

motoare: căutarea
Aspect de interes:
monitorizarea accesărilor
load monitoring + managing
(evitarea supra-solicitării serverelor Web)

motoare: căutarea
Aspect de interes:
strategii de revizitare/reîmprospătare
a conținutului resurselor Web

Cum se realizează indexarea?

motoare: indexarea
Necesitatea folosirii sistemelor de baze de date
depozit distribuit de stocare (eventual, în cloud)
optimizarea regăsirii

motoare: indexarea
optimizarea regăsirii
modele non-relaționale de stocare – „mișcarea” NoSQL
printre primele abordări: BigTable (Chang et al., 2006)
research.google.com/archive/bigtable.html

motoare: indexarea
arhivarea datelor indexate
e.g., recurgerea la algoritmul de compresie
bzip2 – www.bzip.org (cazul Google)

motoare: indexarea
Utilizarea nu doar a datelor propriu-zise
(conținutului textual), ci și a meta-datelor
e.g., limbă, cuvinte-cheie, autor, format,
data ultimei actualizări, frecvența modificărilor,…

motoare: indexarea
Indexare bazată pe cuvinte-cheie
relevanță, amplasare – e.g., context de apariție –,
meta-date, procesarea limbajului natural,
clasificare (semi-)automată via învățare automată
(machine learning) sau alte tehnici,...

motoare: indexarea
Indexare semantică – recurge la concepte
clasificare socială via adnotare de resurse – tagging
(folksonomy)
+
folosirea tehnologiilor Web-ului semantic
(HTML5 schema.org, RDF, RDFa, SKOS, OWL,…)
detalii la master

motoare: interogarea
Cererile sunt formulate via o interfață Web
unele motoare de căutare acceptă
folosirea unor operatori specifici

exemplificare: o parte dintre operatorii Google
"expresie" ~termen –termen
related: URL cache: URL link: URL
intitle: termen(i) allintitle: termen(i)
intext: termen(i) allintext: termen(i)
inurl: termen(i) allinurl: termen(i)
site: domeniu info: domeniu
define: termen filetype: extensie
unit1 in unit2 număr1 .. număr2

digital camera $700 .. $1400
~book
intitle:design –intitle:web
"burse de merit"
site:uaic.ro
inurl: art nouveau
allinurl: ES6 library
16 cm in inch
related:www.w3.org
js mvc inanchor:slideshare
define:design
cache:http://devdocs.io/
map:iasi,romania
firefox filetype:svg OR filetype:png
unii operatori sunt permiși doar pentru anumite
tipuri de căutări – e.g., știri, imagini, hărți

Interogările din prisma utilizatorului:
grad mare de subiectivitate
e.g., “miserable failure”

depind de contextul social/cultural
exemple:
“pants” în UK versus US
“madonna and child”

dependente de scop (user intent)
informațional (listă, locație, sfat)
navigațional
vizând accesul la (tipuri de) resurse
(download, amuzament, interactivitate, tranzacții,…)

semantici diferite ale unei interogări
necesitatea înțelegerii limbajului natural
www.google.com/search/howsearchworks/algorithms/

Remarci:
utilizatorii obișnuiți nu înțeleg limbajul logic – „booleana”
exemplu:
“hotels located in Bucharest and Iasi”

Remarci:
interogările uzual sunt scurte (media: 2,6 cuvinte),
dar focalizate – e.g., 25% pe business – conform Yahoo!
apar confuzii:
URI vs. text
lipsa spațiilor
vocabular
etc.

Remarci:
implicit, termenii de căutare trebuie să se regăsească
identic în cadrul conținutului unui document Web
e.g., căutând “children”,
nu vom obține neapărat și paginile care includ “kids”

interacțiunea cu motorul
de căutare poate fi facilitată
și de un agent software
conversațional
Apple Siri, Amazon Alexa, Google
Assistant, Google Now,
Microsoft Cortana, Mycroft.ai,
Dragon Go!, SpeakToIt Assistant
thereisabotforthat.com  botpress.io

Detalii despre calculul relevanței?

motoare: relevanță
Evaluarea relevanței:
1. Analizarea interogării (tokenizing)
2. Căutarea în indecșii termenilor
3. Scanarea documentelor
4. Evaluarea relevanței paginilor
5. Eliminarea duplicatelor + sortarea
6. Afișarea primelor N documente relevante
(URI + alte informații)

Conținutul fiecărui document extras
este analizat și divizat în token-uri

Unele construcții se ignoră/constrâng
e.g., “the”, “is”/“are”/“were” → “be”, “running” → “run”
procesare de bază a conținutului textual

Fiecărui token i se reține și poziția apariției
în document
poziția poate fi folosită
la determinarea relevanței termenului

Criterii vizând calculul relevanței:
ranking bazat pe clasificare umană
resurse clasificate de oameni

ranking bazat pe informații privitoare
la utilizarea unei resurse
timpul de vizită, periodicitatea vizitei,
frecvența actualizării resursei, importanța relativă etc.

ranking bazat pe conectivitate
analiza relațiilor (legăturilor hipertext) cu alte pagini
eventual, în funcție de reputație
e.g., importanța domeniului Internet
(sunt luați în calcul factori ca vechimea, localizarea,…)

Calculul relevanței:
tehnici privind IR (Information Retrieval)
căutări bazate pe similaritate – similarity search
recurgând la învățare automată
clasificarea conținutului hipermedia
social network analysis – bibliometrie, prestigiu,…

Page Rank (Google)
Larry Page & Sergey Brin, 1998
evaluarea relevanței pe baza contextului de apariție

exploatarea relațiilor dintre diferite pagini Web
o legătură de la resursa A la B reprezintă
un vot dat resursei B de către A
infolab.stanford.edu/~backrub/google.html

Page Rank (Google)
recurgerea la tehnici adaptive, euristice
determinarea corelației dintre relevanța calculată
automat de sistem și cea precizată (in)direct
de către utilizator

Actualmente, se iau în considerație
concepte (cunoștințe), nu cuvinte
“things, not strings”
de vizionat prezentarea
M. Lanthaler, “The Future of the Web
– From Strings to Things” (2015)
vimeo.com/133137907

Motoarele tind să „recompenseze” siturile:
de mari dimensiuni
cu viață lungă
specializate, de „nișă”
aparținând unor autorități de încredere

timp strategie
înainte de
2000
conținut – indexarea textului
(titlu, anteturi, URL, descriere via <meta>)
2000—2010
conținut
autoritate (via legături desemnate de URL-uri)
2010—
prezent
conținut
autoritate
personalizare (social media + profil utilizator)
2012—
prezent
conținut
autoritate
personalizare
concepte (date structurate + Web of data)
context (localizare geo, limbă, timp, dispozitiv,…)
adaptare după (K. Bodnar & J. Hopkins, 2011)
de studiat și www.slideshare.net/randfish/presentations

Instrumente software open source pentru implementatori:
Apache Lucene, Apache Nutch, Apache Solr,
mnoGoSearch, Namazu, Xapian,…
API-uri publice:
www.programmableweb.com/category/search
disponibilitatea datelor indexate în regim deschis
în vederea analizării ulterioare:
commoncrawl.org

(în loc de) pauză

SERP (Search Engine Result Page)
specifică maniera de redare a rezultatelor
oferite de motorul de căutare
motoare: afișarea rezultatelor

SERP (Search Engine Result Page)
se includ recomandări pe baza:
preferințelor utilizatorului
istoricului căutărilor
URL-urilor partajate via rețele sociale
meta-datelor (rich snippets)
adnotărilor realizate de utilizatori
localizării geografice (local search)
motoare: afișarea rezultatelor

a se considera și DuckDuckGo Instant Answers: duck.co/ia
motorul de căutare
DuckDuckGo este axat
asupra asigurării intimității
utilizatorului în ceea ce privește
căutările acestuia pe Web

“At any one time you rank #1 or #8 or #40
based on who is searching, where they search,
and what is happening.”
K. Bodnar & J. Hopkins, 2011

Cum putem proiecta
mijloacele de căutare internă?

Motor de căutare internă (la nivel de sit)
oferirea de sugestii utilizatorului
e.g., spelling suggestions,
sinonime (car → automobile, truck,…)

sugestii de soluții
de exemplu, răspunsuri la cele mai frecvente întrebări

îmbunătățirea interacțiunii – utilizabilitatea
integrarea în designul general al sitului
tactici: oferirea unui următor pas de realizat
(mai ales când nu există rezultate),
sugestii privind căutarea, exemple, rafinarea cererii etc.

în pagina de redare a rezultatelor, va fi afișată și
interogarea inițială, cu posibilitatea modificării ei
oferirea a cel puțin N rezultate/pagină +
indicarea numărului total de pagini de rezultate
sau
încărcarea progresivă a următoarelor rezultate

calitatea rezultatelor oferite e dependentă
și de modul de structurare a datelor
fiecare rezultat să includă informații utile
folosirea unui vocabular înțeles de către vizitator,
utilizarea unor tehnici de vizualizare intuitivă,
facilitarea filtrării și sortării datelor etc.

utilizatorul să aibă libertatea de a efectua
oricând o nouă interogare
evitarea „fundăturilor” – oferirea de ajutor, sugestii,…

biblioteci JavaScript utile:
JS Search – github.com/bvaughn/js-search
Typeahead – github.com/twitter/typeahead.js
Fuse.js – fusejs.io
Lunr – lunrjs.com
Elasticlunr.js – github.com/weixsong/elasticlunr.js
search-index – github.com/fergiemcdowall/search-index
YDN-DB – dev.yathit.com/ydn-db/

În ce mod prezentăm conținutul
altor clienți – diferiți de cei umani?

Cum trebuie scris codul HTML
pentru a obține o relevanță bună a conținutului?

SEO – Search Engine Optimization
suită de strategii de redactare a codului HTML
în vederea obținerii unei relevanțe ridicate
a conținutului, astfel încât pagina/situl să fie
regăsite în urma unei căutări specifice efectuate
cu un instrument de căutare

Structurarea codului-sursă al documentelor Web
Structurarea conținutului (textual, grafic,…)
Structurarea legăturilor cu alte resurse

Se recurge la semnificația logică a marcatorilor HTML
POSH (Plain Old Semantic HTML)
titluri plasate ierarhic via elementele <h1>, <h2>,…
conținut tabelar cu <table>
aranjament vizual (layout)
via stiluri CSS și nu tabele (<table> <tr>…)

divizarea conținutului:
<section> <article> <header> <footer> <aside> etc.
marcajarea elementelor vizând navigabilitatea cu <nav>
liste specificate cu <ul> <ol> <li>
…

h1
nav
aside
section
h2
ul
h2
articlep
header

conținut textual alternativ pentru imagini (<img alt="..." />),
legături (<a title="...">), tabele (<table summary="...">),
multimedia,…
atașarea de meta-date externe în antetul paginii Web
via <head>, <meta /> și <link />
Josh Buchea, A free guide to <head> elements – gethead.info

de evitat elementele învechite – e.g., cadre (frame-uri) –
sau proprietare (<blink> ori <marquee>)
documentul trebuie să fie bine-formatat
verificarea corectitudinii codului HTML cu instrumentul
oferit de Consorțiul Web – validator.w3.org
a se considera și html5boilerplate.com

Conținutul primează – content is king
o importanță majoră o are titlul paginii
Untitled Document – 68.8 de milioane de rezultate redate de Google
situl trebuie actualizat periodic, frecvent
numele fișierelor (imagini, stiluri,…) contează
tehnică utilă:
„rescrierea” URL-urilor – e.g., mod_rewrite la Apache
anumite date pot fi „ascunse” de roboți via robots.txt

Realizarea legăturilor între pagini (hipermedia)
obligatoriu, de inclus legături spre alte resurse
(ale sitului propriu ori ale altor situri)
dorim legături spre/de la situri importante
având conținut similar cu situl nostru
de verificat și menținut structura hipertextului
instrumentul LinkChecker – validator.w3.org/checklink

de citit cap. 2 din S. Buraga, Proiectarea siturilor Web, Polirom, 2005
www.slideshare.net/busaco/sabin-buraga-proiectarea-siturilor-web
tehnici clasice
așa-zis „demodate”:
interschimb de adrese
(link-uri) – banner-e, blogroll-uri
marketing bazat pe context
e.g., produse/servicii înrudite

recurgerea la aplicații Web sociale
SMO – Social Media Optimization
partajare în rețeaua de „prieteni”,
apreciere, comentarii, opinii,…
S. Buraga, Design Patterns for Social (Web/mobile) Interactions,
prelegere la materia Human-Computer Interaction, FII, UAIC, 2019
profs.info.uaic.ro/~busaco/teach/courses/hci/hci-film.html#week7

de evitat paginile de eroare – 404 Not Found
orice pagină de eroare poate fi „convertită”
într-o resursă folositoare omului/robotului
uzual, se oferă harta sitului (site map),
legături relevante, motor intern de căutare,…
alistapart.com/article/perfect404
alistapart.com/article/amoreuseful404

a nu se folosi navigarea bazată pe JavaScript ori – mai
desuet – pe tehnologii proprietare (Flash/Silverlight)
<p>participanții: <a href="javascript:sari(3);">aici</a></p>
<h5><a href="javascript:window.history.back();">la prima pagină</a></h5>

Alte aspecte de interes despre SEO?

Specificarea structurii unui sit Web
crearea documentului sitemap.xml
pentru a fi ulterior procesat de motorul de căutare
www.sitemaps.org/protocol.html
complementar fișierului robots.txt
furnizează structura hipertext a unui sit Web
datele pot fi furnizate
și în formatele Atom, RSS și text obișnuit

Specificarea structurii unui sit Web
<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>https://developer.mozilla.org/en-US/docs/Archive</loc>
<lastmod>2020-01-16</lastmod>
</url>

</urlset>
cazuri concrete:
developer.mozilla.org/sitemap.xml
techcrunch.com/sitemap.xml
instrument Web de generare: www.xml-sitemaps.com

Evitarea spam-ului Web
e.g., legături încrucișate între pagini similare
ale aceluiași sit Web ori ale unei colecții de situri
motoarele de căutare detectează + penalizează spam-ul!
searchenginewatch.com/?s=spam

Paginile de „acoperire” (page cloaking)
scop: oferirea de conținut diferit,
în funcție de un anumit criteriu
(aici, conținut special pentru roboții de căutare)

Paginile de „acoperire” (page cloaking)
scop: oferirea de conținut diferit,
în funcție de un anumit criteriu
(aici, conținut special pentru roboții de căutare)
black-hat page cloaking
tehnică penalizată: support.google.com/webmasters/answer/66355

Oferirea de conținut via documente
adoptând formate de date nestandardizate
Titluri identice pentru toate paginile unui sit
Pagini de eroare oferite de server
via codul de stare HTTP 200 Ok
Redirecționări incorecte/malițioase
Abuzul de transferuri asincrone (Ajax)
de evitat

Regăsirea informațiilor disponibile pe Web
trebuie considerată într-un context mai larg
accesibilitatea – utilizatorii cu nevoi speciale
Web Accessibility Initiative
www.w3.org/WAI/
Web Accessibility in Mind
webaim.org

Regăsirea informațiilor disponibile pe Web
trebuie considerată într-un context mai larg
performanța aplicațiilor Web
aspect important:
timpul de încărcare a unei pagini Web
vezi cursul anterior

Resurse de interes:
Google Webmaster Central
developers.google.com/webmasters/
Learn SEO and Search Marketing
moz.com/learn/seo
Search Engine Land
searchengineland.com
Search Engine Watch
searchenginewatch.com
Search Engine Roundtable
www.seroundtable.com
Search Engines @ VideoLectures
videolectures.net/Top/Computer_Science/Search_Engines

Invisible Web (Deep Web)
acea parte a spațiului WWW care nu este detectată
de motoarele de căutare sau
de alte tipuri de aplicații de regăsire a resurselor
disponibile pe Web

Dark Web
acea parte a spațiului informațional reprezentat
de Deep Web care în mod intenționat e ascunsă
și inaccesibilă via navigatoare Web comune
exemplu notoriu:
rețele anonime (VPN – Virtual Private Network)
accesate cu TOR Browser

Cum am putea descrie conținutul resurselor Web
astfel încât să poată fi procesat „inteligent”?

Idee:
specificarea unor meta-date direct în cadrul
documentelor HTML pentru a „explica”
unui program (software – e.g., motor de căutare)
conținutul unei resurse Web

Soluții actuale aliniate problematicilor
Web-ului semantic – Web of Data
microformate – microformats.org
scheme de microdate HTML5 – schema.org
RDFa (standard al Consorțiului Web) – rdfa.info
la master
demodat

Microdata HTML 5
specificație HTML Living Standard (15 ianuarie 2020)
html.spec.whatwg.org/multipage/microdata.html

Microdata HTML 5
posibilitatea de a specifica perechi de proprietăți
nume—valoare „scufundate” în HTML

Microdata HTML 5
grupurile de perechi de proprietăți nume—valoare
sunt denumite items

Microdata HTML 5
sunt denumite items
creare via atributul itemscope
stabilește și domeniul de vizibilitate

Microdata HTML 5
sunt denumite items
pentru identificarea unui item se folosește itemid

Microdata HTML 5
sunt denumite items
referire cu ajutorul atributului itemref

Microdata HTML 5
sunt denumite items
asocierea unui tip de date se face cu atributul itemtype

Microdata HTML 5
sunt denumite items
specificarea unei proprietăți prin atributul itemprop

Există o serie de modele de date
(exprimate via microdate)
ce pot fi indexate și folosite
de actualele motoare de căutare?

schema.org
colecție de vocabulare (scheme de date)
– e.g., Book, Event, LocalBusiness, Movie, Offer, Person,
Place, Recipe, Review, TVSeries,… – recunoscute și
indexate de roboții principalelor motoare de căutare
istoric și viziune:
R. Wallis, “Schema.org: Structured Data – What, Why, & How”, 2018
www.slideshare.net/rjw/schemaorg-structured-data-the-what-why-how-125885618

schema.org
colecție de vocabulare (scheme de date)
– e.g., Book, Event, LocalBusiness, Movie, Offer, Person,
Place, Recipe, Review, TVSeries,… – recunoscute și
indexate de roboții principalelor motoare de căutare
Bing, Google, Yahoo!, Yandex
amănunte la schema.org/docs/gs.html
modele
conceptuale

tipurile primare de date definite de schema.org

diverse proprietăți ce relaționează Integer cu alte concepte

Thing – schema cea mai generală, incluzând conceptualizări
(clasificări realizate riguros)
Action
BroadcastService
CreativeWork
Event
Intangible
MedicalEntity
Organization
Person
Place
Product
Class
Property
modelare de cunoștințe
(via o ontologie)

Person – modelează conceptul „persoană”
http://schema.org/Person

MusicRecording – specifică o înregistrare muzicală
(sub-clasă a conceptului CreativeWork)

schema.org
relațiile dintre entități sunt precizate via proprietăți

<div lang="en" itemscope="" itemtype="http://schema.org/RealEstateAgent">
<span itemprop="name">Tuxy Unlimited</span>
<div itemprop="address" itemscope=""
itemtype="http://schema.org/PostalAddress">
<span itemprop="streetAddress">Banchiza, 1</span>
<span itemprop="addressLocality">Iasi</span>,
<span itemprop="addressRegion">Iasi</span>
<span itemprop="postalCode">700550</span>
</div>
Phone: <span itemprop="telephone">+4032201090</span>
<a href=
"http://www.openstreetmap.org/way/243817200#map=18/47.17493/27.57378"
itemprop="maps">Details on OpenStreetMap</a>
</div>
fapte vizând
domeniul imobiliar
…pe baza modelului
conceptual schema.org

<p itemid="#busaco" itemscope="" itemtype="http://schema.org/Person">
This discipline is taught by
<span itemprop="honorificPrefix">Dr.</span>
<a href="https://profs.info.uaic.ro/~busaco/"
title="Visit the Website of Sabin-Corneliu Buraga" itemprop="url">
<span itemprop="name">
<span itemprop="givenName">Sabin</span>-
<span itemprop="additionalName">Corneliu</span>
<span itemprop="familyName">Buraga</span>
</span>
</a>.
</span>
</p>
specificarea (adnotarea explicită a) faptului:
„entitatea având numele Sabin-Corneliu Buraga este
o persoană, posedă titlul Dr. și are situl Web propriu
disponibil la adresa https://profs.info.uaic.ro/~busaco/”

<section id="web-nodejs">
<h2>Web Supplement</h2>
<ul>
<li itemscope="" itemtype="http://schema.org/CreativeWork"
itemid="#nodejs" class="lecture">
<p>Tutorial: <a itemprop="url" title="…"
href="presentations/web-nodejs.pdf">
<span itemprop="name">Web Application Development
with Node.js</span></a>
</p>
<div class="terms" itemprop="keywords"> Web, development, server,
Node.js, JavaScript, programming, npm, tools</div>
</li>
…
</ul>
</section>
specificarea în HTML5 a lucrărilor creative
de tip CreativeWork conform schema.org

extragerea/verificarea de date structurate via Structured Data
Testing Tool – search.google.com/structured-data/testing-tool

extragerea informațiilor din HTML5
aici, despre prelegerile asociate unei materii

<article itemscope="" itemtype="http://schema.org/Event">
<section id="contest">
<h2>Tema</h2>
<p itemprop="description">Concursul este destinat studenților
<span itemprop="location" itemscope="" itemtype="http://schema.org/Place">
<a href="http://www.info.uaic.ro/" itemprop="url" title="Spre situl FII>
<span itemprop="name">FII</span></a>
(UAIC <span itemprop="address">Iași, România</span>)</span>
și constă în optimizarea conținutului și structurii unui sit Web.</p>
…
<p>Perioadă de desfășurare:
<span itemprop="startDate" content="2018-10-15T00:00">15 octombrie 2018
</span>—<strong><span itemprop="endDate" content="2019-01-07T17:00">
7 ianuarie 2019, ora 17:00</span></strong>.</p>
</section>
…
</articol>
pe baza schema.org, se pot modela în HTML date
vizând un eveniment (Event) și locul de desfășurare (Place)

date pentru „consum” uman vs. date structurate
interpretate și prelucrate, ulterior, de algoritmi

inspectarea datelor structurate cu OpenLink Structured
Data Sniffer – extensie de browser: osds.openlinksw.com
specificarea meta-datelor privitoare
la instanța de Articol
aici, o instanță ImageObject

alte exemplificări: pinterest.com/kidehen/structured-metadata-related/
TripAdvisor
construcții RDFa utilizând
Open Graph Protocol (Facebook) – ogp.me
utilizarea conceptelor
Country și AggregateRating

acțiuni asociate vizualizării unui produs (instanță a Product)
detalii la schema.org/docs/actions.html
vezi și Increase user engagement with actions in emails
developers.google.com/gmail/markup/
eBay
acțiuni ce pot fi efectuate de utilizator
(ViewAction e sub-concept al Action)
context: dispozitive mobile, e-mail,…

Diverse utilizări practice:
artefacte culturale
vezi prezentările lui A. Isaac despre Europeana
www.slideshare.net/antoineisaac/presentations
biblioteci digitale (digital libraries)
R. Wallis, prelegeri la Smart Data’15, BIBFRAME’18,…
www.slideshare.net/rjw/presentations
lucrări științifice
formatul Scholarly HTML
w3c.github.io/scholarly-html/
medicină + sănătate
schema.org/docs/meddocs.html
health-lifesci.schema.org

Diverse utilizări practice:
finanțe
extensia schema.org privitoare la FIBO
(Financial Industry Business Ontology)
wiki.edmcouncil.org
schema.org/FinancialProduct
industria auto
auto.schema.org
IoT (Internet of Things)
iot.webschemas.org/docs/iot-gettingstarted.html
turism
C. Bizer, Schema.org Annotations in Websites. Opportunities
& Challenges for the Tourism Industry, TFF’15
www.slideshare.net/TourismFastForward/bizer-christian-schema-orgtourism

Scheme de microdate HTML5 în sistemele de management
de conținut (CMS – Content Management Systems)
DokuWiki
www.dokuwiki.org/plugin:semantic
Joomla
extensions.joomla.org/extension/google-structured-data-markup
MediaWiki
www.mediawiki.org/wiki/Extension:GoogleRichCards
TYPO3
extensions.typo3.org/extension/schema_org/
WordPress
wordpress.org/plugins/all-in-one-schemaorg-rich-snippets/

Microdatele HTML5 sunt indexate de motoarele de căutare
Bing Webmaster
tinyurl.com/b9mx2f2
Google Structured Data
developers.google.com/structured-data/
research.googleblog.com/search/label/schema.org
Yandex Webmaster
yandex.com/support/webmaster/schema-org/

A se studia și inițiativa Web Data Commons
extragere cu Common Crawl – commoncrawl.org –
și acces la seturi de date modelate
via microdate HTML5, plus microformate și RDFa
webdatacommons.org/structureddata/

Mult succes!☺

STAW 12/12: (Re)găsirea resurselor Web. De la motoare de căutare şi SEO la date structurate

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to STAW 12/12: (Re)găsirea resurselor Web. De la motoare de căutare şi SEO la date structurate

Similar to STAW 12/12: (Re)găsirea resurselor Web. De la motoare de căutare şi SEO la date structurate (20)

More from Sabin Buraga

More from Sabin Buraga (18)

STAW 12/12: (Re)găsirea resurselor Web. De la motoare de căutare şi SEO la date structurate