Elbert Alias
5 years ago
parent
575809793e
commit
27e9b2fcbb
@ -1,445 +0,0 @@
|
|||||||
/**
|
|
||||||
* WebExtension driver
|
|
||||||
*/
|
|
||||||
|
|
||||||
/* eslint-env browser */
|
|
||||||
/* global browser, chrome, Wappalyzer */
|
|
||||||
|
|
||||||
/** global: browser */
|
|
||||||
/** global: chrome */
|
|
||||||
/** global: fetch */
|
|
||||||
/** global: Wappalyzer */
|
|
||||||
|
|
||||||
const wappalyzer = new Wappalyzer()
|
|
||||||
|
|
||||||
const tabCache = {}
|
|
||||||
const robotsTxtQueue = {}
|
|
||||||
|
|
||||||
let categoryOrder = []
|
|
||||||
|
|
||||||
browser.tabs.onRemoved.addListener((tabId) => {
|
|
||||||
tabCache[tabId] = null
|
|
||||||
})
|
|
||||||
|
|
||||||
function userAgent() {
|
|
||||||
const url = chrome.extension.getURL('/')
|
|
||||||
|
|
||||||
if (url.startsWith('moz-')) {
|
|
||||||
return 'firefox'
|
|
||||||
}
|
|
||||||
|
|
||||||
if (url.startsWith('ms-browser')) {
|
|
||||||
return 'edge'
|
|
||||||
}
|
|
||||||
|
|
||||||
return 'chrome'
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Get a value from localStorage
|
|
||||||
*/
|
|
||||||
function getOption(name, defaultValue = null) {
|
|
||||||
return new Promise(async (resolve, reject) => {
|
|
||||||
let value = defaultValue
|
|
||||||
|
|
||||||
try {
|
|
||||||
const option = await browser.storage.local.get(name)
|
|
||||||
|
|
||||||
if (option[name] !== undefined) {
|
|
||||||
value = option[name]
|
|
||||||
}
|
|
||||||
} catch (error) {
|
|
||||||
wappalyzer.log(error.message, 'driver', 'error')
|
|
||||||
|
|
||||||
return reject(error.message)
|
|
||||||
}
|
|
||||||
|
|
||||||
return resolve(value)
|
|
||||||
})
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Set a value in localStorage
|
|
||||||
*/
|
|
||||||
function setOption(name, value) {
|
|
||||||
return new Promise(async (resolve, reject) => {
|
|
||||||
try {
|
|
||||||
await browser.storage.local.set({ [name]: value })
|
|
||||||
} catch (error) {
|
|
||||||
wappalyzer.log(error.message, 'driver', 'error')
|
|
||||||
|
|
||||||
return reject(error.message)
|
|
||||||
}
|
|
||||||
|
|
||||||
return resolve()
|
|
||||||
})
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Open a tab
|
|
||||||
*/
|
|
||||||
function openTab(args) {
|
|
||||||
browser.tabs.create({
|
|
||||||
url: args.url,
|
|
||||||
active: args.background === undefined || !args.background
|
|
||||||
})
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Make a POST request
|
|
||||||
*/
|
|
||||||
async function post(url, body) {
|
|
||||||
try {
|
|
||||||
const response = await fetch(url, {
|
|
||||||
method: 'POST',
|
|
||||||
body: JSON.stringify(body)
|
|
||||||
})
|
|
||||||
|
|
||||||
wappalyzer.log(`POST ${url}: ${response.status}`, 'driver')
|
|
||||||
} catch (error) {
|
|
||||||
wappalyzer.log(`POST ${url}: ${error}`, 'driver', 'error')
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
// Capture response headers
|
|
||||||
browser.webRequest.onCompleted.addListener(
|
|
||||||
async (request) => {
|
|
||||||
const headers = {}
|
|
||||||
|
|
||||||
if (request.responseHeaders) {
|
|
||||||
const url = wappalyzer.parseUrl(request.url)
|
|
||||||
|
|
||||||
let tab
|
|
||||||
|
|
||||||
try {
|
|
||||||
;[tab] = await browser.tabs.query({ url: [url.href] })
|
|
||||||
} catch (error) {
|
|
||||||
wappalyzer.log(error, 'driver', 'error')
|
|
||||||
}
|
|
||||||
|
|
||||||
if (tab) {
|
|
||||||
request.responseHeaders.forEach((header) => {
|
|
||||||
const name = header.name.toLowerCase()
|
|
||||||
|
|
||||||
headers[name] = headers[name] || []
|
|
||||||
|
|
||||||
headers[name].push(
|
|
||||||
(header.value || header.binaryValue || '').toString()
|
|
||||||
)
|
|
||||||
})
|
|
||||||
|
|
||||||
if (
|
|
||||||
headers['content-type'] &&
|
|
||||||
/\/x?html/.test(headers['content-type'][0])
|
|
||||||
) {
|
|
||||||
wappalyzer.analyze(url, { headers }, { tab })
|
|
||||||
}
|
|
||||||
}
|
|
||||||
}
|
|
||||||
},
|
|
||||||
{ urls: ['http://*/*', 'https://*/*'], types: ['main_frame'] },
|
|
||||||
['responseHeaders']
|
|
||||||
)
|
|
||||||
|
|
||||||
browser.runtime.onConnect.addListener((port) => {
|
|
||||||
port.onMessage.addListener(async (message) => {
|
|
||||||
if (message.id === undefined) {
|
|
||||||
return
|
|
||||||
}
|
|
||||||
|
|
||||||
if (message.id !== 'log') {
|
|
||||||
wappalyzer.log(`Message from ${port.name}: ${message.id}`, 'driver')
|
|
||||||
}
|
|
||||||
|
|
||||||
const pinnedCategory = await getOption('pinnedCategory')
|
|
||||||
|
|
||||||
const url = wappalyzer.parseUrl(port.sender.tab ? port.sender.tab.url : '')
|
|
||||||
|
|
||||||
const cookies = await browser.cookies.getAll({
|
|
||||||
domain: `.${url.hostname}`
|
|
||||||
})
|
|
||||||
|
|
||||||
let response
|
|
||||||
|
|
||||||
switch (message.id) {
|
|
||||||
case 'log':
|
|
||||||
wappalyzer.log(message.subject, message.source)
|
|
||||||
|
|
||||||
break
|
|
||||||
case 'init':
|
|
||||||
wappalyzer.analyze(url, { cookies }, { tab: port.sender.tab })
|
|
||||||
|
|
||||||
break
|
|
||||||
case 'analyze':
|
|
||||||
if (message.subject.html) {
|
|
||||||
browser.i18n
|
|
||||||
.detectLanguage(message.subject.html)
|
|
||||||
.then(({ languages }) => {
|
|
||||||
const language = languages
|
|
||||||
.filter(({ percentage }) => percentage >= 75)
|
|
||||||
.map(({ language: lang }) => lang)[0]
|
|
||||||
|
|
||||||
message.subject.language = language
|
|
||||||
|
|
||||||
wappalyzer.analyze(url, message.subject, { tab: port.sender.tab })
|
|
||||||
})
|
|
||||||
} else {
|
|
||||||
wappalyzer.analyze(url, message.subject, { tab: port.sender.tab })
|
|
||||||
}
|
|
||||||
|
|
||||||
await setOption('hostnameCache', wappalyzer.hostnameCache)
|
|
||||||
|
|
||||||
break
|
|
||||||
case 'ad_log':
|
|
||||||
wappalyzer.cacheDetectedAds(message.subject)
|
|
||||||
|
|
||||||
break
|
|
||||||
case 'get_apps':
|
|
||||||
response = {
|
|
||||||
tabCache: tabCache[message.tab.id],
|
|
||||||
apps: wappalyzer.apps,
|
|
||||||
categories: wappalyzer.categories,
|
|
||||||
pinnedCategory,
|
|
||||||
termsAccepted:
|
|
||||||
userAgent() === 'chrome' ||
|
|
||||||
(await getOption('termsAccepted', false))
|
|
||||||
}
|
|
||||||
|
|
||||||
break
|
|
||||||
case 'set_option':
|
|
||||||
await setOption(message.key, message.value)
|
|
||||||
|
|
||||||
break
|
|
||||||
case 'get_js_patterns':
|
|
||||||
response = {
|
|
||||||
patterns: wappalyzer.jsPatterns
|
|
||||||
}
|
|
||||||
|
|
||||||
break
|
|
||||||
case 'update_theme_mode':
|
|
||||||
// Sync theme mode to popup.
|
|
||||||
response = {
|
|
||||||
themeMode: await getOption('themeMode', false)
|
|
||||||
}
|
|
||||||
|
|
||||||
break
|
|
||||||
default:
|
|
||||||
// Do nothing
|
|
||||||
}
|
|
||||||
|
|
||||||
if (response) {
|
|
||||||
port.postMessage({
|
|
||||||
id: message.id,
|
|
||||||
response
|
|
||||||
})
|
|
||||||
}
|
|
||||||
})
|
|
||||||
})
|
|
||||||
|
|
||||||
wappalyzer.driver.document = document
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Log messages to console
|
|
||||||
*/
|
|
||||||
wappalyzer.driver.log = (message, source, type) => {
|
|
||||||
const log = ['warn', 'error'].includes(type) ? type : 'log'
|
|
||||||
|
|
||||||
console[log](`[wappalyzer ${type}]`, `[${source}]`, message) // eslint-disable-line no-console
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Display apps
|
|
||||||
*/
|
|
||||||
wappalyzer.driver.displayApps = async (detected, meta, context) => {
|
|
||||||
const { tab } = context
|
|
||||||
|
|
||||||
if (tab === undefined) {
|
|
||||||
return
|
|
||||||
}
|
|
||||||
|
|
||||||
tabCache[tab.id] = tabCache[tab.id] || {
|
|
||||||
detected: []
|
|
||||||
}
|
|
||||||
|
|
||||||
tabCache[tab.id].detected = detected
|
|
||||||
|
|
||||||
const pinnedCategory = await getOption('pinnedCategory')
|
|
||||||
const dynamicIcon = await getOption('dynamicIcon', true)
|
|
||||||
|
|
||||||
let found = false
|
|
||||||
|
|
||||||
// Find the main application to display
|
|
||||||
;[pinnedCategory].concat(categoryOrder).forEach((match) => {
|
|
||||||
Object.keys(detected).forEach((appName) => {
|
|
||||||
const app = detected[appName]
|
|
||||||
|
|
||||||
app.props.cats.forEach((category) => {
|
|
||||||
if (category === match && !found) {
|
|
||||||
let icon =
|
|
||||||
app.props.icon && dynamicIcon ? app.props.icon : 'default.svg'
|
|
||||||
|
|
||||||
if (/\.svg$/i.test(icon)) {
|
|
||||||
icon = `converted/${icon.replace(/\.svg$/, '.png')}`
|
|
||||||
}
|
|
||||||
|
|
||||||
try {
|
|
||||||
browser.pageAction.setIcon({
|
|
||||||
tabId: tab.id,
|
|
||||||
path: `../images/icons/${icon}`
|
|
||||||
})
|
|
||||||
} catch (e) {
|
|
||||||
// Firefox for Android does not support setIcon see https://bugzilla.mozilla.org/show_bug.cgi?id=1331746
|
|
||||||
}
|
|
||||||
|
|
||||||
found = true
|
|
||||||
}
|
|
||||||
})
|
|
||||||
})
|
|
||||||
})
|
|
||||||
|
|
||||||
browser.pageAction.show(tab.id)
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Fetch and cache robots.txt for host
|
|
||||||
*/
|
|
||||||
wappalyzer.driver.getRobotsTxt = async (host, secure = false) => {
|
|
||||||
if (robotsTxtQueue[host]) {
|
|
||||||
return robotsTxtQueue[host]
|
|
||||||
}
|
|
||||||
|
|
||||||
const tracking = await getOption('tracking', true)
|
|
||||||
const robotsTxtCache = await getOption('robotsTxtCache', {})
|
|
||||||
|
|
||||||
robotsTxtQueue[host] = new Promise(async (resolve) => {
|
|
||||||
if (!tracking) {
|
|
||||||
return resolve([])
|
|
||||||
}
|
|
||||||
|
|
||||||
if (host in robotsTxtCache) {
|
|
||||||
return resolve(robotsTxtCache[host])
|
|
||||||
}
|
|
||||||
|
|
||||||
const timeout = setTimeout(() => resolve([]), 3000)
|
|
||||||
|
|
||||||
let response
|
|
||||||
|
|
||||||
try {
|
|
||||||
response = await fetch(`http${secure ? 's' : ''}://${host}/robots.txt`, {
|
|
||||||
redirect: 'follow',
|
|
||||||
mode: 'no-cors'
|
|
||||||
})
|
|
||||||
} catch (error) {
|
|
||||||
wappalyzer.log(error, 'driver', 'error')
|
|
||||||
|
|
||||||
return resolve([])
|
|
||||||
}
|
|
||||||
|
|
||||||
clearTimeout(timeout)
|
|
||||||
|
|
||||||
const robotsTxt = response.ok ? await response.text() : ''
|
|
||||||
|
|
||||||
robotsTxtCache[host] = Wappalyzer.parseRobotsTxt(robotsTxt)
|
|
||||||
|
|
||||||
await setOption('robotsTxtCache', robotsTxtCache)
|
|
||||||
|
|
||||||
delete robotsTxtQueue[host]
|
|
||||||
|
|
||||||
return resolve(robotsTxtCache[host])
|
|
||||||
})
|
|
||||||
|
|
||||||
return robotsTxtQueue[host]
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Anonymously track detected applications for research purposes
|
|
||||||
*/
|
|
||||||
wappalyzer.driver.ping = async (
|
|
||||||
hostnameCache = { expires: 0, hostnames: {} },
|
|
||||||
adCache = []
|
|
||||||
) => {
|
|
||||||
const tracking = await getOption('tracking', true)
|
|
||||||
const termsAccepted =
|
|
||||||
userAgent() === 'chrome' || (await getOption('termsAccepted', false))
|
|
||||||
|
|
||||||
if (tracking && termsAccepted) {
|
|
||||||
if (
|
|
||||||
hostnameCache.hostnames &&
|
|
||||||
Object.keys(hostnameCache.hostnames).length
|
|
||||||
) {
|
|
||||||
post('https://api.wappalyzer.com/ping/v1/', hostnameCache.hostnames)
|
|
||||||
}
|
|
||||||
|
|
||||||
if (adCache.length) {
|
|
||||||
post('https://ad.wappalyzer.com/log/wp/', adCache)
|
|
||||||
}
|
|
||||||
|
|
||||||
await setOption('robotsTxtCache', {})
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
// Init
|
|
||||||
;(async () => {
|
|
||||||
// Technologies
|
|
||||||
try {
|
|
||||||
const response = await fetch('../apps.json')
|
|
||||||
const json = await response.json()
|
|
||||||
|
|
||||||
wappalyzer.apps = json.apps
|
|
||||||
wappalyzer.categories = json.categories
|
|
||||||
} catch (error) {
|
|
||||||
wappalyzer.log(`GET apps.json: ${error.message}`, 'driver', 'error')
|
|
||||||
}
|
|
||||||
|
|
||||||
wappalyzer.parseJsPatterns()
|
|
||||||
|
|
||||||
categoryOrder = Object.keys(wappalyzer.categories)
|
|
||||||
.map((categoryId) => parseInt(categoryId, 10))
|
|
||||||
.sort(
|
|
||||||
(a, b) =>
|
|
||||||
wappalyzer.categories[a].priority - wappalyzer.categories[b].priority
|
|
||||||
)
|
|
||||||
|
|
||||||
// Version check
|
|
||||||
const { version } = browser.runtime.getManifest()
|
|
||||||
const previousVersion = await getOption('version')
|
|
||||||
const upgradeMessage = await getOption('upgradeMessage', true)
|
|
||||||
|
|
||||||
if (previousVersion === null) {
|
|
||||||
openTab({
|
|
||||||
url: `${wappalyzer.config.websiteURL}installed`
|
|
||||||
})
|
|
||||||
} else if (version !== previousVersion && upgradeMessage) {
|
|
||||||
openTab({
|
|
||||||
url: `${wappalyzer.config.websiteURL}upgraded?v${version}`,
|
|
||||||
background: true
|
|
||||||
})
|
|
||||||
}
|
|
||||||
|
|
||||||
await setOption('version', version)
|
|
||||||
|
|
||||||
// Hostname cache
|
|
||||||
wappalyzer.hostnameCache = await getOption('hostnameCache', {
|
|
||||||
expires: Date.now() + 1000 * 60 * 60 * 24,
|
|
||||||
hostnames: {}
|
|
||||||
})
|
|
||||||
|
|
||||||
// Run content script on all tabs
|
|
||||||
try {
|
|
||||||
const tabs = await browser.tabs.query({
|
|
||||||
url: ['http://*/*', 'https://*/*']
|
|
||||||
})
|
|
||||||
|
|
||||||
tabs.forEach(async (tab) => {
|
|
||||||
try {
|
|
||||||
await browser.tabs.executeScript(tab.id, {
|
|
||||||
file: '../js/content.js'
|
|
||||||
})
|
|
||||||
} catch (error) {
|
|
||||||
//
|
|
||||||
}
|
|
||||||
})
|
|
||||||
} catch (error) {
|
|
||||||
wappalyzer.log(error, 'driver', 'error')
|
|
||||||
}
|
|
||||||
})()
|
|
||||||
@ -1,333 +0,0 @@
|
|||||||
'use strict'
|
|
||||||
/* eslint-env browser */
|
|
||||||
/* globals chrome */
|
|
||||||
|
|
||||||
let pinnedCategory = null
|
|
||||||
let termsAccepted = false
|
|
||||||
|
|
||||||
const port = chrome.runtime.connect({
|
|
||||||
name: 'popup.js'
|
|
||||||
})
|
|
||||||
|
|
||||||
function slugify(string) {
|
|
||||||
return string
|
|
||||||
.toLowerCase()
|
|
||||||
.replace(/[^a-z0-9-]/g, '-')
|
|
||||||
.replace(/--+/g, '-')
|
|
||||||
.replace(/(?:^-|-$)/, '')
|
|
||||||
}
|
|
||||||
|
|
||||||
function i18n() {
|
|
||||||
const nodes = document.querySelectorAll('[data-i18n]')
|
|
||||||
|
|
||||||
Array.prototype.forEach.call(nodes, (node) => {
|
|
||||||
node.innerHTML = browser.i18n.getMessage(node.dataset.i18n)
|
|
||||||
})
|
|
||||||
}
|
|
||||||
|
|
||||||
function replaceDom(domTemplate) {
|
|
||||||
const container = document.getElementsByClassName('container')[0]
|
|
||||||
|
|
||||||
while (container.firstChild) {
|
|
||||||
container.removeChild(container.firstChild)
|
|
||||||
}
|
|
||||||
|
|
||||||
container.appendChild(jsonToDOM(domTemplate, document, {}))
|
|
||||||
|
|
||||||
i18n()
|
|
||||||
|
|
||||||
Array.from(
|
|
||||||
document.querySelectorAll('.detected__category-pin-wrapper')
|
|
||||||
).forEach((pin) => {
|
|
||||||
pin.addEventListener('click', () => {
|
|
||||||
const categoryId = parseInt(pin.dataset.categoryId, 10)
|
|
||||||
|
|
||||||
if (categoryId === pinnedCategory) {
|
|
||||||
pin.className = 'detected__category-pin-wrapper'
|
|
||||||
|
|
||||||
pinnedCategory = null
|
|
||||||
} else {
|
|
||||||
const active = document.querySelector(
|
|
||||||
'.detected__category-pin-wrapper--active'
|
|
||||||
)
|
|
||||||
|
|
||||||
if (active) {
|
|
||||||
active.className = 'detected__category-pin-wrapper'
|
|
||||||
}
|
|
||||||
|
|
||||||
pin.className =
|
|
||||||
'detected__category-pin-wrapper detected__category-pin-wrapper--active'
|
|
||||||
|
|
||||||
pinnedCategory = categoryId
|
|
||||||
}
|
|
||||||
|
|
||||||
port.postMessage({
|
|
||||||
id: 'set_option',
|
|
||||||
key: 'pinnedCategory',
|
|
||||||
value: pinnedCategory
|
|
||||||
})
|
|
||||||
})
|
|
||||||
})
|
|
||||||
|
|
||||||
Array.from(document.querySelectorAll('a')).forEach((link) => {
|
|
||||||
link.addEventListener('click', () => {
|
|
||||||
browser.tabs.create({ url: link.href })
|
|
||||||
|
|
||||||
return false
|
|
||||||
})
|
|
||||||
})
|
|
||||||
}
|
|
||||||
|
|
||||||
function replaceDomWhenReady(dom) {
|
|
||||||
if (/complete|interactive|loaded/.test(document.readyState)) {
|
|
||||||
replaceDom(dom)
|
|
||||||
} else {
|
|
||||||
document.addEventListener('DOMContentLoaded', () => {
|
|
||||||
replaceDom(dom)
|
|
||||||
})
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
function appsToDomTemplate(response) {
|
|
||||||
let template = []
|
|
||||||
|
|
||||||
if (response.tabCache && Object.keys(response.tabCache.detected).length > 0) {
|
|
||||||
const categories = {}
|
|
||||||
|
|
||||||
// Group apps by category
|
|
||||||
for (const appName in response.tabCache.detected) {
|
|
||||||
response.apps[appName].cats.forEach((cat) => {
|
|
||||||
categories[cat] = categories[cat] || {
|
|
||||||
name: response.categories[cat].name,
|
|
||||||
apps: []
|
|
||||||
}
|
|
||||||
|
|
||||||
categories[cat].apps[appName] = appName
|
|
||||||
})
|
|
||||||
}
|
|
||||||
|
|
||||||
for (const cat in categories) {
|
|
||||||
const apps = []
|
|
||||||
|
|
||||||
for (const appName in categories[cat].apps) {
|
|
||||||
const { confidenceTotal, version } = response.tabCache.detected[appName]
|
|
||||||
|
|
||||||
apps.push([
|
|
||||||
'a',
|
|
||||||
{
|
|
||||||
class: 'detected__app',
|
|
||||||
href: `https://www.wappalyzer.com/technologies/${slugify(
|
|
||||||
categories[cat].name
|
|
||||||
)}/${slugify(appName)}`
|
|
||||||
},
|
|
||||||
[
|
|
||||||
'img',
|
|
||||||
{
|
|
||||||
class: 'detected__app-icon',
|
|
||||||
src: `../images/icons/${response.apps[appName].icon ||
|
|
||||||
'default.svg'}`
|
|
||||||
}
|
|
||||||
],
|
|
||||||
[
|
|
||||||
'span',
|
|
||||||
{
|
|
||||||
class: 'detected__app-name'
|
|
||||||
},
|
|
||||||
appName
|
|
||||||
],
|
|
||||||
version
|
|
||||||
? [
|
|
||||||
'span',
|
|
||||||
{
|
|
||||||
class: 'detected__app-version'
|
|
||||||
},
|
|
||||||
version
|
|
||||||
]
|
|
||||||
: null,
|
|
||||||
confidenceTotal < 100
|
|
||||||
? [
|
|
||||||
'span',
|
|
||||||
{
|
|
||||||
class: 'detected__app-confidence'
|
|
||||||
},
|
|
||||||
`${confidenceTotal}% sure`
|
|
||||||
]
|
|
||||||
: null
|
|
||||||
])
|
|
||||||
}
|
|
||||||
|
|
||||||
template.push([
|
|
||||||
'div',
|
|
||||||
{
|
|
||||||
class: 'detected__category'
|
|
||||||
},
|
|
||||||
[
|
|
||||||
'div',
|
|
||||||
{
|
|
||||||
class: 'detected__category-name'
|
|
||||||
},
|
|
||||||
[
|
|
||||||
'a',
|
|
||||||
{
|
|
||||||
class: 'detected__category-link',
|
|
||||||
href: `https://www.wappalyzer.com/categories/${slugify(
|
|
||||||
response.categories[cat].name
|
|
||||||
)}`
|
|
||||||
},
|
|
||||||
browser.i18n.getMessage(`categoryName${cat}`)
|
|
||||||
],
|
|
||||||
[
|
|
||||||
'span',
|
|
||||||
{
|
|
||||||
class: `detected__category-pin-wrapper${
|
|
||||||
parseInt(pinnedCategory, 10) === parseInt(cat, 10)
|
|
||||||
? ' detected__category-pin-wrapper--active'
|
|
||||||
: ''
|
|
||||||
}`,
|
|
||||||
'data-category-id': cat,
|
|
||||||
title: browser.i18n.getMessage('categoryPin')
|
|
||||||
},
|
|
||||||
[
|
|
||||||
'img',
|
|
||||||
{
|
|
||||||
class: 'detected__category-pin detected__category-pin--active',
|
|
||||||
src: '../images/pin-active.svg'
|
|
||||||
}
|
|
||||||
],
|
|
||||||
[
|
|
||||||
'img',
|
|
||||||
{
|
|
||||||
class:
|
|
||||||
'detected__category-pin detected__category-pin--inactive',
|
|
||||||
src: '../images/pin.svg'
|
|
||||||
}
|
|
||||||
]
|
|
||||||
]
|
|
||||||
],
|
|
||||||
[
|
|
||||||
'div',
|
|
||||||
{
|
|
||||||
class: 'detected__apps'
|
|
||||||
},
|
|
||||||
apps
|
|
||||||
]
|
|
||||||
])
|
|
||||||
}
|
|
||||||
|
|
||||||
template = [
|
|
||||||
'div',
|
|
||||||
{
|
|
||||||
class: 'detected'
|
|
||||||
},
|
|
||||||
template
|
|
||||||
]
|
|
||||||
} else {
|
|
||||||
template = [
|
|
||||||
'div',
|
|
||||||
{
|
|
||||||
class: 'empty'
|
|
||||||
},
|
|
||||||
[
|
|
||||||
'span',
|
|
||||||
{
|
|
||||||
class: 'empty__text'
|
|
||||||
},
|
|
||||||
browser.i18n.getMessage('noAppsDetected')
|
|
||||||
]
|
|
||||||
]
|
|
||||||
}
|
|
||||||
|
|
||||||
return template
|
|
||||||
}
|
|
||||||
|
|
||||||
async function getApps() {
|
|
||||||
try {
|
|
||||||
const tabs = await browser.tabs.query({
|
|
||||||
active: true,
|
|
||||||
currentWindow: true
|
|
||||||
})
|
|
||||||
|
|
||||||
const url = new URL(tabs[0].url)
|
|
||||||
|
|
||||||
document.querySelector(
|
|
||||||
'.footer__link'
|
|
||||||
).href = `https://www.wappalyzer.com/alerts/manage?url=${encodeURIComponent(
|
|
||||||
`${url.protocol}//${url.hostname}`
|
|
||||||
)}`
|
|
||||||
|
|
||||||
port.postMessage({
|
|
||||||
id: 'get_apps',
|
|
||||||
tab: tabs[0]
|
|
||||||
})
|
|
||||||
} catch (error) {
|
|
||||||
console.error(error) // eslint-disable-line no-console
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Async function to update body class based on option.
|
|
||||||
*/
|
|
||||||
function getThemeMode() {
|
|
||||||
try {
|
|
||||||
port.postMessage({
|
|
||||||
id: 'update_theme_mode'
|
|
||||||
})
|
|
||||||
} catch (error) {
|
|
||||||
console.error(error) // eslint-disable-line no-console
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Update theme mode based on browser option.
|
|
||||||
* @param {object} res Response from port listener.
|
|
||||||
*/
|
|
||||||
function updateThemeMode(res) {
|
|
||||||
if (res.hasOwnProperty('themeMode') && res.themeMode !== false) {
|
|
||||||
document.body.classList.add('theme-mode-sync')
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
function displayApps(response) {
|
|
||||||
pinnedCategory = response.pinnedCategory // eslint-disable-line prefer-destructuring
|
|
||||||
termsAccepted = response.termsAccepted // eslint-disable-line prefer-destructuring
|
|
||||||
|
|
||||||
if (termsAccepted) {
|
|
||||||
replaceDomWhenReady(appsToDomTemplate(response))
|
|
||||||
} else {
|
|
||||||
i18n()
|
|
||||||
|
|
||||||
const wrapper = document.querySelector('.terms__wrapper')
|
|
||||||
|
|
||||||
document.querySelector('.terms__accept').addEventListener('click', () => {
|
|
||||||
port.postMessage({
|
|
||||||
id: 'set_option',
|
|
||||||
key: 'termsAccepted',
|
|
||||||
value: true
|
|
||||||
})
|
|
||||||
|
|
||||||
wrapper.classList.remove('terms__wrapper--active')
|
|
||||||
|
|
||||||
getApps()
|
|
||||||
})
|
|
||||||
|
|
||||||
wrapper.classList.add('terms__wrapper--active')
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
port.onMessage.addListener((message) => {
|
|
||||||
switch (message.id) {
|
|
||||||
case 'get_apps':
|
|
||||||
displayApps(message.response)
|
|
||||||
|
|
||||||
break
|
|
||||||
case 'update_theme_mode':
|
|
||||||
updateThemeMode(message.response)
|
|
||||||
|
|
||||||
break
|
|
||||||
default:
|
|
||||||
// Do nothing
|
|
||||||
}
|
|
||||||
})
|
|
||||||
|
|
||||||
getThemeMode()
|
|
||||||
getApps()
|
|
||||||
@ -1,727 +0,0 @@
|
|||||||
const validation = {
|
|
||||||
hostname: /(www.)?((.+?)\.(([a-z]{2,3}\.)?[a-z]{2,6}))$/,
|
|
||||||
hostnameBlacklist: /((local|dev(elopment)?|stag(e|ing)?|test(ing)?|demo(shop)?|admin|google|cache)\.|\/admin|\.local)/
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Enclose string in array
|
|
||||||
*/
|
|
||||||
function asArray(value) {
|
|
||||||
return Array.isArray(value) ? value : [value]
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
*
|
|
||||||
*/
|
|
||||||
function asyncForEach(iterable, iterator) {
|
|
||||||
return Promise.all(
|
|
||||||
(iterable || []).map(
|
|
||||||
(item) =>
|
|
||||||
new Promise((resolve) => setTimeout(() => resolve(iterator(item)), 1))
|
|
||||||
)
|
|
||||||
)
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Mark application as detected, set confidence and version
|
|
||||||
*/
|
|
||||||
function addDetected(app, pattern, type, value, key) {
|
|
||||||
app.detected = true
|
|
||||||
|
|
||||||
// Set confidence level
|
|
||||||
app.confidence[`${type} ${key ? `${key} ` : ''}${pattern.regex}`] =
|
|
||||||
pattern.confidence === undefined ? 100 : parseInt(pattern.confidence, 10)
|
|
||||||
|
|
||||||
// Detect version number
|
|
||||||
if (pattern.version) {
|
|
||||||
const versions = []
|
|
||||||
const matches = pattern.regex.exec(value)
|
|
||||||
|
|
||||||
let { version } = pattern
|
|
||||||
|
|
||||||
if (matches) {
|
|
||||||
matches.forEach((match, i) => {
|
|
||||||
// Parse ternary operator
|
|
||||||
const ternary = new RegExp(`\\\\${i}\\?([^:]+):(.*)$`).exec(version)
|
|
||||||
|
|
||||||
if (ternary && ternary.length === 3) {
|
|
||||||
version = version.replace(ternary[0], match ? ternary[1] : ternary[2])
|
|
||||||
}
|
|
||||||
|
|
||||||
// Replace back references
|
|
||||||
version = version
|
|
||||||
.trim()
|
|
||||||
.replace(new RegExp(`\\\\${i}`, 'g'), match || '')
|
|
||||||
})
|
|
||||||
|
|
||||||
if (version && !versions.includes(version)) {
|
|
||||||
versions.push(version)
|
|
||||||
}
|
|
||||||
|
|
||||||
if (versions.length) {
|
|
||||||
// Use the longest detected version number
|
|
||||||
app.version = versions.reduce((a, b) => (a.length > b.length ? a : b))
|
|
||||||
}
|
|
||||||
}
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
function resolveExcludes(apps, detected) {
|
|
||||||
const excludes = []
|
|
||||||
const detectedApps = Object.assign({}, apps, detected)
|
|
||||||
|
|
||||||
// Exclude app in detected apps only
|
|
||||||
Object.keys(detectedApps).forEach((appName) => {
|
|
||||||
const app = detectedApps[appName]
|
|
||||||
|
|
||||||
if (app.props.excludes) {
|
|
||||||
asArray(app.props.excludes).forEach((excluded) => {
|
|
||||||
excludes.push(excluded)
|
|
||||||
})
|
|
||||||
}
|
|
||||||
})
|
|
||||||
|
|
||||||
// Remove excluded applications
|
|
||||||
Object.keys(apps).forEach((appName) => {
|
|
||||||
if (excludes.includes(appName)) {
|
|
||||||
delete apps[appName]
|
|
||||||
}
|
|
||||||
})
|
|
||||||
}
|
|
||||||
|
|
||||||
class Application {
|
|
||||||
constructor(name, props, detected) {
|
|
||||||
this.confidence = {}
|
|
||||||
this.confidenceTotal = 0
|
|
||||||
this.detected = Boolean(detected)
|
|
||||||
this.excludes = []
|
|
||||||
this.name = name
|
|
||||||
this.props = props
|
|
||||||
this.version = ''
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Calculate confidence total
|
|
||||||
*/
|
|
||||||
getConfidence() {
|
|
||||||
let total = 0
|
|
||||||
|
|
||||||
Object.keys(this.confidence).forEach((id) => {
|
|
||||||
total += this.confidence[id]
|
|
||||||
})
|
|
||||||
|
|
||||||
this.confidenceTotal = Math.min(total, 100)
|
|
||||||
|
|
||||||
return this.confidenceTotal
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
class Wappalyzer {
|
|
||||||
constructor() {
|
|
||||||
this.apps = {}
|
|
||||||
this.categories = {}
|
|
||||||
this.driver = {}
|
|
||||||
this.jsPatterns = {}
|
|
||||||
this.detected = {}
|
|
||||||
this.hostnameCache = {
|
|
||||||
expires: Date.now() + 1000 * 60 * 60 * 24,
|
|
||||||
hostnames: {}
|
|
||||||
}
|
|
||||||
this.adCache = []
|
|
||||||
|
|
||||||
this.config = {
|
|
||||||
websiteURL: 'https://www.wappalyzer.com/',
|
|
||||||
twitterURL: 'https://twitter.com/Wappalyzer',
|
|
||||||
githubURL: 'https://github.com/AliasIO/Wappalyzer'
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Log messages to console
|
|
||||||
*/
|
|
||||||
log(message, source, type) {
|
|
||||||
if (this.driver.log) {
|
|
||||||
this.driver.log(message, source || '', type || 'debug')
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
analyze(url, data, context) {
|
|
||||||
const apps = {}
|
|
||||||
const promises = []
|
|
||||||
const startTime = new Date()
|
|
||||||
const { scripts, cookies, headers, js } = data
|
|
||||||
|
|
||||||
let { html } = data
|
|
||||||
|
|
||||||
if (this.detected[url.canonical] === undefined) {
|
|
||||||
this.detected[url.canonical] = {}
|
|
||||||
}
|
|
||||||
|
|
||||||
const metaTags = []
|
|
||||||
|
|
||||||
// Additional information
|
|
||||||
let language = null
|
|
||||||
|
|
||||||
if (html) {
|
|
||||||
if (typeof html !== 'string') {
|
|
||||||
html = ''
|
|
||||||
}
|
|
||||||
|
|
||||||
let matches = data.html.match(
|
|
||||||
new RegExp('<html[^>]*[: ]lang="([a-z]{2}((-|_)[A-Z]{2})?)"', 'i')
|
|
||||||
)
|
|
||||||
|
|
||||||
language = matches && matches.length ? matches[1] : data.language || null
|
|
||||||
|
|
||||||
// Meta tags
|
|
||||||
const regex = /<meta[^>]+>/gi
|
|
||||||
|
|
||||||
do {
|
|
||||||
matches = regex.exec(html)
|
|
||||||
|
|
||||||
if (!matches) {
|
|
||||||
break
|
|
||||||
}
|
|
||||||
|
|
||||||
metaTags.push(matches[0])
|
|
||||||
} while (matches)
|
|
||||||
}
|
|
||||||
|
|
||||||
Object.keys(this.apps).forEach((appName) => {
|
|
||||||
apps[appName] =
|
|
||||||
this.detected[url.canonical] && this.detected[url.canonical][appName]
|
|
||||||
? this.detected[url.canonical][appName]
|
|
||||||
: new Application(appName, this.apps[appName])
|
|
||||||
|
|
||||||
const app = apps[appName]
|
|
||||||
|
|
||||||
promises.push(this.analyzeUrl(app, url))
|
|
||||||
|
|
||||||
if (html) {
|
|
||||||
promises.push(this.analyzeHtml(app, html))
|
|
||||||
promises.push(this.analyzeMeta(app, metaTags))
|
|
||||||
}
|
|
||||||
|
|
||||||
if (scripts) {
|
|
||||||
promises.push(this.analyzeScripts(app, scripts))
|
|
||||||
}
|
|
||||||
|
|
||||||
if (cookies) {
|
|
||||||
promises.push(this.analyzeCookies(app, cookies))
|
|
||||||
}
|
|
||||||
|
|
||||||
if (headers) {
|
|
||||||
promises.push(this.analyzeHeaders(app, headers))
|
|
||||||
}
|
|
||||||
})
|
|
||||||
|
|
||||||
if (js) {
|
|
||||||
Object.keys(js).forEach((appName) => {
|
|
||||||
if (typeof js[appName] !== 'function') {
|
|
||||||
promises.push(this.analyzeJs(apps[appName], js[appName]))
|
|
||||||
}
|
|
||||||
})
|
|
||||||
}
|
|
||||||
|
|
||||||
return new Promise(async (resolve) => {
|
|
||||||
await Promise.all(promises)
|
|
||||||
|
|
||||||
Object.keys(apps).forEach((appName) => {
|
|
||||||
const app = apps[appName]
|
|
||||||
|
|
||||||
if (!app.detected || !app.getConfidence()) {
|
|
||||||
delete apps[app.name]
|
|
||||||
}
|
|
||||||
})
|
|
||||||
|
|
||||||
resolveExcludes(apps, this.detected[url])
|
|
||||||
this.resolveImplies(apps, url.canonical)
|
|
||||||
|
|
||||||
this.cacheDetectedApps(apps, url.canonical)
|
|
||||||
this.trackDetectedApps(apps, url, language)
|
|
||||||
|
|
||||||
this.log(
|
|
||||||
`Processing ${Object.keys(data).join(', ')} took ${(
|
|
||||||
(new Date() - startTime) /
|
|
||||||
1000
|
|
||||||
).toFixed(2)}s (${url.hostname})`,
|
|
||||||
'core'
|
|
||||||
)
|
|
||||||
|
|
||||||
if (Object.keys(apps).length) {
|
|
||||||
this.log(
|
|
||||||
`Identified ${Object.keys(apps).join(', ')} (${url.hostname})`,
|
|
||||||
'core'
|
|
||||||
)
|
|
||||||
}
|
|
||||||
|
|
||||||
this.driver.displayApps(
|
|
||||||
this.detected[url.canonical],
|
|
||||||
{ language },
|
|
||||||
context
|
|
||||||
)
|
|
||||||
|
|
||||||
return resolve()
|
|
||||||
})
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Cache detected ads
|
|
||||||
*/
|
|
||||||
cacheDetectedAds(ad) {
|
|
||||||
this.adCache.push(ad)
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
*
|
|
||||||
*/
|
|
||||||
robotsTxtAllows(url) {
|
|
||||||
return new Promise(async (resolve, reject) => {
|
|
||||||
const parsed = this.parseUrl(url)
|
|
||||||
|
|
||||||
if (parsed.protocol !== 'http:' && parsed.protocol !== 'https:') {
|
|
||||||
return reject()
|
|
||||||
}
|
|
||||||
|
|
||||||
const robotsTxt = await this.driver.getRobotsTxt(
|
|
||||||
parsed.host,
|
|
||||||
parsed.protocol === 'https:'
|
|
||||||
)
|
|
||||||
|
|
||||||
if (
|
|
||||||
robotsTxt.some(
|
|
||||||
(disallowedPath) => parsed.pathname.indexOf(disallowedPath) === 0
|
|
||||||
)
|
|
||||||
) {
|
|
||||||
return reject()
|
|
||||||
}
|
|
||||||
|
|
||||||
return resolve()
|
|
||||||
})
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Parse a URL
|
|
||||||
*/
|
|
||||||
parseUrl(url) {
|
|
||||||
const a = this.driver.document.createElement('a')
|
|
||||||
|
|
||||||
a.href = url
|
|
||||||
|
|
||||||
a.canonical = `${a.protocol}//${a.host}${a.pathname}`
|
|
||||||
|
|
||||||
return a
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
*
|
|
||||||
*/
|
|
||||||
static parseRobotsTxt(robotsTxt) {
|
|
||||||
const disallow = []
|
|
||||||
|
|
||||||
let userAgent
|
|
||||||
|
|
||||||
robotsTxt.split('\n').forEach((line) => {
|
|
||||||
let matches = /^User-agent:\s*(.+)$/i.exec(line.trim())
|
|
||||||
|
|
||||||
if (matches) {
|
|
||||||
userAgent = matches[1].toLowerCase()
|
|
||||||
} else if (userAgent === '*' || userAgent === 'wappalyzer') {
|
|
||||||
matches = /^Disallow:\s*(.+)$/i.exec(line.trim())
|
|
||||||
|
|
||||||
if (matches) {
|
|
||||||
disallow.push(matches[1])
|
|
||||||
}
|
|
||||||
}
|
|
||||||
})
|
|
||||||
|
|
||||||
return disallow
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
*
|
|
||||||
*/
|
|
||||||
ping() {
|
|
||||||
if (
|
|
||||||
!this.hostnameCache.hostnames ||
|
|
||||||
Object.keys(this.hostnameCache.hostnames).length > 50 ||
|
|
||||||
this.hostnameCache.expires < Date.now()
|
|
||||||
) {
|
|
||||||
this.driver.ping(this.hostnameCache)
|
|
||||||
|
|
||||||
this.hostnameCache = {
|
|
||||||
expires: Date.now() + 1000 * 60 * 60 * 24,
|
|
||||||
hostnames: {}
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
if (this.adCache.length > 50) {
|
|
||||||
this.driver.ping(undefined, this.adCache)
|
|
||||||
|
|
||||||
this.adCache = []
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Parse apps.json patterns
|
|
||||||
*/
|
|
||||||
parsePatterns(patterns) {
|
|
||||||
if (!patterns) {
|
|
||||||
return []
|
|
||||||
}
|
|
||||||
|
|
||||||
let parsed = {}
|
|
||||||
|
|
||||||
// Convert string to object containing array containing string
|
|
||||||
if (typeof patterns === 'string' || Array.isArray(patterns)) {
|
|
||||||
patterns = {
|
|
||||||
main: asArray(patterns)
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
Object.keys(patterns).forEach((key) => {
|
|
||||||
parsed[key] = []
|
|
||||||
|
|
||||||
asArray(patterns[key]).forEach((pattern) => {
|
|
||||||
const attrs = {}
|
|
||||||
|
|
||||||
pattern.split('\\;').forEach((attr, i) => {
|
|
||||||
if (i) {
|
|
||||||
// Key value pairs
|
|
||||||
attr = attr.split(':')
|
|
||||||
|
|
||||||
if (attr.length > 1) {
|
|
||||||
attrs[attr.shift()] = attr.join(':')
|
|
||||||
}
|
|
||||||
} else {
|
|
||||||
attrs.string = attr
|
|
||||||
|
|
||||||
try {
|
|
||||||
attrs.regex = new RegExp(attr.replace('/', '/'), 'i') // Escape slashes in regular expression
|
|
||||||
} catch (error) {
|
|
||||||
attrs.regex = new RegExp()
|
|
||||||
|
|
||||||
this.log(`${error.message}: ${attr}`, 'error', 'core')
|
|
||||||
}
|
|
||||||
}
|
|
||||||
})
|
|
||||||
|
|
||||||
parsed[key].push(attrs)
|
|
||||||
})
|
|
||||||
})
|
|
||||||
|
|
||||||
// Convert back to array if the original pattern list was an array (or string)
|
|
||||||
if ('main' in parsed) {
|
|
||||||
parsed = parsed.main
|
|
||||||
}
|
|
||||||
|
|
||||||
return parsed
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Parse JavaScript patterns
|
|
||||||
*/
|
|
||||||
parseJsPatterns() {
|
|
||||||
Object.keys(this.apps).forEach((appName) => {
|
|
||||||
if (this.apps[appName].js) {
|
|
||||||
this.jsPatterns[appName] = this.parsePatterns(this.apps[appName].js)
|
|
||||||
}
|
|
||||||
})
|
|
||||||
}
|
|
||||||
|
|
||||||
resolveImplies(apps, url) {
|
|
||||||
let checkImplies = true
|
|
||||||
|
|
||||||
const resolve = (appName) => {
|
|
||||||
const app = apps[appName]
|
|
||||||
|
|
||||||
if (app && app.props.implies) {
|
|
||||||
asArray(app.props.implies).forEach((implied) => {
|
|
||||||
;[implied] = this.parsePatterns(implied)
|
|
||||||
|
|
||||||
if (!this.apps[implied.string]) {
|
|
||||||
this.log(
|
|
||||||
`Implied application ${implied.string} does not exist`,
|
|
||||||
'core',
|
|
||||||
'warn'
|
|
||||||
)
|
|
||||||
|
|
||||||
return
|
|
||||||
}
|
|
||||||
|
|
||||||
if (!(implied.string in apps)) {
|
|
||||||
apps[implied.string] =
|
|
||||||
this.detected[url] && this.detected[url][implied.string]
|
|
||||||
? this.detected[url][implied.string]
|
|
||||||
: new Application(
|
|
||||||
implied.string,
|
|
||||||
this.apps[implied.string],
|
|
||||||
true
|
|
||||||
)
|
|
||||||
|
|
||||||
checkImplies = true
|
|
||||||
}
|
|
||||||
|
|
||||||
// Apply app confidence to implied app
|
|
||||||
Object.keys(app.confidence).forEach((id) => {
|
|
||||||
apps[implied.string].confidence[`${id} implied by ${appName}`] =
|
|
||||||
app.confidence[id] *
|
|
||||||
(implied.confidence === undefined ? 1 : implied.confidence / 100)
|
|
||||||
})
|
|
||||||
})
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
// Implied applications
|
|
||||||
// Run several passes as implied apps may imply other apps
|
|
||||||
while (checkImplies) {
|
|
||||||
checkImplies = false
|
|
||||||
|
|
||||||
Object.keys(apps).forEach(resolve)
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Cache detected applications
|
|
||||||
*/
|
|
||||||
cacheDetectedApps(apps, url) {
|
|
||||||
Object.keys(apps).forEach((appName) => {
|
|
||||||
const app = apps[appName]
|
|
||||||
|
|
||||||
// Per URL
|
|
||||||
this.detected[url][appName] = app
|
|
||||||
|
|
||||||
Object.keys(app.confidence).forEach((id) => {
|
|
||||||
this.detected[url][appName].confidence[id] = app.confidence[id]
|
|
||||||
})
|
|
||||||
})
|
|
||||||
|
|
||||||
if (this.driver.ping instanceof Function) {
|
|
||||||
this.ping()
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Track detected applications
|
|
||||||
*/
|
|
||||||
trackDetectedApps(apps, url, language) {
|
|
||||||
if (!(this.driver.ping instanceof Function)) {
|
|
||||||
return
|
|
||||||
}
|
|
||||||
|
|
||||||
const hostname = `${url.protocol}//${url.hostname}`
|
|
||||||
|
|
||||||
Object.keys(apps).forEach((appName) => {
|
|
||||||
const app = apps[appName]
|
|
||||||
|
|
||||||
if (this.detected[url.canonical][appName].getConfidence() >= 100) {
|
|
||||||
if (
|
|
||||||
validation.hostname.test(url.hostname) &&
|
|
||||||
!validation.hostnameBlacklist.test(url.hostname)
|
|
||||||
) {
|
|
||||||
if (!(hostname in this.hostnameCache.hostnames)) {
|
|
||||||
this.hostnameCache.hostnames[hostname] = {
|
|
||||||
applications: {},
|
|
||||||
meta: {}
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
if (
|
|
||||||
!(appName in this.hostnameCache.hostnames[hostname].applications)
|
|
||||||
) {
|
|
||||||
this.hostnameCache.hostnames[hostname].applications[appName] = {
|
|
||||||
hits: 0
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
this.hostnameCache.hostnames[hostname].applications[appName].hits += 1
|
|
||||||
|
|
||||||
if (apps[appName].version) {
|
|
||||||
this.hostnameCache.hostnames[hostname].applications[
|
|
||||||
appName
|
|
||||||
].version = app.version
|
|
||||||
}
|
|
||||||
}
|
|
||||||
}
|
|
||||||
})
|
|
||||||
|
|
||||||
if (hostname in this.hostnameCache.hostnames) {
|
|
||||||
this.hostnameCache.hostnames[hostname].meta.language = language
|
|
||||||
}
|
|
||||||
|
|
||||||
this.ping()
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Analyze URL
|
|
||||||
*/
|
|
||||||
analyzeUrl(app, url) {
|
|
||||||
const patterns = this.parsePatterns(app.props.url)
|
|
||||||
|
|
||||||
if (!patterns.length) {
|
|
||||||
return Promise.resolve()
|
|
||||||
}
|
|
||||||
|
|
||||||
return asyncForEach(patterns, (pattern) => {
|
|
||||||
if (pattern.regex.test(url.canonical)) {
|
|
||||||
addDetected(app, pattern, 'url', url.canonical)
|
|
||||||
}
|
|
||||||
})
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Analyze HTML
|
|
||||||
*/
|
|
||||||
analyzeHtml(app, html) {
|
|
||||||
const patterns = this.parsePatterns(app.props.html)
|
|
||||||
|
|
||||||
if (!patterns.length) {
|
|
||||||
return Promise.resolve()
|
|
||||||
}
|
|
||||||
|
|
||||||
return asyncForEach(patterns, (pattern) => {
|
|
||||||
if (pattern.regex.test(html)) {
|
|
||||||
addDetected(app, pattern, 'html', html)
|
|
||||||
}
|
|
||||||
})
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Analyze script tag
|
|
||||||
*/
|
|
||||||
analyzeScripts(app, scripts) {
|
|
||||||
const patterns = this.parsePatterns(app.props.script)
|
|
||||||
|
|
||||||
if (!patterns.length) {
|
|
||||||
return Promise.resolve()
|
|
||||||
}
|
|
||||||
|
|
||||||
return asyncForEach(patterns, (pattern) => {
|
|
||||||
scripts.forEach((uri) => {
|
|
||||||
if (pattern.regex.test(uri)) {
|
|
||||||
addDetected(app, pattern, 'script', uri)
|
|
||||||
}
|
|
||||||
})
|
|
||||||
})
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Analyze meta tag
|
|
||||||
*/
|
|
||||||
analyzeMeta(app, metaTags) {
|
|
||||||
const patterns = this.parsePatterns(app.props.meta)
|
|
||||||
const promises = []
|
|
||||||
|
|
||||||
if (!app.props.meta) {
|
|
||||||
return Promise.resolve()
|
|
||||||
}
|
|
||||||
|
|
||||||
metaTags.forEach((match) => {
|
|
||||||
Object.keys(patterns).forEach((meta) => {
|
|
||||||
const r = new RegExp(`(?:name|property)=["']${meta}["']`, 'i')
|
|
||||||
|
|
||||||
if (r.test(match)) {
|
|
||||||
const content = match.match(/content=("|')([^"']+)("|')/i)
|
|
||||||
|
|
||||||
promises.push(
|
|
||||||
asyncForEach(patterns[meta], (pattern) => {
|
|
||||||
if (
|
|
||||||
content &&
|
|
||||||
content.length === 4 &&
|
|
||||||
pattern.regex.test(content[2])
|
|
||||||
) {
|
|
||||||
addDetected(app, pattern, 'meta', content[2], meta)
|
|
||||||
}
|
|
||||||
})
|
|
||||||
)
|
|
||||||
}
|
|
||||||
})
|
|
||||||
})
|
|
||||||
|
|
||||||
return Promise.all(promises)
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Analyze response headers
|
|
||||||
*/
|
|
||||||
analyzeHeaders(app, headers) {
|
|
||||||
const patterns = this.parsePatterns(app.props.headers)
|
|
||||||
const promises = []
|
|
||||||
|
|
||||||
Object.keys(patterns).forEach((headerName) => {
|
|
||||||
if (typeof patterns[headerName] !== 'function') {
|
|
||||||
promises.push(
|
|
||||||
asyncForEach(patterns[headerName], (pattern) => {
|
|
||||||
headerName = headerName.toLowerCase()
|
|
||||||
|
|
||||||
if (headerName in headers) {
|
|
||||||
headers[headerName].forEach((headerValue) => {
|
|
||||||
if (pattern.regex.test(headerValue)) {
|
|
||||||
addDetected(app, pattern, 'headers', headerValue, headerName)
|
|
||||||
}
|
|
||||||
})
|
|
||||||
}
|
|
||||||
})
|
|
||||||
)
|
|
||||||
}
|
|
||||||
})
|
|
||||||
|
|
||||||
return promises ? Promise.all(promises) : Promise.resolve()
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Analyze cookies
|
|
||||||
*/
|
|
||||||
analyzeCookies(app, cookies) {
|
|
||||||
const patterns = this.parsePatterns(app.props.cookies)
|
|
||||||
const promises = []
|
|
||||||
|
|
||||||
Object.keys(patterns).forEach((cookieName) => {
|
|
||||||
if (typeof patterns[cookieName] !== 'function') {
|
|
||||||
const cookieNameLower = cookieName.toLowerCase()
|
|
||||||
|
|
||||||
promises.push(
|
|
||||||
asyncForEach(patterns[cookieName], (pattern) => {
|
|
||||||
const cookie = cookies.find(
|
|
||||||
(_cookie) => _cookie.name.toLowerCase() === cookieNameLower
|
|
||||||
)
|
|
||||||
|
|
||||||
if (cookie && pattern.regex.test(cookie.value)) {
|
|
||||||
addDetected(app, pattern, 'cookies', cookie.value, cookieName)
|
|
||||||
}
|
|
||||||
})
|
|
||||||
)
|
|
||||||
}
|
|
||||||
})
|
|
||||||
|
|
||||||
return promises ? Promise.all(promises) : Promise.resolve()
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Analyze JavaScript variables
|
|
||||||
*/
|
|
||||||
analyzeJs(app, results) {
|
|
||||||
const promises = []
|
|
||||||
|
|
||||||
Object.keys(results).forEach((string) => {
|
|
||||||
if (typeof results[string] !== 'function') {
|
|
||||||
promises.push(
|
|
||||||
asyncForEach(Object.keys(results[string]), (index) => {
|
|
||||||
const pattern = this.jsPatterns[app.name][string][index]
|
|
||||||
const value = results[string][index]
|
|
||||||
|
|
||||||
if (pattern && pattern.regex.test(value)) {
|
|
||||||
addDetected(app, pattern, 'js', value, string)
|
|
||||||
}
|
|
||||||
})
|
|
||||||
)
|
|
||||||
}
|
|
||||||
})
|
|
||||||
|
|
||||||
return promises ? Promise.all(promises) : Promise.resolve()
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
if (typeof module === 'object') {
|
|
||||||
module.exports = Wappalyzer
|
|
||||||
}
|
|
||||||
@ -1,727 +1,331 @@
|
|||||||
const validation = {
|
'use strict'
|
||||||
hostname: /(www.)?((.+?)\.(([a-z]{2,3}\.)?[a-z]{2,6}))$/,
|
|
||||||
hostnameBlacklist: /((local|dev(elopment)?|stag(e|ing)?|test(ing)?|demo(shop)?|admin|google|cache)\.|\/admin|\.local)/
|
const Wappalyzer = {
|
||||||
}
|
technologies: [],
|
||||||
|
categories: [],
|
||||||
/**
|
|
||||||
* Enclose string in array
|
slugify(string) {
|
||||||
*/
|
return string
|
||||||
function asArray(value) {
|
.toLowerCase()
|
||||||
return Array.isArray(value) ? value : [value]
|
.replace(/[^a-z0-9-]/g, '-')
|
||||||
}
|
.replace(/--+/g, '-')
|
||||||
|
.replace(/(?:^-|-$)/, '')
|
||||||
/**
|
},
|
||||||
*
|
|
||||||
*/
|
getTechnology(name) {
|
||||||
function asyncForEach(iterable, iterator) {
|
return Wappalyzer.technologies.find(({ name: _name }) => name === _name)
|
||||||
return Promise.all(
|
},
|
||||||
(iterable || []).map(
|
|
||||||
(item) =>
|
getCategory(id) {
|
||||||
new Promise((resolve) => setTimeout(() => resolve(iterator(item)), 1))
|
return Wappalyzer.categories.find(({ id: _id }) => id === _id)
|
||||||
)
|
},
|
||||||
)
|
|
||||||
}
|
resolve(detections = []) {
|
||||||
|
const resolved = detections.reduce((resolved, { technology }) => {
|
||||||
/**
|
if (
|
||||||
* Mark application as detected, set confidence and version
|
resolved.findIndex(
|
||||||
*/
|
({ technology: { name } }) => name === technology.name
|
||||||
function addDetected(app, pattern, type, value, key) {
|
) === -1
|
||||||
app.detected = true
|
) {
|
||||||
|
let version = ''
|
||||||
// Set confidence level
|
let confidence = 0
|
||||||
app.confidence[`${type} ${key ? `${key} ` : ''}${pattern.regex}`] =
|
|
||||||
pattern.confidence === undefined ? 100 : parseInt(pattern.confidence, 10)
|
detections.forEach(({ technology: { name }, pattern, match }) => {
|
||||||
|
if (name === technology.name) {
|
||||||
// Detect version number
|
const versionValue = Wappalyzer.resolveVersion(pattern, match)
|
||||||
if (pattern.version) {
|
|
||||||
const versions = []
|
confidence = Math.min(100, confidence + pattern.confidence)
|
||||||
const matches = pattern.regex.exec(value)
|
version =
|
||||||
|
versionValue.length > version.length && versionValue.length <= 10
|
||||||
let { version } = pattern
|
? versionValue
|
||||||
|
: version
|
||||||
if (matches) {
|
}
|
||||||
matches.forEach((match, i) => {
|
})
|
||||||
// Parse ternary operator
|
|
||||||
const ternary = new RegExp(`\\\\${i}\\?([^:]+):(.*)$`).exec(version)
|
|
||||||
|
|
||||||
if (ternary && ternary.length === 3) {
|
|
||||||
version = version.replace(ternary[0], match ? ternary[1] : ternary[2])
|
|
||||||
}
|
|
||||||
|
|
||||||
// Replace back references
|
|
||||||
version = version
|
|
||||||
.trim()
|
|
||||||
.replace(new RegExp(`\\\\${i}`, 'g'), match || '')
|
|
||||||
})
|
|
||||||
|
|
||||||
if (version && !versions.includes(version)) {
|
|
||||||
versions.push(version)
|
|
||||||
}
|
|
||||||
|
|
||||||
if (versions.length) {
|
resolved.push({ technology, confidence, version })
|
||||||
// Use the longest detected version number
|
|
||||||
app.version = versions.reduce((a, b) => (a.length > b.length ? a : b))
|
|
||||||
}
|
}
|
||||||
}
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
function resolveExcludes(apps, detected) {
|
|
||||||
const excludes = []
|
|
||||||
const detectedApps = Object.assign({}, apps, detected)
|
|
||||||
|
|
||||||
// Exclude app in detected apps only
|
|
||||||
Object.keys(detectedApps).forEach((appName) => {
|
|
||||||
const app = detectedApps[appName]
|
|
||||||
|
|
||||||
if (app.props.excludes) {
|
return resolved
|
||||||
asArray(app.props.excludes).forEach((excluded) => {
|
}, [])
|
||||||
excludes.push(excluded)
|
|
||||||
|
Wappalyzer.resolveExcludes(resolved)
|
||||||
|
Wappalyzer.resolveImplies(resolved)
|
||||||
|
|
||||||
|
return resolved.map(
|
||||||
|
({
|
||||||
|
technology: { name, slug, categories, icon, website },
|
||||||
|
confidence,
|
||||||
|
version
|
||||||
|
}) => ({
|
||||||
|
name,
|
||||||
|
slug,
|
||||||
|
categories: categories.map((id) => Wappalyzer.getCategory(id)),
|
||||||
|
confidence,
|
||||||
|
version,
|
||||||
|
icon,
|
||||||
|
website
|
||||||
})
|
})
|
||||||
}
|
)
|
||||||
})
|
},
|
||||||
|
|
||||||
// Remove excluded applications
|
|
||||||
Object.keys(apps).forEach((appName) => {
|
|
||||||
if (excludes.includes(appName)) {
|
|
||||||
delete apps[appName]
|
|
||||||
}
|
|
||||||
})
|
|
||||||
}
|
|
||||||
|
|
||||||
class Application {
|
|
||||||
constructor(name, props, detected) {
|
|
||||||
this.confidence = {}
|
|
||||||
this.confidenceTotal = 0
|
|
||||||
this.detected = Boolean(detected)
|
|
||||||
this.excludes = []
|
|
||||||
this.name = name
|
|
||||||
this.props = props
|
|
||||||
this.version = ''
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Calculate confidence total
|
|
||||||
*/
|
|
||||||
getConfidence() {
|
|
||||||
let total = 0
|
|
||||||
|
|
||||||
Object.keys(this.confidence).forEach((id) => {
|
|
||||||
total += this.confidence[id]
|
|
||||||
})
|
|
||||||
|
|
||||||
this.confidenceTotal = Math.min(total, 100)
|
|
||||||
|
|
||||||
return this.confidenceTotal
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
class Wappalyzer {
|
|
||||||
constructor() {
|
|
||||||
this.apps = {}
|
|
||||||
this.categories = {}
|
|
||||||
this.driver = {}
|
|
||||||
this.jsPatterns = {}
|
|
||||||
this.detected = {}
|
|
||||||
this.hostnameCache = {
|
|
||||||
expires: Date.now() + 1000 * 60 * 60 * 24,
|
|
||||||
hostnames: {}
|
|
||||||
}
|
|
||||||
this.adCache = []
|
|
||||||
|
|
||||||
this.config = {
|
|
||||||
websiteURL: 'https://www.wappalyzer.com/',
|
|
||||||
twitterURL: 'https://twitter.com/Wappalyzer',
|
|
||||||
githubURL: 'https://github.com/AliasIO/Wappalyzer'
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Log messages to console
|
|
||||||
*/
|
|
||||||
log(message, source, type) {
|
|
||||||
if (this.driver.log) {
|
|
||||||
this.driver.log(message, source || '', type || 'debug')
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
analyze(url, data, context) {
|
|
||||||
const apps = {}
|
|
||||||
const promises = []
|
|
||||||
const startTime = new Date()
|
|
||||||
const { scripts, cookies, headers, js } = data
|
|
||||||
|
|
||||||
let { html } = data
|
resolveVersion({ version, regex }, match) {
|
||||||
|
let resolved = version
|
||||||
|
|
||||||
if (this.detected[url.canonical] === undefined) {
|
if (version) {
|
||||||
this.detected[url.canonical] = {}
|
const matches = regex.exec(match)
|
||||||
}
|
|
||||||
|
|
||||||
const metaTags = []
|
if (matches) {
|
||||||
|
matches.forEach((match, index) => {
|
||||||
|
// Parse ternary operator
|
||||||
|
const ternary = new RegExp(`\\\\${index}\\?([^:]+):(.*)$`).exec(
|
||||||
|
version
|
||||||
|
)
|
||||||
|
|
||||||
// Additional information
|
if (ternary && ternary.length === 3) {
|
||||||
let language = null
|
resolved = version.replace(
|
||||||
|
ternary[0],
|
||||||
|
match ? ternary[1] : ternary[2]
|
||||||
|
)
|
||||||
|
}
|
||||||
|
|
||||||
if (html) {
|
// Replace back references
|
||||||
if (typeof html !== 'string') {
|
resolved = resolved
|
||||||
html = ''
|
.trim()
|
||||||
|
.replace(new RegExp(`\\\\${index}`, 'g'), match || '')
|
||||||
|
})
|
||||||
}
|
}
|
||||||
|
|
||||||
let matches = data.html.match(
|
|
||||||
new RegExp('<html[^>]*[: ]lang="([a-z]{2}((-|_)[A-Z]{2})?)"', 'i')
|
|
||||||
)
|
|
||||||
|
|
||||||
language = matches && matches.length ? matches[1] : data.language || null
|
|
||||||
|
|
||||||
// Meta tags
|
|
||||||
const regex = /<meta[^>]+>/gi
|
|
||||||
|
|
||||||
do {
|
|
||||||
matches = regex.exec(html)
|
|
||||||
|
|
||||||
if (!matches) {
|
|
||||||
break
|
|
||||||
}
|
|
||||||
|
|
||||||
metaTags.push(matches[0])
|
|
||||||
} while (matches)
|
|
||||||
}
|
}
|
||||||
|
|
||||||
Object.keys(this.apps).forEach((appName) => {
|
return resolved
|
||||||
apps[appName] =
|
},
|
||||||
this.detected[url.canonical] && this.detected[url.canonical][appName]
|
|
||||||
? this.detected[url.canonical][appName]
|
|
||||||
: new Application(appName, this.apps[appName])
|
|
||||||
|
|
||||||
const app = apps[appName]
|
resolveExcludes(resolved) {
|
||||||
|
resolved.forEach(({ technology }) => {
|
||||||
|
technology.excludes.forEach((name) => {
|
||||||
|
const excluded = Wappalyzer.getTechnology(name)
|
||||||
|
|
||||||
promises.push(this.analyzeUrl(app, url))
|
if (!excluded) {
|
||||||
|
throw new Error(`Excluded technology does not exist: ${name}`)
|
||||||
if (html) {
|
|
||||||
promises.push(this.analyzeHtml(app, html))
|
|
||||||
promises.push(this.analyzeMeta(app, metaTags))
|
|
||||||
}
|
|
||||||
|
|
||||||
if (scripts) {
|
|
||||||
promises.push(this.analyzeScripts(app, scripts))
|
|
||||||
}
|
|
||||||
|
|
||||||
if (cookies) {
|
|
||||||
promises.push(this.analyzeCookies(app, cookies))
|
|
||||||
}
|
|
||||||
|
|
||||||
if (headers) {
|
|
||||||
promises.push(this.analyzeHeaders(app, headers))
|
|
||||||
}
|
|
||||||
})
|
|
||||||
|
|
||||||
if (js) {
|
|
||||||
Object.keys(js).forEach((appName) => {
|
|
||||||
if (typeof js[appName] !== 'function') {
|
|
||||||
promises.push(this.analyzeJs(apps[appName], js[appName]))
|
|
||||||
}
|
}
|
||||||
})
|
|
||||||
}
|
|
||||||
|
|
||||||
return new Promise(async (resolve) => {
|
|
||||||
await Promise.all(promises)
|
|
||||||
|
|
||||||
Object.keys(apps).forEach((appName) => {
|
const index = resolved.findIndex(({ name }) => name === excluded.name)
|
||||||
const app = apps[appName]
|
|
||||||
|
|
||||||
if (!app.detected || !app.getConfidence()) {
|
if (index === -1) {
|
||||||
delete apps[app.name]
|
resolved.splice(index, 1)
|
||||||
}
|
}
|
||||||
})
|
})
|
||||||
|
|
||||||
resolveExcludes(apps, this.detected[url])
|
|
||||||
this.resolveImplies(apps, url.canonical)
|
|
||||||
|
|
||||||
this.cacheDetectedApps(apps, url.canonical)
|
|
||||||
this.trackDetectedApps(apps, url, language)
|
|
||||||
|
|
||||||
this.log(
|
|
||||||
`Processing ${Object.keys(data).join(', ')} took ${(
|
|
||||||
(new Date() - startTime) /
|
|
||||||
1000
|
|
||||||
).toFixed(2)}s (${url.hostname})`,
|
|
||||||
'core'
|
|
||||||
)
|
|
||||||
|
|
||||||
if (Object.keys(apps).length) {
|
|
||||||
this.log(
|
|
||||||
`Identified ${Object.keys(apps).join(', ')} (${url.hostname})`,
|
|
||||||
'core'
|
|
||||||
)
|
|
||||||
}
|
|
||||||
|
|
||||||
this.driver.displayApps(
|
|
||||||
this.detected[url.canonical],
|
|
||||||
{ language },
|
|
||||||
context
|
|
||||||
)
|
|
||||||
|
|
||||||
return resolve()
|
|
||||||
})
|
})
|
||||||
}
|
},
|
||||||
|
|
||||||
/**
|
resolveImplies(resolved) {
|
||||||
* Cache detected ads
|
let done = false
|
||||||
*/
|
|
||||||
cacheDetectedAds(ad) {
|
|
||||||
this.adCache.push(ad)
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
*
|
|
||||||
*/
|
|
||||||
robotsTxtAllows(url) {
|
|
||||||
return new Promise(async (resolve, reject) => {
|
|
||||||
const parsed = this.parseUrl(url)
|
|
||||||
|
|
||||||
if (parsed.protocol !== 'http:' && parsed.protocol !== 'https:') {
|
while (resolved.length && !done) {
|
||||||
return reject()
|
resolved.forEach(({ technology, confidence }) => {
|
||||||
}
|
done = true
|
||||||
|
|
||||||
const robotsTxt = await this.driver.getRobotsTxt(
|
|
||||||
parsed.host,
|
|
||||||
parsed.protocol === 'https:'
|
|
||||||
)
|
|
||||||
|
|
||||||
if (
|
|
||||||
robotsTxt.some(
|
|
||||||
(disallowedPath) => parsed.pathname.indexOf(disallowedPath) === 0
|
|
||||||
)
|
|
||||||
) {
|
|
||||||
return reject()
|
|
||||||
}
|
|
||||||
|
|
||||||
return resolve()
|
|
||||||
})
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Parse a URL
|
|
||||||
*/
|
|
||||||
parseUrl(url) {
|
|
||||||
const a = this.driver.document.createElement('a')
|
|
||||||
|
|
||||||
a.href = url
|
|
||||||
|
|
||||||
a.canonical = `${a.protocol}//${a.host}${a.pathname}`
|
|
||||||
|
|
||||||
return a
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
*
|
|
||||||
*/
|
|
||||||
static parseRobotsTxt(robotsTxt) {
|
|
||||||
const disallow = []
|
|
||||||
|
|
||||||
let userAgent
|
|
||||||
|
|
||||||
robotsTxt.split('\n').forEach((line) => {
|
|
||||||
let matches = /^User-agent:\s*(.+)$/i.exec(line.trim())
|
|
||||||
|
|
||||||
if (matches) {
|
|
||||||
userAgent = matches[1].toLowerCase()
|
|
||||||
} else if (userAgent === '*' || userAgent === 'wappalyzer') {
|
|
||||||
matches = /^Disallow:\s*(.+)$/i.exec(line.trim())
|
|
||||||
|
|
||||||
if (matches) {
|
|
||||||
disallow.push(matches[1])
|
|
||||||
}
|
|
||||||
}
|
|
||||||
})
|
|
||||||
|
|
||||||
return disallow
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
*
|
|
||||||
*/
|
|
||||||
ping() {
|
|
||||||
if (
|
|
||||||
!this.hostnameCache.hostnames ||
|
|
||||||
Object.keys(this.hostnameCache.hostnames).length > 50 ||
|
|
||||||
this.hostnameCache.expires < Date.now()
|
|
||||||
) {
|
|
||||||
this.driver.ping(this.hostnameCache)
|
|
||||||
|
|
||||||
this.hostnameCache = {
|
|
||||||
expires: Date.now() + 1000 * 60 * 60 * 24,
|
|
||||||
hostnames: {}
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
if (this.adCache.length > 50) {
|
technology.implies.forEach((name) => {
|
||||||
this.driver.ping(undefined, this.adCache)
|
const implied = Wappalyzer.getTechnology(name)
|
||||||
|
|
||||||
this.adCache = []
|
if (!implied) {
|
||||||
}
|
throw new Error(`Implied technology does not exist: ${name}`)
|
||||||
}
|
}
|
||||||
|
|
||||||
/**
|
|
||||||
* Parse apps.json patterns
|
|
||||||
*/
|
|
||||||
parsePatterns(patterns) {
|
|
||||||
if (!patterns) {
|
|
||||||
return []
|
|
||||||
}
|
|
||||||
|
|
||||||
let parsed = {}
|
|
||||||
|
|
||||||
// Convert string to object containing array containing string
|
|
||||||
if (typeof patterns === 'string' || Array.isArray(patterns)) {
|
|
||||||
patterns = {
|
|
||||||
main: asArray(patterns)
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
Object.keys(patterns).forEach((key) => {
|
|
||||||
parsed[key] = []
|
|
||||||
|
|
||||||
asArray(patterns[key]).forEach((pattern) => {
|
|
||||||
const attrs = {}
|
|
||||||
|
|
||||||
pattern.split('\\;').forEach((attr, i) => {
|
|
||||||
if (i) {
|
|
||||||
// Key value pairs
|
|
||||||
attr = attr.split(':')
|
|
||||||
|
|
||||||
if (attr.length > 1) {
|
|
||||||
attrs[attr.shift()] = attr.join(':')
|
|
||||||
}
|
|
||||||
} else {
|
|
||||||
attrs.string = attr
|
|
||||||
|
|
||||||
try {
|
if (
|
||||||
attrs.regex = new RegExp(attr.replace('/', '/'), 'i') // Escape slashes in regular expression
|
resolved.findIndex(
|
||||||
} catch (error) {
|
({ technology: { name } }) => name === implied.name
|
||||||
attrs.regex = new RegExp()
|
) === -1
|
||||||
|
) {
|
||||||
|
resolved.push({ technology: implied, confidence, version: '' })
|
||||||
|
|
||||||
this.log(`${error.message}: ${attr}`, 'error', 'core')
|
done = false
|
||||||
}
|
|
||||||
}
|
}
|
||||||
})
|
})
|
||||||
|
|
||||||
parsed[key].push(attrs)
|
|
||||||
})
|
})
|
||||||
})
|
|
||||||
|
|
||||||
// Convert back to array if the original pattern list was an array (or string)
|
|
||||||
if ('main' in parsed) {
|
|
||||||
parsed = parsed.main
|
|
||||||
}
|
}
|
||||||
|
},
|
||||||
return parsed
|
|
||||||
}
|
async analyze(url, { html, meta, headers, cookies, scripts }) {
|
||||||
|
const oo = Wappalyzer.analyzeOneToOne
|
||||||
/**
|
const om = Wappalyzer.analyzeOneToMany
|
||||||
* Parse JavaScript patterns
|
const mm = Wappalyzer.analyzeManyToMany
|
||||||
*/
|
|
||||||
parseJsPatterns() {
|
const flatten = (array) => Array.prototype.concat.apply([], array)
|
||||||
Object.keys(this.apps).forEach((appName) => {
|
|
||||||
if (this.apps[appName].js) {
|
try {
|
||||||
this.jsPatterns[appName] = this.parsePatterns(this.apps[appName].js)
|
const detections = flatten(
|
||||||
}
|
flatten(
|
||||||
})
|
await Promise.all(
|
||||||
}
|
Wappalyzer.technologies.map((technology) =>
|
||||||
|
Promise.all([
|
||||||
resolveImplies(apps, url) {
|
oo(technology, 'url', url),
|
||||||
let checkImplies = true
|
oo(technology, 'html', html),
|
||||||
|
om(technology, 'meta', meta),
|
||||||
const resolve = (appName) => {
|
mm(technology, 'headers', headers),
|
||||||
const app = apps[appName]
|
om(technology, 'cookies', cookies),
|
||||||
|
om(technology, 'scripts', scripts)
|
||||||
if (app && app.props.implies) {
|
])
|
||||||
asArray(app.props.implies).forEach((implied) => {
|
|
||||||
;[implied] = this.parsePatterns(implied)
|
|
||||||
|
|
||||||
if (!this.apps[implied.string]) {
|
|
||||||
this.log(
|
|
||||||
`Implied application ${implied.string} does not exist`,
|
|
||||||
'core',
|
|
||||||
'warn'
|
|
||||||
)
|
)
|
||||||
|
)
|
||||||
|
)
|
||||||
|
).filter((technology) => technology)
|
||||||
|
|
||||||
return
|
return detections
|
||||||
}
|
} catch (error) {
|
||||||
|
throw new Error(error.message || error.toString())
|
||||||
if (!(implied.string in apps)) {
|
|
||||||
apps[implied.string] =
|
|
||||||
this.detected[url] && this.detected[url][implied.string]
|
|
||||||
? this.detected[url][implied.string]
|
|
||||||
: new Application(
|
|
||||||
implied.string,
|
|
||||||
this.apps[implied.string],
|
|
||||||
true
|
|
||||||
)
|
|
||||||
|
|
||||||
checkImplies = true
|
|
||||||
}
|
|
||||||
|
|
||||||
// Apply app confidence to implied app
|
|
||||||
Object.keys(app.confidence).forEach((id) => {
|
|
||||||
apps[implied.string].confidence[`${id} implied by ${appName}`] =
|
|
||||||
app.confidence[id] *
|
|
||||||
(implied.confidence === undefined ? 1 : implied.confidence / 100)
|
|
||||||
})
|
|
||||||
})
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
// Implied applications
|
|
||||||
// Run several passes as implied apps may imply other apps
|
|
||||||
while (checkImplies) {
|
|
||||||
checkImplies = false
|
|
||||||
|
|
||||||
Object.keys(apps).forEach(resolve)
|
|
||||||
}
|
}
|
||||||
}
|
},
|
||||||
|
|
||||||
|
setTechnologies(data) {
|
||||||
|
const transform = Wappalyzer.transformPatterns
|
||||||
|
|
||||||
|
Wappalyzer.technologies = Object.keys(data).reduce((technologies, name) => {
|
||||||
|
const {
|
||||||
|
cats,
|
||||||
|
url,
|
||||||
|
html,
|
||||||
|
meta,
|
||||||
|
headers,
|
||||||
|
cookies,
|
||||||
|
script,
|
||||||
|
js,
|
||||||
|
implies,
|
||||||
|
excludes,
|
||||||
|
icon,
|
||||||
|
website
|
||||||
|
} = data[name]
|
||||||
|
|
||||||
|
technologies.push({
|
||||||
|
name,
|
||||||
|
categories: cats || [],
|
||||||
|
slug: Wappalyzer.slugify(name),
|
||||||
|
url: transform(url),
|
||||||
|
headers: transform(
|
||||||
|
Object.keys(headers || {}).reduce(
|
||||||
|
(lcHeaders, header) => ({
|
||||||
|
...lcHeaders,
|
||||||
|
[header.toLowerCase()]: headers[header]
|
||||||
|
}),
|
||||||
|
{}
|
||||||
|
)
|
||||||
|
),
|
||||||
|
cookies: transform(cookies),
|
||||||
|
html: transform(html),
|
||||||
|
meta: transform(meta),
|
||||||
|
scripts: transform(script),
|
||||||
|
js: transform(js),
|
||||||
|
implies: typeof implies === 'string' ? [implies] : implies || [],
|
||||||
|
excludes: typeof excludes === 'string' ? [excludes] : excludes || [],
|
||||||
|
icon: icon || 'default.svg',
|
||||||
|
website: website || ''
|
||||||
|
})
|
||||||
|
|
||||||
/**
|
return technologies
|
||||||
* Cache detected applications
|
}, [])
|
||||||
*/
|
},
|
||||||
cacheDetectedApps(apps, url) {
|
|
||||||
Object.keys(apps).forEach((appName) => {
|
|
||||||
const app = apps[appName]
|
|
||||||
|
|
||||||
// Per URL
|
setCategories(data) {
|
||||||
this.detected[url][appName] = app
|
Wappalyzer.categories = Object.keys(data)
|
||||||
|
.reduce((categories, id) => {
|
||||||
|
const category = data[id]
|
||||||
|
|
||||||
Object.keys(app.confidence).forEach((id) => {
|
categories.push({
|
||||||
this.detected[url][appName].confidence[id] = app.confidence[id]
|
id: parseInt(id, 10),
|
||||||
})
|
slug: Wappalyzer.slugify(category.name),
|
||||||
})
|
...category
|
||||||
|
})
|
||||||
|
|
||||||
if (this.driver.ping instanceof Function) {
|
return categories
|
||||||
this.ping()
|
}, [])
|
||||||
}
|
.sort(({ priority: a }, { priority: b }) => (a > b ? -1 : 0))
|
||||||
}
|
},
|
||||||
|
|
||||||
/**
|
transformPatterns(patterns) {
|
||||||
* Track detected applications
|
if (!patterns) {
|
||||||
*/
|
return []
|
||||||
trackDetectedApps(apps, url, language) {
|
|
||||||
if (!(this.driver.ping instanceof Function)) {
|
|
||||||
return
|
|
||||||
}
|
}
|
||||||
|
|
||||||
const hostname = `${url.protocol}//${url.hostname}`
|
const toArray = (value) => (Array.isArray(value) ? value : [value])
|
||||||
|
|
||||||
Object.keys(apps).forEach((appName) => {
|
if (typeof patterns === 'string' || Array.isArray(patterns)) {
|
||||||
const app = apps[appName]
|
patterns = { main: patterns }
|
||||||
|
}
|
||||||
if (this.detected[url.canonical][appName].getConfidence() >= 100) {
|
|
||||||
if (
|
|
||||||
validation.hostname.test(url.hostname) &&
|
|
||||||
!validation.hostnameBlacklist.test(url.hostname)
|
|
||||||
) {
|
|
||||||
if (!(hostname in this.hostnameCache.hostnames)) {
|
|
||||||
this.hostnameCache.hostnames[hostname] = {
|
|
||||||
applications: {},
|
|
||||||
meta: {}
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
if (
|
const parsed = Object.keys(patterns).reduce((parsed, key) => {
|
||||||
!(appName in this.hostnameCache.hostnames[hostname].applications)
|
parsed[key] = toArray(patterns[key]).map((pattern) => {
|
||||||
) {
|
const { regex, confidence, version } = pattern
|
||||||
this.hostnameCache.hostnames[hostname].applications[appName] = {
|
.split('\\;')
|
||||||
hits: 0
|
.reduce((attrs, attr, i) => {
|
||||||
|
if (i) {
|
||||||
|
// Key value pairs
|
||||||
|
attr = attr.split(':')
|
||||||
|
|
||||||
|
if (attr.length > 1) {
|
||||||
|
attrs[attr.shift()] = attr.join(':')
|
||||||
|
}
|
||||||
|
} else {
|
||||||
|
// Escape slashes in regular expression
|
||||||
|
attrs.regex = new RegExp(attr.replace(/\//g, '\\/'), 'i')
|
||||||
}
|
}
|
||||||
}
|
|
||||||
|
|
||||||
this.hostnameCache.hostnames[hostname].applications[appName].hits += 1
|
return attrs
|
||||||
|
}, {})
|
||||||
|
|
||||||
if (apps[appName].version) {
|
return {
|
||||||
this.hostnameCache.hostnames[hostname].applications[
|
regex,
|
||||||
appName
|
confidence: parseInt(confidence || 100, 10),
|
||||||
].version = app.version
|
version: version || ''
|
||||||
}
|
|
||||||
}
|
}
|
||||||
}
|
})
|
||||||
})
|
|
||||||
|
|
||||||
if (hostname in this.hostnameCache.hostnames) {
|
|
||||||
this.hostnameCache.hostnames[hostname].meta.language = language
|
|
||||||
}
|
|
||||||
|
|
||||||
this.ping()
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Analyze URL
|
|
||||||
*/
|
|
||||||
analyzeUrl(app, url) {
|
|
||||||
const patterns = this.parsePatterns(app.props.url)
|
|
||||||
|
|
||||||
if (!patterns.length) {
|
|
||||||
return Promise.resolve()
|
|
||||||
}
|
|
||||||
|
|
||||||
return asyncForEach(patterns, (pattern) => {
|
|
||||||
if (pattern.regex.test(url.canonical)) {
|
|
||||||
addDetected(app, pattern, 'url', url.canonical)
|
|
||||||
}
|
|
||||||
})
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
return parsed
|
||||||
* Analyze HTML
|
}, {})
|
||||||
*/
|
|
||||||
analyzeHtml(app, html) {
|
|
||||||
const patterns = this.parsePatterns(app.props.html)
|
|
||||||
|
|
||||||
if (!patterns.length) {
|
return 'main' in parsed ? parsed.main : parsed
|
||||||
return Promise.resolve()
|
},
|
||||||
}
|
|
||||||
|
|
||||||
return asyncForEach(patterns, (pattern) => {
|
analyzeOneToOne(technology, type, value) {
|
||||||
if (pattern.regex.test(html)) {
|
return technology[type].reduce((technologies, pattern) => {
|
||||||
addDetected(app, pattern, 'html', html)
|
if (pattern.regex.test(value)) {
|
||||||
|
technologies.push({ technology, pattern, match: value })
|
||||||
}
|
}
|
||||||
})
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
return technologies
|
||||||
* Analyze script tag
|
}, [])
|
||||||
*/
|
},
|
||||||
analyzeScripts(app, scripts) {
|
|
||||||
const patterns = this.parsePatterns(app.props.script)
|
|
||||||
|
|
||||||
if (!patterns.length) {
|
analyzeOneToMany(technology, type, items = []) {
|
||||||
return Promise.resolve()
|
return items.reduce((technologies, { key, value }) => {
|
||||||
}
|
const patterns = technology[type][key] || []
|
||||||
|
|
||||||
return asyncForEach(patterns, (pattern) => {
|
patterns.forEach((pattern) => {
|
||||||
scripts.forEach((uri) => {
|
if (pattern.regex.test(value)) {
|
||||||
if (pattern.regex.test(uri)) {
|
technologies.push({ technology, pattern, match: value })
|
||||||
addDetected(app, pattern, 'script', uri)
|
|
||||||
}
|
}
|
||||||
})
|
})
|
||||||
})
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
return technologies
|
||||||
* Analyze meta tag
|
}, [])
|
||||||
*/
|
},
|
||||||
analyzeMeta(app, metaTags) {
|
|
||||||
const patterns = this.parsePatterns(app.props.meta)
|
|
||||||
const promises = []
|
|
||||||
|
|
||||||
if (!app.props.meta) {
|
analyzeManyToMany(technology, type, items = {}) {
|
||||||
return Promise.resolve()
|
return Object.keys(technology[type]).reduce((technologies, key) => {
|
||||||
}
|
const patterns = technology[type][key] || []
|
||||||
|
const values = items[key] || []
|
||||||
|
|
||||||
metaTags.forEach((match) => {
|
patterns.forEach((pattern) => {
|
||||||
Object.keys(patterns).forEach((meta) => {
|
values.forEach((value) => {
|
||||||
const r = new RegExp(`(?:name|property)=["']${meta}["']`, 'i')
|
if (pattern.regex.test(value)) {
|
||||||
|
technologies.push({ technology, pattern, match: value })
|
||||||
if (r.test(match)) {
|
}
|
||||||
const content = match.match(/content=("|')([^"']+)("|')/i)
|
})
|
||||||
|
|
||||||
promises.push(
|
|
||||||
asyncForEach(patterns[meta], (pattern) => {
|
|
||||||
if (
|
|
||||||
content &&
|
|
||||||
content.length === 4 &&
|
|
||||||
pattern.regex.test(content[2])
|
|
||||||
) {
|
|
||||||
addDetected(app, pattern, 'meta', content[2], meta)
|
|
||||||
}
|
|
||||||
})
|
|
||||||
)
|
|
||||||
}
|
|
||||||
})
|
})
|
||||||
})
|
|
||||||
|
|
||||||
return Promise.all(promises)
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Analyze response headers
|
|
||||||
*/
|
|
||||||
analyzeHeaders(app, headers) {
|
|
||||||
const patterns = this.parsePatterns(app.props.headers)
|
|
||||||
const promises = []
|
|
||||||
|
|
||||||
Object.keys(patterns).forEach((headerName) => {
|
|
||||||
if (typeof patterns[headerName] !== 'function') {
|
|
||||||
promises.push(
|
|
||||||
asyncForEach(patterns[headerName], (pattern) => {
|
|
||||||
headerName = headerName.toLowerCase()
|
|
||||||
|
|
||||||
if (headerName in headers) {
|
|
||||||
headers[headerName].forEach((headerValue) => {
|
|
||||||
if (pattern.regex.test(headerValue)) {
|
|
||||||
addDetected(app, pattern, 'headers', headerValue, headerName)
|
|
||||||
}
|
|
||||||
})
|
|
||||||
}
|
|
||||||
})
|
|
||||||
)
|
|
||||||
}
|
|
||||||
})
|
|
||||||
|
|
||||||
return promises ? Promise.all(promises) : Promise.resolve()
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Analyze cookies
|
|
||||||
*/
|
|
||||||
analyzeCookies(app, cookies) {
|
|
||||||
const patterns = this.parsePatterns(app.props.cookies)
|
|
||||||
const promises = []
|
|
||||||
|
|
||||||
Object.keys(patterns).forEach((cookieName) => {
|
|
||||||
if (typeof patterns[cookieName] !== 'function') {
|
|
||||||
const cookieNameLower = cookieName.toLowerCase()
|
|
||||||
|
|
||||||
promises.push(
|
|
||||||
asyncForEach(patterns[cookieName], (pattern) => {
|
|
||||||
const cookie = cookies.find(
|
|
||||||
(_cookie) => _cookie.name.toLowerCase() === cookieNameLower
|
|
||||||
)
|
|
||||||
|
|
||||||
if (cookie && pattern.regex.test(cookie.value)) {
|
|
||||||
addDetected(app, pattern, 'cookies', cookie.value, cookieName)
|
|
||||||
}
|
|
||||||
})
|
|
||||||
)
|
|
||||||
}
|
|
||||||
})
|
|
||||||
|
|
||||||
return promises ? Promise.all(promises) : Promise.resolve()
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Analyze JavaScript variables
|
|
||||||
*/
|
|
||||||
analyzeJs(app, results) {
|
|
||||||
const promises = []
|
|
||||||
|
|
||||||
Object.keys(results).forEach((string) => {
|
|
||||||
if (typeof results[string] !== 'function') {
|
|
||||||
promises.push(
|
|
||||||
asyncForEach(Object.keys(results[string]), (index) => {
|
|
||||||
const pattern = this.jsPatterns[app.name][string][index]
|
|
||||||
const value = results[string][index]
|
|
||||||
|
|
||||||
if (pattern && pattern.regex.test(value)) {
|
|
||||||
addDetected(app, pattern, 'js', value, string)
|
|
||||||
}
|
|
||||||
})
|
|
||||||
)
|
|
||||||
}
|
|
||||||
})
|
|
||||||
|
|
||||||
return promises ? Promise.all(promises) : Promise.resolve()
|
return technologies
|
||||||
|
}, [])
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
if (typeof module === 'object') {
|
if (typeof module !== 'undefined') {
|
||||||
module.exports = Wappalyzer
|
module.exports = Wappalyzer
|
||||||
}
|
}
|
||||||
|
|||||||
Reference in new issue