Basic Database | 仕様 | Typosquatting Data Feed | WhoisXML API

Basic Database

サンプル

データの取得

サブスクリプションの種類 説明
Daily updates ほとんどの日の午後6時(UTC)までに利用可能。他の日次フィードからのデータ生成に時間がかかるため、8時間後にデータが生成される場合もあります。
Weekly updates 週の始まりは日曜日です。前週分のデータファイルは、毎週月曜日午後8時(UTC)に利用可能になります。
Monthly updates 前月分のデータファイルは、毎月2日の午後8時(UTC)に利用可能になります。

命名規則

サブスクリプションの種類 説明
Daily updates typosquatting.YYYY-MM-DD.daily.full.basic.csv
Weekly updates typosquatting.YYYY-MM-DD.weekly.full.basic.csv。日付はファイルにデータが含まれる最後の日である日曜日に対応します。したがって、1週間は前の月曜日から始まり、ファイル名にある日曜日で終わるとみなされます。ファイルはファイル名の日付の次の月曜日に公開されます。
Monthly updates typosquatting.YYYY-MM-DD.monthly.full.basic.csv。日付は翌月の初日に対応するため、例えば2020年7月のデータはtyposquatting.2020-08-01.monthly.full.basic.csvというファイルになります。


週次と月次のデータは、それぞれの日次データを連結し、最初のフィールドである日付を追加したものです。

CSVの構造

Basicのデータファイルは、テキスト区切りなしのカンマ区切り値ファイルです。ファイルにはDOS/Windowsスタイルの行終端記号(CR+LF)が使用されます。最初の行はフィールド名を持つヘッダー行です。各行には、サブスクリプションの種類タイプに応じて4つまたは5つのフィールドがあります:

フィールド名 説明
date グループが検出された日(週次および月次ファイルのみ)。
group_number 指定された日(日次サブスクリプションの場合はファイル内)におけるグループの序数。
group_member_number グループ内のドメインの序数。
total_no_of_grp_members グループ内のメンバー数。
domain ドメイン名
domain_utf Unicodeに変換されたドメイン名。非英語文字を持つドメイン名のみに該当。


例えば、隣接する2つのグループ、No.1058とNo.1059は、それぞれ3人と5人のメンバーで、ファイルには次のように表示されます:

...
1058,1,3,slut.bar,
1058,2,3,slut.events,
1058,3,3,slut.red,
1059,1,5,worldthinkcreativity.online,
1059,2,5,worldthinkcreativity.org,
1059,3,5,worldthinkcreativity.com,
1059,4,5,worldthinkcreativity.info,
1059,5,5,xn--wrkdthinkcreativity-g5c.net,wırkdthinkcreativity.net
...

空でない最後のフィールドに見られるように、リストの最後のドメイン名は2番目の文字が英語以外の文字(ドットなしの "i")です。週次または月次ファイルでは、グループの行は次のようになります。

...
2020-08-17,3,1,9,app1e1d05.com,
2020-08-17,3,2,9,app1e1d09.com,
2020-08-17,3,3,9,app1e1d03.com,
2020-08-17,3,4,9,app1e1d04.com,
2020-08-17,3,5,9,app1e1d02.com,
2020-08-17,3,6,9,app1e1d01.com,
2020-08-17,3,7,9,app1e1d07.com,
2020-08-17,3,8,9,app1e1d08.com,
2020-08-17,3,9,9,app1e1d06.com,
...

これらのファイルでグループを一意に識別するのは、日付とグループの序数(最初の2つのフィールド)であることにご注意ください。