Sources
何を、どの段階で、どう見ているか。
観測対象は「回避せずに取れるか」で決めます。技術的に可能かどうかではありません。取れないサイトは有償プロバイダに回すか、対象から外します。ここでは候補を含む全ソースと、その確認状態を公開します。
| ソース | 地域 | 信号 | 種別 | 役割 | 取得手段 | 頻度 | 状態 | 確認 |
|---|---|---|---|---|---|---|---|---|
| ココナラrobots.txt の最新版を逐語確認し、第14条（集計データの権利帰属）を弁護士レビューの主対象にする。描画方式は Day 1 の実測で確定。 | 日本 | サービス市場 | 出品型 | 供給 | 自前取得（非ログイン・公開カテゴリページのみ） | 日次 | 観測中 | robots …規約 …Bot … |
| Fiverr自前取得は Bot 対策の回避を要するため行わない。プロバイダ規約の再配布範囲と、検索レスポンスに総件数が含まれるかを確認。 | 米・英語圏 | サービス市場 | Gig型（カタログ） | 供給 | 有償データプロバイダ経由 | 日次 | 観測中 | robots —規約 …Bot — |
| ココナラ募集カテゴリ・予算・期限が公開されている需要側の一次情報。/requests に対する robots.txt を逐語確認してから追加する。 | 日本 | サービス市場 | 募集型（購入者の依頼投稿） | 需要 | 自前取得候補（非ログイン・一覧ページ） | 日次 | 準備中 | robots …規約 …Bot … |
| フリーランススタート 月次レポート（エン）掲載案件数と、開発言語・フレームワーク・職種別の月額平均単価。過去分が公表済みのため遡って取り込める。IT 領域の日本側単価アンカー。 | 日本 | 求人 | 求人集計の公表値 | 需要／単価アンカー | 公表値の取り込み（プレスリリース） | 月次 | 準備中 | robots —規約 …Bot — |
| 厚生労働省「一般職業紹介状況」職業別有効求人倍率職業分類別に数十年分。付録Aの陰性／陽性対照を、公的統計の需要方向で補強する。 | 日本 | 公的統計・公表値 | 公的統計 | 較正・対照 | 公表値の取り込み（e-Stat） | 月次 | 準備中 | robots —規約 ○Bot — |
| 日本上場3社 IR（ココナラ・クラウドワークス・ランサーズ）流通高・出品数・会員数。絶対量の較正に使えるのは開示されている項目のみ（クラウドワークスの取扱高は非開示）。 | 日本 | 公的統計・公表値 | 決算・KPI 開示 | 較正・対照 | 公表値の取り込み | 四半期 | 準備中 | robots —規約 ○Bot — |
| Google Trends API（alpha）リクエスト間で一貫したスケール、過去1,800日、地域・サブ地域別。絶対量ではなく検索関心度。Web 版の0〜100再スケールの問題を回避できる。 | グローバル | 検索 | 検索関心度（一貫スケール） | 検索需要 | 公式 API（許可制アルファに申請） | 日次 | 準備中 | robots —規約 …Bot — |
| Indeed Hiring Lab（Job Postings Index／AI Tracker）季節調整済みの求人指数と AI 関連求人比率。粒度は職種セクターまで。AI 系カテゴリの先行指標と、マクロの対照として使う。 | グローバル | 求人 | 求人集計（オープンデータ） | 需要の先行指標／較正・対照 | GitHub から取り込み（CC BY 4.0・出典明記） | 日次データ（週次／月次更新） | 準備中 | robots —規約 ○Bot — |
| Stack Exchange API（Stack Overflow タグ）タグ別の質問数の増減。開発系カテゴリ（AI Agent、n8n、Code Review）の技術需要の先行代理。求人・サービス市場と種類の異なる信号。 | グローバル | コミュニティ | 技術 Q&A（タグ別の質問数） | 需要の先行指標 | 公式 API（要キー・CC BY-SA 出典明記） | 日次 | 準備中 | robots —規約 ○Bot — |
| Voice123実査：robots.txt は一覧を許可、公開プロジェクト一覧に識別 UA で 200。規約を確認して Phase 0 の日次へ。Fiverr／Upwork の Voice 系と一致すれば M が上がる。 | グローバル | 専門市場 | 専門市場（音声・ナレーション） | 需要／供給 | 自前取得候補（公開プロジェクト一覧） | 日次（予定） | 準備中 | robots ○規約 …Bot ○ |
| プラットフォーム公式レポート（Fiverr Business Trends Index／Upwork Future Workforce Index／Freelancer Fast 50）カテゴリ別の成長率など。自社観測の方向性の裏取りに使い、指数の入力にはしない。 | グローバル | 公的統計・公表値 | 公表レポート | 較正・対照 | 公表値の取り込み | 年次／四半期 | 準備中 | robots —規約 …Bot — |
| Saramin（사람인）オープン API韓国側の雇用需要。Kmong（サービス市場）と対にして、外注需要と雇用需要を別レイヤーで持つ。API 利用規約を確認して申請。 | 韓国 | 求人 | 求人（雇用需要） | 雇用需要 | 公式オープン API（要キー） | 日次 | 準備中 | robots —規約 …Bot — |
| クラウドワークス第23条（過負荷・アクセス制御回避・運営妨害）と robots.txt の許可範囲を逐語確認。 | 日本 | サービス市場 | 募集応募型 | 需要 | 自前取得候補（公開案件一覧） | 日次 | Phase 1 | robots …規約 …Bot … |
| ランサーズ第31条（複製・2次利用）を確認。コンペ型という市場構造の観測先にもなる。 | 日本 | サービス市場 | 募集応募型＋コンペ型 | 需要 | 自前取得候補（公開案件一覧） | 日次 | Phase 1 | robots …規約 …Bot … |
| Upwork公式 API は自アカウントのデータのみ。求人件数には予算帯を必ず併記する。 | 米・英語圏 | サービス市場 | 求人・提案型 | 需要／供給 | 有償データプロバイダ経由 | 日次 | Phase 1 | robots —規約 …Bot — |
| Freelancer.com入札数は需要ではなく供給側の指標として扱う。 | グローバル | サービス市場 | プロジェクト・入札型 | 需要／供給 | 未定（プロバイダ経由または自前） | 日次 | Phase 1 | robots …規約 …Bot … |
| Brain／Tipsカテゴリ名を含む「稼ぐ」系商品の出現数。小売レイヤーの過熱を観測する装置で、供給急増の先行指標。 | 日本 | 学習・ノウハウ | ノウハウ商品（出品数） | ハイプ指数 | 未定 | 週次（予定） | 読むだけ | robots …規約 …Bot … |
| MENTAスキル別のメンター数と契約数。 | 日本 | 学習・ノウハウ | メンタリング出品型 | 供給の先行指標 | 未定 | 週次（予定） | 読むだけ | robots …規約 …Bot … |
| Qiita Jobsサービスの継続状況を含めて確認。 | 日本 | 求人 | 求人（技術職） | 雇用需要 | 未定 | — | 読むだけ | robots ○規約 …Bot … |
| SKIMAココナラ「似顔絵・イラスト」の対照。 | 日本 | 専門市場 | イラスト出品型 | 供給 | 未定 | 日次（予定） | 読むだけ | robots …規約 …Bot … |
| Wantedly実査：robots.txt は募集一覧を許可。規約と一覧ページの応答を確認。日本側の雇用需要（AI・開発系）の候補。 | 日本 | 求人 | 求人（スタートアップ中心） | 雇用需要 | 未定（公開一覧） | 日次（予定） | 読むだけ | robots ○規約 …Bot … |
| Yahoo!知恵袋期間指定した質問件数の差分。日本の相談行動が Google 検索に乗らない部分を補う。 | 日本 | コミュニティ | Q&A（質問件数） | 検索意図 | 未定 | 週次（予定） | 読むだけ | robots …規約 …Bot … |
| noteキーワード別の記事件数。発信者側の関心の先行指標。 | 日本 | コミュニティ | コンテンツ（記事件数） | 検索意図／供給の先行指標 | 未定 | 週次（予定） | 読むだけ | robots …規約 …Bot … |
| ストアカ日本側の学習需要。 | 日本 | 学習・ノウハウ | 講座出品型 | 供給の先行指標 | 未定 | 週次（予定） | 読むだけ | robots …規約 …Bot … |
| 99designsLOGO_DESIGN に第3の市場構造（コンペ型）を足す。 | グローバル | 専門市場 | コンペ型 | 需要／供給 | 未定 | 日次（予定） | 読むだけ | robots …規約 …Bot … |
| ProZ.com公開求人一覧に総件数・言語ペア・専門分野・締切があり、翻訳市場の需要としては最も直接的。実査では robots.txt と一覧ページが識別 UA に 403。回避はせず、許諾・RSS／API の提供有無を確認してから判断する。 | グローバル | 専門市場 | 専門市場（翻訳・通訳の求人） | 需要／供給 | 未定（許諾または公式フィードの有無を確認） | 日次（予定） | 読むだけ | robots ✕規約 …Bot ✕ |
| TolokaAI が生む作業（アノテーション、評価、RLHF 系）の需要。実査：robots.txt は許可だが、タスク一覧の閲覧にログインが必要かを確認。非ログインで見えなければ対象外。 | グローバル | マイクロタスク | マイクロタスク（AI 学習・評価） | 需要 | 未定 | — | 読むだけ | robots ○規約 …Bot … |
| Udemy「今そのスキルを学んでいる人の数」は3〜6ヶ月後の供給流入の先行指標。R3（情報の自己破壊）の速度を測る計器。 | グローバル | 学習・ノウハウ | 講座出品型（講座数・受講者数） | 供給の先行指標 | 未定 | 週次（予定） | 読むだけ | robots …規約 …Bot … |
| Voices.com実査：robots.txt が識別 UA に 403。Voice123 で音声市場を先に観測し、本サイトは許諾の有無を確認するに留める。 | グローバル | 専門市場 | 専門市場（音声） | 需要／供給 | 未定 | — | 読むだけ | robots ✕規約 …Bot ✕ |
| Kmong（크몽）非Google圏の供給側。登録サービス約60万件。 | 韓国 | サービス市場 | 出品型 | 供給 | 未定 | 日次（予定） | 読むだけ | robots …規約 …Bot … |
| Naver DataLab／検索広告キーワードツール韓国側の検索需要。Kmong の供給と対にする。自動取得の可否は規約で確認。 | 韓国 | 検索 | 検索トレンド（相対指数）／月間検索数 | 検索需要 | 公開ツール／広告アカウント経由 | 日次／月次 | 読むだけ | robots —規約 …Bot — |
| Wishket（위시켓）案件数・予算が公開。韓国側の需要。 | 韓国 | サービス市場 | IT 入札型 | 需要 | 未定 | 日次（予定） | 読むだけ | robots …規約 …Bot … |
| 猪八戒网同一カテゴリが省ごとに別 URL。target_id の地域次元はこのために確保している。需求側一覧の取得可否も確認。 | 中国 | サービス市場 | 入札型（省別サブサイト） | 需要／供給 | 未定 | 日次（予定） | 読むだけ | robots …規約 …Bot … |
| 104外包網繁体字。中国語オントロジーの検証場の候補。 | 台湾 | サービス市場 | 案件型（予算公開） | 需要 | 未定 | 日次（予定） | 読むだけ | robots …規約 …Bot … |
| Codeur.com需要と供給が同時に見える。EU を言語別に分解する際のフランス語側の起点。 | フランス | サービス市場 | 入札型（案件数・見積数） | 需要／供給 | 未定 | 日次（予定） | 読むだけ | robots …規約 …Bot … |
| ComeUp（旧 5euros）フランス語圏の出品型。 | フランス | サービス市場 | 出品型 | 供給 | 未定 | 日次（予定） | 読むだけ | robots …規約 …Bot … |
| Malt出品型ではなくプロフィール型。単価の較正に使う。 | 欧州 | サービス市場 | プロフィール型（日額単価） | 供給／単価アンカー | 未定 | 週次（予定） | 読むだけ | robots …規約 …Bot … |
| PeoplePerHour実査：robots.txt の取得で 202（challenge 応答）。Bot 対策の疑いがあるため、回避せずに取れるかを再確認。英国側の入札型。 | 欧州 | サービス市場 | 入札型 | 需要／供給 | 未定 | — | 読むだけ | robots …規約 …Bot ✕ |
| Workanaスペイン語・ポルトガル語圏。 | 中南米 | サービス市場 | 入札型 | 需要／供給 | 未定 | 日次（予定） | 読むだけ | robots …規約 …Bot … |
| Kwork露・CIS 圏の出品型。ライセンシーの対価が確定した地域から観測を始める（第3.3節）。 | 露・CIS | サービス市場 | 出品型 | 供給 | — | — | 後回し | robots —規約 —Bot — |
| Bionlukトルコ語圏の出品型。同上。 | トルコ | サービス市場 | 出品型 | 供給 | — | — | 後回し | robots —規約 —Bot — |
| Khamsat／Mostaql（Hsoub）アラビア語圏。同上。 | アラビア語圏 | サービス市場 | 出品型／案件型 | 供給／需要 | — | — | 後回し | robots —規約 —Bot — |
| Yahoo!クラウドソーシング会員登録必須。対象外。 | 日本 | マイクロタスク | マイクロタスク（アンケート等） | 需要 | — | — | 対象外 | robots —規約 —Bot — |
| Amazon Mechanical Turk実査：worker.mturk.com の robots.txt が全面 Disallow、HIT 一覧はログイン必須。非ログイン原則の対象外。研究者が公開している集計（HIT 数の追跡）の利用可否は別途検討。 | 米・英語圏 | マイクロタスク | マイクロタスク（HIT） | 需要 | — | — | 対象外 | robots ✕規約 —Bot — |
| Prolific実査：app.prolific.com の robots.txt が全面 Disallow、スタディ一覧は参加者ログイン後にのみ表示。対象外。 | 米・英語圏 | マイクロタスク | マイクロタスク（調査・AI 評価） | 需要 | — | — | 対象外 | robots ✕規約 —Bot — |
| Glassdoor／Google Jobs／LinkedIn規約が自動取得を禁止。公開 API も用途が限定される。対象外。 | グローバル | 求人 | 求人集約・SNS | 雇用需要 | — | — | 対象外 | robots —規約 ✕Bot — |
| Indeed（求人ページの直接取得）実査：robots.txt は検索ページを許可するが、検索ページは識別 UA に 403、規約はスクレイピングを禁止。雇用需要は Indeed Hiring Lab のオープンデータで取る。 | グローバル | 求人 | 求人（雇用需要） | 雇用需要 | — | — | 対象外 | robots ○規約 ✕Bot ✕ |
| Microworkersタスク一覧はログイン必須。対象外。 | グローバル | マイクロタスク | マイクロタスク | 需要 | — | — | 対象外 | robots —規約 —Bot — |
| Reddit（専門コミュニティ）実査：robots.txt が識別 UA に 403。商用利用の API は個別契約が必要。現時点では対象外。 | グローバル | コミュニティ | コミュニティ（投稿件数） | 検索意図 | — | — | 対象外 | robots ✕規約 ✕Bot — |
| XAPI 費用と規約上の制約により対象外。 | グローバル | コミュニティ | SNS | 検索意図 | — | — | 対象外 | robots —規約 ✕Bot — |
| 智联招聘／BOSS直聘実査：robots.txt がクエリ付き URL（検索・絞り込み）を拒否。カテゴリ別の件数は取得できない。対象外。 | 中国 | 求人 | 求人（雇用需要） | 雇用需要 | — | — | 対象外 | robots ✕規約 —Bot — |
| 百度指数要ログインのため、非ログイン原則の下では自動取得の対象外。手動参照のみ。 | 中国 | 検索 | 検索トレンド | 検索需要 | — | — | 対象外 | robots —規約 ✕Bot — |
52 件を表示。確認欄は robots.txt ／ 利用規約 ／ Bot対策 の順。○ 確認済み・問題なし、… 確認中、✕ 不可、— 該当なし（プロバイダ経由・公開データ等）。
Signals
一つの市場を、種類の違う観測器で測る。
サイトを集めること自体が目的ではありません。「翻訳」という一つの市場に、サービス市場・専門市場・求人・検索・コミュニティといった独立した信号を刺し、それらが一致するかどうかで信頼度を決めます。総合マーケットだけを見ると分類は粗くなり、専門市場だけを見ると規模を見誤ります。
| 信号の種類 | 何を測るか | 例 |
|---|---|---|
| サービス市場 | 出品・案件・入札の量と価格。外注需要の本体 | ココナラ、Fiverr、Upwork、Kmong |
| 専門市場 | 単一領域の需給。総合市場より分類が細かい | Voice123（音声）、ProZ（翻訳）、99designs（デザイン） |
| 求人 | 雇用需要。外注需要と分けて持つ | Indeed Hiring Lab、Saramin API、フリーランススタート |
| マイクロタスク | AI が生む作業・AI に置き換わる作業 | Toloka（要確認）。MTurk・Prolific はログイン必須で対象外 |
| 検索 | 検索関心度・検索数 | Google Trends API、Naver |
| コミュニティ | 質問・投稿の件数。技術需要の先行代理 | Stack Exchange API、Yahoo!知恵袋 |
| 学習・ノウハウ | 供給の先行指標（学んでいる人の数） | Udemy、ストアカ、Brain／Tips |
| 公的統計・公表値 | 較正と対照 | 職業別有効求人倍率、上場3社 IR |
信頼度への効き方
Confidence の因子 M（ソース多重性）は、独立したソースの数と相互の一致度です。信号の種類が異なるほど独立とみなします。
Fiverr Voice Over ↑ Upwork Voice jobs ↑ Voice123 projects ↑
→ Voice Demand ↑ / Confidence 94
Fiverr Voice Over ↑ のみ
→ Voice Demand ↑ / Confidence 58求人を別レイヤーで持つと、構造の変化も見えます。外注需要 +150% に対して雇用需要 −5% なら「正社員雇用ではなく外注化されている」という読みが、事実の並置として出せます。
実査の方針
候補一覧をそのまま実装リストにはしません。識別 UA で robots.txt と一覧ページを取得し、応答（403・challenge・ログイン要求）を確認欄に記録します。回避しないと取れないサイトは、価値が高くても自前取得の対象から外します。
状態の意味
観測中
日次スナップショットを保存し、日次チェーンに記録している
準備中
取得前の確認（robots.txt の逐語確認、規約の弁護士レビュー、API の申請、公表値の取り込み実装）を進めている
Phase 1
手動販売による検証と並行して観測を拡大する対象
読むだけ
取得はしない。robots.txt と利用規約を確認して記録する。取得可否の判断は Phase 1 で行う
後回し
ライセンシーの対価が確定した地域から着手する原則により、着手していない
対象外
非ログイン原則、規約、費用のいずれかにより自動取得を行わない
追加の基準
- 回避せずに取れるか。Bot対策の回避を要するサイトは自前取得の対象から外れる。この判断を都度の裁量に委ねない
- 非ログインの公開ページであるか。クローラに認証情報を持たせない
- 公開データ・公表値を先に取り込む。クロールを伴わないソース（オープンデータ、公的統計、IR）は取得リスクがなく、過去分を遡れる
- 対照群を持つ。動く群だけを観測すると、市場の動きと計測ノイズを区別できない
- 地域はライセンシーが確定してから。正規化は地域依存で、地域追加の限界費用はゼロに近くない
役割の分類：供給／需要／雇用需要／検索需要／検索意図／需要の先行指標／供給の先行指標／単価アンカー／較正・対照／ハイプ指数。需要代理指標の設計 →