方法論

stats.tech-book.net の全記事は 一次データから自分で集計しています (二次まとめなし)。本ページは 26 のオープンデータ源と 61 の集計レシピを公開し、再現可能性と透明性を担保するためのものです。

26データ源
61集計レシピ
24認証不要源
23ライセンス種

基本方針

データソース一覧

最新取得日付きで 26 件 (ドメイン別)。

catalog

ID名称ライセンス取得日出典 URL
bodik_ckanBODIK ODCS（自治体オープンデータ共通基盤）CC BY 4.0 / 政府標準利用規約 2.02026-05-18https://odcs.bodik.jp/
kokkai国会会議録 API国立国会図書館 利用規約 (出典明記で再配布可)2026-06-01https://kokkai.ndl.go.jp/api.html
livecam_directory日本のライブカメラ運営者ディレクトリ政府標準利用規約 2.0 (リンク先個別、運営者表記要)2026-05-19https://www.mlit.go.jp/road/bosai/LIVEcamera.html
suginami_official杉並区 公式オープンデータカタログクリエイティブ・コモンズ 表示（CC BY 4.0）2026-05-19https://www.city.suginami.tokyo.jp/opendata/
tokyo_ckan東京都オープンデータカタログCC BY 4.02026-05-24https://catalog.data.metro.tokyo.lg.jp/

geo

ID名称ライセンス取得日出典 URL
geofabrikGeofabrik OSM 抽出データODbL (© OpenStreetMap contribu2026-05-28https://download.geofabrik.de/
mlit_ksj国土数値情報 (MLIT KSJ)CC BY 4.02026-05-31https://nlftp.mlit.go.jp/ksj/

news

ID名称ライセンス取得日出典 URL
news_nhkNHK ニュース RSSNHK 著作物（要出典明示）—https://www3.nhk.or.jp/news/

real-estate

ID名称ライセンス取得日出典 URL
reinfolib不動産情報ライブラリ (MLIT reinfolib)政府標準利用規約 (CC BY 相当)2026-05-18https://www.reinfolib.mlit.go.jp/help/apiManual/

statistics

ID名称ライセンス取得日出典 URL
estate-Stat 政府統計の総合窓口政府標準利用規約 2.02026-05-23https://www.e-stat.go.jp/mypage/user/preregister
hackernewsHacker News APIHN data is public (no formal l2026-06-01https://github.com/HackerNews/API
jnto_visitorsJNTO 訪日外客統計 (国籍×月別)JNTO/政府標準利用規約 2.0 (出典明記)2026-05-19https://www.jnto.go.jp/statistics/data/visitors-statistics/
keyword_volumeGoogle Ads Keyword Planner（t-knot-ads 経由）Google Ads 利用規約（取得値は再配布不可、内部分析2026-05-19docs/integrations/t-knot-ads.md
npa_accidents警察庁 交通事故統計オープンデータ政府標準利用規約 2.02026-05-17https://www.npa.go.jp/publications/statistics/koutsuu/openda
npm_downloadsnpm Registry ダウンロード統計npm Registry Terms2026-06-01https://github.com/npm/registry/blob/main/docs/download-coun
pypi_downloadsPyPI ダウンロード統計 (pypistats)pypistats.org ToS2026-06-01https://pypistats.org/api/
stackexchangeStack Exchange API (Stack Overflow タグ統計)CC BY-SA 4.0 (Stack Exchange)2026-06-01https://api.stackexchange.com/docs
wikipedia_clickstreamWikipedia ClickstreamCC0 (Wikimedia Foundation)2026-05-24https://dumps.wikimedia.org/other/clickstream/readme.html
wikipedia_pageviewWikipedia ページビュー APICC0 (Wikimedia Foundation Anal2026-06-01https://wikitech.wikimedia.org/wiki/Analytics/AQS/Pageviews
worldbankWorld Bank Open DataCC BY 4.0 (World Bank)2026-06-01https://datahelpdesk.worldbank.org/knowledgebase/articles/88

tax

ID名称ライセンス取得日出典 URL
furusato総務省 ふるさと納税に関する現況調査政府標準利用規約 2.0 (CC BY 4.0 互換)2026-05-17https://www.soumu.go.jp/main_sosiki/jichi_zeisei/czaisei/cza
nta_sake国税庁 酒のしおり政府標準利用規約 2.0 (CC BY 4.0 互換)2026-05-17https://www.nta.go.jp/taxes/sake/shiori-gaikyo/shiori/01.htm

transit

ID名称ライセンス取得日出典 URL
gtfs_jpGTFS-JP（公共交通標準フォーマット 日本版）事業者ごと (多くは CC BY 4.0)2026-05-23https://api.gtfs-data.jp/

weather

ID名称ライセンス取得日出典 URL
jma_amedas気象庁 AMeDAS（地域気象観測システム）政府標準利用規約 2.0 (継続性は保証されない)2026-05-30https://www.jma.go.jp/bosai/amedas/
jma_bosai気象庁 防災情報 XML自由利用 (出典明示)2026-05-23https://xml.kishou.go.jp/xmlpull.html
river_dam国交省 水文水質データベース ダム諸量政府標準利用規約 2.0 (CC BY 4.0 互換、ただし2026-05-17https://mudam.nilim.go.jp/mudam_opendata.pdf

ライセンス分布

ライセンスソース数主な源
CC BY 4.02tokyo_ckan, mlit_ksj
政府標準利用規約 2.02estat, npa_accidents
政府標準利用規約 2.0 (CC BY 4.0 互換)2furusato, nta_sake
CC BY 4.0 / 政府標準利用規約 2.01bodik_ckan
国立国会図書館 利用規約 (出典明記で再配布可)1kokkai
政府標準利用規約 2.0 (リンク先個別、運営者表記要)1livecam_directory
クリエイティブ・コモンズ 表示（CC BY 4.0）1suginami_official
ODbL (© OpenStreetMap contributors)1geofabrik
NHK 著作物（要出典明示）1news_nhk
政府標準利用規約 (CC BY 相当)1reinfolib
HN data is public (no formal license)1hackernews
JNTO/政府標準利用規約 2.0 (出典明記)1jnto_visitors
Google Ads 利用規約（取得値は再配布不可、内部分析向け）1keyword_volume
npm Registry Terms1npm_downloads
pypistats.org ToS1pypi_downloads
CC BY-SA 4.0 (Stack Exchange)1stackexchange
CC0 (Wikimedia Foundation)1wikipedia_clickstream
CC0 (Wikimedia Foundation Analytics)1wikipedia_pageview
CC BY 4.0 (World Bank)1worldbank
事業者ごと (多くは CC BY 4.0)1gtfs_jp
政府標準利用規約 2.0 (継続性は保証されない)1jma_amedas
自由利用 (出典明示)1jma_bosai
政府標準利用規約 2.0 (CC BY 4.0 互換、ただし「定期収集はお控えください」と明示)1river_dam

主要アルゴリズム

D8 流向 + フロー累積 (地形解析)

国土地理院 5m DEM から、各セルが 8 方向のうち最も急な隣接セルへ流すと仮定し (D8)、流れの累積量を集計。谷地形・河川集水域の可視化に使う。

地理院アドレスマッチング

住所文字列 → 緯度経度の API (国土地理院ジオコーダ)。鍵不要、レート制限なし。CKAN 等の住所付き CSV から GeoJSON を自動生成する際に使用。

DuckDB Spatial で都道府県境界 dissolve

KSJ N03 (市区町村界) を ST_Union_Agg で都道府県単位に統合し、軽量な 47 都道府県 GeoJSON を生成 (985 KB)。

4 軸 z-score による整備機会指数

関心 (Wikipedia PV) × 実装 (npm/PyPI DL) × 困りごと (Stack Overflow タグ) × 供給 (NDL 書籍数) を log10 した z-score で正規化し、demand - supply でテーマの整備機会を数値化。

K-means 時系列クラスタリング

199 概念の 60 ヶ月 PV を z-score し K=8 でクラスタリング。「急成長型」「平坦型」「ピーク後減衰型」を抽出。

MAD z-score による異常検知

ローリング 6 ヶ月の中央値 ± 2 * MAD で各月の値が外れているかを判定 (z >= 3 で異常)。ガウス分布に依存しないロバストな異常検知。

集計レシピ一覧

各 recipe は scripts/recipes/ 配下の Python スクリプト。docstring を展開。

arxiv_categories.py — Recipe: arXiv 分野別月次論文投稿数 (書籍市場の先行指標).
使うソース: — · 更新 2026-05-19
build_overview_from_mirror.py — mirror dir (~/workspace/stats-tech-book-data) を直接 scan して
使うソース: — · 更新 2026-05-22
clickstream_12months.py — Recipe: Wikipedia Clickstream 12 ヶ月分を取得して 1 つの Parquet にまとめる.
使うソース: wikipedia_clickstream · 更新 2026-05-19
clickstream_centrality.py — Recipe: tech 199 概念間の Clickstream ネットワーク中心性.
使うソース: wikipedia_clickstream · 更新 2026-05-19
clickstream_prefectures.py — Recipe: 47 都道府県の Wikipedia Clickstream 抽出 → 小 JSON.
使うソース: wikipedia_clickstream · 更新 2026-05-24
clickstream_sengoku.py — Recipe: 戦国大名 ~75 名の Wikipedia Clickstream → ノード + エッジ graph JSON.
使うソース: wikipedia_clickstream · 更新 2026-05-24
clickstream_webdev.py — Recipe: Web エンジニア技術 ~80 概念の Wikipedia Clickstream → graph JSON.
使うソース: wikipedia_clickstream · 更新 2026-05-24
culverts_by_muni.py — Recipe: OSM 暗渠 × N03 自治体境界 → 自治体別 暗渠密度.
使うソース: geofabrik, mlit_ksj · 更新 2026-05-22
dams_geojson.py — Recipe: MLIT KSJ W01 (ダム諸元) → GeoJSON。
使うソース: mlit_ksj · 更新 2026-05-17
data_catalog.py — Recipe: open-data-collect のデータカタログ生成.
使うソース: estat, furusato, hackernews, jma_amedas, jnto_visitors, kokkai · 更新 2026-06-01
demand_correlation.py — Recipe: Wikipedia PV × Google Ads Keyword Planner = 需要シグナルの相関分析.
使うソース: keyword_volume, wikipedia_pageview · 更新 2026-05-17
demand_priority.py — Recipe: 概念リストの Wikipedia PV を取得して整備優先度を表示.
使うソース: wikipedia_pageview · 更新 2026-05-17
dev_manifest.py — Emit a JSON manifest of registered municipalities for the dev preview
使うソース: — · 更新 2026-05-20
estat_cpi.py — Recipe: e-Stat 消費者物価指数 月次 2020 年基準.
使うソース: — · 更新 2026-05-19
estat_unemployment.py — Recipe: e-Stat 完全失業率 月次 1968-現在.
使うソース: — · 更新 2026-05-19
evacuation_shelters.py — Recipe: KSJ A32 指定緊急避難場所 → 全国 自治体別 集計.
使うソース: mlit_ksj · 更新 2026-05-22
fertility_map.py — Recipe: e-Stat 都道府県別 合計特殊出生率（1960-2024） を timeseries JSON に整形。
使うソース: estat · 更新 2026-05-17
furusato_flow.py — Recipe: ふるさと納税 都道府県別 収支マップ.
使うソース: furusato, mlit_ksj · 更新 2026-05-17
gtfs_stops_by_pref.py — GTFS-JP 都道府県別 stops 集約 → 統合 GeoJSON.
使うソース: gtfs_jp · 更新 2026-05-23
hackernews_snapshot.py — Recipe: HN TOP 500 + 新着 500 の今日のスナップショット.
使うソース: hackernews · 更新 2026-05-19
jnto_wikipedia_pv.py — Recipe: JNTO 訪日数 × ja Wikipedia 国記事 PV の月次相関.
使うソース: jnto_visitors, wikipedia_pageview · 更新 2026-05-19
kokkai_topics.py — Recipe: 国会会議録の年別テーマ件数を取得.
使うソース: kokkai · 更新 2026-05-19
kokkai_wikipedia_corr.py — Recipe: 国会会議録テーマ件数 × Wikipedia PV の年次相関.
使うソース: kokkai, wikipedia_pageview · 更新 2026-05-19
openalex_keywords.py — Recipe: OpenAlex で技術キーワードの年別論文数を取得.
使うソース: — · 更新 2026-05-19
package_downloads.py — Recipe: 主要 npm / PyPI パッケージの DL 数取得とランキング.
使うソース: npm_downloads, pypi_downloads · 更新 2026-05-19
prefecture_popularity.py — Recipe: 47 都道府県の Wikipedia PV × 国勢調査人口 = 「世間の注目度マップ」.
使うソース: estat, wikipedia_pageview · 更新 2026-05-17
property_price_map.py — Recipe: 不動産取引価格 全国 中古マンション m² 単価 マップ.
使うソース: mlit_ksj, reinfolib · 更新 2026-05-18
request_zenn_article.py — Recipe: zenn-articles repo に「note/Zenn 拡散記事」 を依頼.
使うソース: — · 更新 2026-05-24
request_zundamon_video.py — Recipe: zundamon-video repo に「ずんだもん YouTube 動画」 を依頼.
使うソース: — · 更新 2026-05-24
sake_per_capita.py — Recipe 1: e-Stat 国勢調査 × 酒のしおり = 1 人当たり酒類消費量。
使うソース: estat, nta_sake · 更新 2026-05-17
shibuya_walking_manifest.py — 渋谷区 散歩 manifest 生成 (shibuya-lost-river story 用).
使うソース: geofabrik, mlit_ksj · 更新 2026-05-23
station_passengers.py — Recipe: KSJ S12 駅別乗降客数 → 駅ランキング & 自治体集計.
使うソース: mlit_ksj · 更新 2026-05-18
stats_book_pages_check.py — Recipe: stats.tech-book.net 関連書籍が tech-book.net に page を持つか確認.
使うソース: — · 更新 2026-05-24
stats_related_books.py — Recipe: stats.tech-book.net の story に「関連書籍」候補を一覧化する.
使うソース: — · 更新 2026-05-26
stats_request_book_content.py — Recipe: t-knot-repo に「テーマだけ伝えて book content 一式お任せ」 依頼を出す.
使うソース: — · 更新 2026-05-24
suginami_childcare.py — Build the data export for the *suginami-childcare* story.
使うソース: mlit_ksj, tokyo_ckan · 更新 2026-05-19
suginami_daily_life.py — Build the data export for the *suginami-daily-life* story.
使うソース: mlit_ksj, tokyo_ckan · 更新 2026-05-19
suginami_floods.py — Build the data export for a municipality *floods* story.
使うソース: mlit_ksj, tokyo_ckan · 更新 2026-05-25
tech_book_anomaly.py — Recipe: Wikipedia PV の月次データから急増・急落を自動検出.
使うソース: wikipedia_pageview · 更新 2026-05-19
tech_book_baseline.py — Recipe: Wikipedia ja 全体トラフィック の 5 年推移 + 個別記事の相対化.
使うソース: wikipedia_pageview · 更新 2026-05-24
tech_book_clustering.py — Recipe: 5 年月次 PV パターンの K-means クラスタリング.
使うソース: wikipedia_pageview · 更新 2026-05-19
tech_book_correlations.py — Recipe: 統合スコア 4 軸の相関分析 + 外れ値抽出.
使うソース: — · 更新 2026-05-19
tech_book_demand.py — Recipe: 技術書・専門書のテーマ別 Wikipedia PV を取得し需要をランク化.
使うソース: wikipedia_pageview · 更新 2026-05-19
tech_book_disambig.py — Recipe: Wikipedia ja の記事タイプを取って「異義語汚染」を正しく判定.
使うソース: — · 更新 2026-05-24
tech_book_integrated_score.py — Recipe: 4 軸の需要シグナルを統合した『書籍企画スコア』を算出.
使うソース: npm_downloads, pypi_downloads, stackexchange, wikipedia_clickstream · 更新 2026-05-19
tech_book_missing_fill.py — Recipe: 取得漏れの 7 件 + 周辺ライブラリの補完取得.
使うソース: wikipedia_pageview · 更新 2026-05-24
tech_book_redirect_check.py — Recipe: 急落テーマの「本物 / 偽物」判定.
使うソース: wikipedia_pageview · 更新 2026-05-24
tech_book_trend5y.py — Recipe: 技術書テーマの 5 年トレンド（2021-05 → 2026-04）.
使うソース: wikipedia_pageview · 更新 2026-05-19
tech_book_validation.py — Recipe: 技術書 PV データの品質検証.
使うソース: wikipedia_pageview · 更新 2026-05-19
tokyo_adjacency.py — Precompute neighbour graph for mainland municipalities of selected prefectures.
使うソース: — · 更新 2026-05-20
tokyo_overview.py — Build a lightweight regional overview for the integrated map view.
使うソース: — · 更新 2026-05-20
walking_manifest_generic.py — 自治体別 散歩 manifest 生成 (汎用版).
使うソース: geofabrik, mlit_ksj · 更新 2026-05-23
walking_pois_by_muni.py — Recipe: 散歩素材 POI × N03 → 関東 自治体別 散歩スポット密度.
使うソース: geofabrik, mlit_ksj · 更新 2026-05-22
water_disaster_history.py — e-Stat 水害統計調査 → 簡易 JSON 集計 (治水歴史 story 用).
使うソース: estat · 更新 2026-05-23
wikipedia_concepts_pv.py — Recipe: 120 概念の Wikipedia PV 一括取得（demand_correlation 拡張用）.
使うソース: wikipedia_pageview · 更新 2026-05-19
wikipedia_edit_activity.py — Recipe: Wikipedia 編集アクティビティ + 記事サイズ.
使うソース: — · 更新 2026-05-24
wikipedia_pv_en_compare.py — Recipe: en.wikipedia PV を 199 tech 概念で取得し、ja と比較.
使うソース: wikipedia_pageview · 更新 2026-05-19
wikipedia_pv_multilang.py — Recipe: 主要技術概念の 4 言語 (ja/en/zh/ko) Wikipedia PV 比較.
使うソース: wikipedia_pageview · 更新 2026-05-19
wikipedia_pv_top1000.py — Recipe: Wikipedia PV を 1,000 概念に拡張.
使うソース: wikipedia_pageview · 更新 2026-05-19
wikipedia_top_catalog.py — Recipe: Wikipedia ja の月次 TOP 1000 を 12 ヶ月分集めて「人気記事カタログ」を出す。
使うソース: wikipedia_pageview · 更新 2026-05-19
worldbank_compare.py — Recipe: World Bank で日本 + 主要国の長期時系列を取得.
使うソース: worldbank · 更新 2026-05-19

更新方針

記事の更新履歴

各記事の git log から自動生成 (最大 20 件)。

__TITLE__ · 初公開 2026-06-01 · 最終更新 2026-06-01 · 1 commits
杉並区の保育園 282 か所マップ — 待機児童ゼロを支える子育て施設・学童・子ども食堂 · 初公開 2026-05-20 · 最終更新 2026-05-25 · 7 commits
杉並区の公園・図書館・公衆トイレ 945 か所マップ — 徒歩 5 分で揃う日常インフラ · 初公開 2026-05-20 · 最終更新 2026-05-25 · 8 commits
杉並区の地形と水害 — 神田川・善福寺川・妙正寺川のハザードマップを地形から読む · 初公開 2026-05-20 · 最終更新 2026-05-25 · 8 commits
東京から 1,845 億円が、消えた — ふるさと納税が動かす 5 兆円の地図 · 初公開 2026-05-24 · 最終更新 2026-05-25 · 4 commits
東京から 1,845 億円が、消えた — ふるさと納税が動かす 5 兆円の地図 · 初公開 2026-05-24 · 最終更新 2026-05-25 · 4 commits
22.4 倍 — 中古マンションの値段で見る日本 · 初公開 2026-05-24 · 最終更新 2026-05-25 · 4 commits
22.4 倍 — 中古マンションの値段で見る日本 · 初公開 2026-05-24 · 最終更新 2026-05-25 · 4 commits
待機児童ゼロの内訳は、282 か所だった — 杉並区の子育て施設マップ · 初公開 2026-05-24 · 最終更新 2026-05-25 · 4 commits
待機児童ゼロの内訳は、282 か所だった — 杉並区の子育て施設マップ · 初公開 2026-05-24 · 最終更新 2026-05-25 · 4 commits
stats.tech-book.net — 公開データで読み解く、日本 · 初公開 2026-05-19 · 最終更新 2026-05-25 · 14 commits
鳥取が、日本一読まれている県だった — Wikipedia ページビューで見る、隠れた人気度マップ · 初公開 2026-05-24 · 最終更新 2026-05-25 · 4 commits
鳥取が、日本一読まれている県だった — Wikipedia ページビューで見る、隠れた人気度マップ · 初公開 2026-05-24 · 最終更新 2026-05-25 · 4 commits

連絡先・訂正依頼

記事に誤りや古いデータを見つけた場合は info@tech-book.net までご連絡ください。
ソースコード: (internal repo)

最終生成: 2026-06-01 · 自動生成 (make data-catalog)