最終更新: 2026年3月 · ソース: info-pipeline

ライブ・インテリジェンス・フィード

7 つのプラットフォームから AI・テクノロジーコンテンツを収集し、キーワードフィルタリングと関連性スコアリングを適用し、重複を排除して、下流エージェントが利用できる統一 JSON/Markdown レポートを生成する Python パイプライン。

← モジュール概要

概要

info-pipeline は、7 つの異質なプラットフォームから AI・テクノロジーコンテンツを集約し、スコア付き・重複排除済みの単一フィードにまとめます。各プラットフォームには専用のコレクターがあり、出力を共通スキーマに正規化します。フィルター/スコアラー段階でグローバルキーワードマッチングと関連性スコアリング（0〜100）を適用し、レポートを出力します。出力は機械可読 JSON と人間可読 Markdown レポートです。

目的

AI の動向を把握するには、多くの異質なソースを同時に監視する必要があります。新しいリポジトリは GitHub、コミュニティ議論は Hacker News と Reddit、研究解説は YouTube、新ツールは Product Hunt、初期シグナルは Twitter/X、英語ソースが見落とす中国の動向は中国プラットフォームから収集します。7 つのプラットフォームを手動でこなすのは時間がかかり、一貫性も欠けます。

既存のアグリゲーター（RSS リーダー、Feedly など）は人間可読フィードを生成しますが、機械可読構造化データではありません。AI リサーチエージェントには、クエリし推論できる、スコア付き・重複排除済み・正規化されたフィードが必要です。このパイプラインは、エージェント利用向けに設計されたフォーマットでそのフィードを提供します。

アーキテクチャ

パイプラインは 4 つのステージで構成されます：

[コレクター — 並列実行]
  → GitHub Trending、Hacker News、Reddit、YouTube、
    Product Hunt、X/Twitter、中国プラットフォーム（MCP 経由）
  → 各コレクターが統一スキーマに正規化

[フィルター / スコアラー]
  → グローバルキーワードリストとのキーワードマッチング
  → 関連性スコア 0〜100（キーワード密度 + プラットフォームシグナル）
  → URL による重複排除、次にタイトル類似度による重複排除

[レポートライター]
  → 統一 JSON（全アイテム）
  → Markdown レポート（上位 N アイテム）

データソース：

コード構成：

全ソースのすべてのアイテムが同じ JSON スキーマを共有します：

{
  "title": "記事 / プロジェクトタイトル",
  "url": "https://...",
  "source": "github",
  "score": 85,
  "published_at": "2026-02-18T10:00:00Z",
  "summary": "短い説明または抜粋",
  "tags": ["llm", "open-source"]
}

主要な設計上の決定

自分でビルドする方法