nonbee.dev
📊

「この数字どうなってる?」に90秒で答えるSlack — Anthropic の Claude Tag 運用術

はじめに

「先週リリースした機能、使われてます?」「この数字、先月と比べてどうですか?」

こういうアドホックな質問、データチームに Slack で飛んでいくじゃないですか。聞く側は数分で答えが欲しいだけなのに、データチームからすると割り込みタスクの山。結果、質問する側は遠慮して聞かなくなり、データは見られなくなる。どこの組織でも起きているやつだと思います。

先日、Anthropic 公式ブログに Self-service data analytics in Slack: How Anthropic deploys Claude Tag for ad-hoc questions という記事が公開されました。Anthropic が自社の Slack にデータ分析エージェントを約1年運用してきた実践録で、精度は約95%、ある月にはデータ関連チャネルに投稿された質問の75%以上に Claude が回答していたそうです。

筆者はこの記事、「Slack でデータ分析ができる」という表面よりも、エージェントに渡すスキルファイルをどう運用するかの話として読みました。これ、Claude Code でスキルを書いている人にはかなり刺さる内容なんですよ。要点を日本語でまとめつつ、筆者のスキル運用と照らし合わせてみます。

元記事はこちら: https://claude.com/blog/self-service-data-analytics-in-slack-how-anthropic-deploys-claude-tag-for-ad-hoc-questions

TL;DR

Anthropic の運用から抽出されたベストプラクティスは5つです:

  • スキルはデータモデルと同じ頻度で更新する — スキルは書いて終わりの設定ファイルではなく、継続的に配信されるコンテンツ
  • クエリの知識以外のスキルも持たせる — 予測、コホート分析、チャート作成など「分析の作法」もスキル化する
  • ウェアハウスだけでなくビジネス文脈につなぐ — 数字の「何」はデータ基盤が、「なぜ」は社内ドキュメントが答える
  • サービスアカウントの権限は最初に絞る — ボットにメンションできる人全員が、ボットのデータアクセス権を持つことになる
  • すべての回答を初日から計測する — テレメトリの後付けはできない

Claude Tag とは

Claude Tag は、Slack のチャネルで @Claude とメンションして仕事を頼めるエージェントです。現在 public beta で、Claude の Team / Enterprise プランで利用できます(個人の Pro / Max プランでは使えません)。

セットアップは管理者が一度行えば、あとはワークスペースの全員が使える形です。質問への回答だけでなく、調査の進捗をスレッド内にチェックリストで示しながら、PR 作成やドキュメント生成までこなします。

Claude Code がターミナルで動く「個人の道具」だとすると、Claude Tag はチャネルで動く「チームの同僚」という位置づけですね。動きが全員に見える、というのが後で効いてきます。

Anthropic 社内運用の5つのベストプラクティス

1. スキルはデータモデルと同じ頻度で更新する

記事でいちばん重要な設計判断がこれです。

Data models can change several times a day.

(データモデルは1日に数回変わることがある)

カラム名の変更、メトリクス定義の修正、テーブルの廃止。データ基盤は毎日動いているのに、スキルファイルが1ヶ月前のままだと何が起きるか。エージェントは古い知識のまま、確信を持って間違った数字を出します。

しかも Slack が怖いのは、ダッシュボードと違ってトレンド線などの検証コンテキストが一切ないことです。返ってきた数字が合っているか、受け取る側の「嗅覚」が働かない。だからこそスキルの鮮度が生命線になります。

Anthropic の実装では、Claude Tag のランタイムがデータリポジトリの skills ディレクトリをマウントし、会話のたびにファイルを再読み込みしています。スキルを「書いて終わりの設定」ではなく「継続的にデプロイされるコンテンツ」として扱っているわけです。

2. クエリの知識以外のスキルも持たせる

「どのテーブルに何があるか」だけでは、正しい数字は出せても良い分析にはなりません。Anthropic は分析の作法そのものもスキル化しています:

スキルの種類内容
データアクセステーブル定義、メトリクス定義(セマンティックレイヤー)
分析手法予測、コホート分析、ファネル分析、チャート作成
アウトプット分析結果の文章化の作法

3. ウェアハウスだけでなくビジネス文脈につなぐ

「先週サインアップが落ちた」の数字はデータウェアハウスが答えられますが、「なぜ落ちたか」は答えられません。答えは大抵、インシデント記録やリリースノート、Slack の過去スレッドにあります。

そこで Claude Tag は社内ナレッジのインデックス(Slack スレッド、インシデント追跡、リリースノート、ドキュメント)にも接続されています。数字と同じ時間帯に何が起きていたかを突き合わせて、「何」と「なぜ」をセットで返す設計です。

4. サービスアカウントの権限は最初に絞る

セキュリティ面でいちばん率直だった一文がこれです。

Everyone who can mention the bot has the bot's data access.

(ボットにメンションできる全員が、ボットのデータアクセス権を持つ)

行レベルセキュリティのような細かい制御はまだなく、サービスアカウントに与えた権限がそのままチャネル全員の実効権限になります。だから Anthropic は「最初に絞る」方針を徹底しています:

  • アクセスはセマンティックレイヤーの出力テーブルのみに限定
  • PII はカラムレベルで分類し、マスクをかける
  • チャネルのメンバーシップ自体をアクセス制御として使う
  • すべてのクエリにユーザー・会話を特定できるラベルを付けて監査可能にする

権限は後から広げるのは簡単でも、一度配ったものを回収するのは大変。これはエージェントに限らない話ですが、エージェントだと配布のスピードが速いぶん、余計に効いてきます。

5. すべての回答を初日から計測する

回答への 👍/👎 リアクションと修正件数から、ドメイン別の精度を追跡。さらに「ガバナンスレイヤー(セマンティックレイヤー)を経由したクエリの割合」を監視していて、この割合が下がってきたら、スキルの陳腐化か定義の抜けを疑うシグナルとして使っているそうです。

そして記事は「テレメトリの後付けはできない」と釘を刺しています。構造化ログは初日から仕込む。これは耳が痛い人が多そうです(筆者も痛い)。

印象的だったエピソード

90秒で PR まで出てくる話。 チームメンバーが「このカテゴリ分類、新しい利用パターンを含んでますか?」と質問したところ、Claude が90秒以内に定義を確認し、抜けを特定し、修正の PR ドラフトまで作成。データサイエンティストがレビューして承認し、Claude がマージしてダッシュボードも更新された、と。質問が質問のまま終わらず、その場で改善につながる流れができています。

そしてもうひとつ、これは働き方の話ですが:

Claude Tag threads become the new meeting

(Claude Tag のスレッドが、新しい会議になる)

Claude のスレッドに複数人が入ると、文脈の共有が自動的に済んでいて、詳しい人が任意のタイミングで参加でき、やりとりが履歴として残る。「とりあえず30分ミーティング」の代わりにスレッドが立つ、というのは確かにありそうな未来です。

筆者の視点: これは Claude Code のスキル運用の話でもある

ここからは筆者の話です。率直に言うと、筆者は Claude Tag をまだ使えていません。Team / Enterprise プラン限定なので、個人開発者には今のところ手が届かないんですよね。データウェアハウスを持つような規模でもないですし。

それでもこの記事を紹介したいと思ったのは、「スキルは生きたドキュメント」という運用思想が、Claude Code のスキル運用とまったく同じ構図だからです。

筆者は Claude Code で、ブログ執筆や投稿作業などのワークフローを Markdown のスキルファイルとして育てながら運用しています。そこで実際に起きたのが、まさに記事の言う「スキルドリフト」でした。ローカルプレビューの手順を変えたのにスキルが古いまま → Claude が旧手順で自信満々に作業を進める、という事故。エージェントは書いてあることを疑わないので、スキルの鮮度がそのまま出力の正しさになります。

以来、筆者は作業のたびに引っかかった点をその場でスキルに追記する運用にしています。Anthropic が「データモデルを変えたらスキルも変える」と言っているのの個人版ですね。スキルを書き上げる日を作るのではなく、ズレに気づいた瞬間に直す。地味ですが、これがいちばん効きます。

所感

この記事、「AI がデータ分析してくれてすごい」という話として消費するのはもったいなくて、本質はエージェントの知識をどう配信し続けるかという運用設計の話だと思います。

モデルの賢さは Anthropic が上げてくれますが、スキルの鮮度と権限設計とテレメトリは、導入する側の仕事です。約95%という精度も、モデルが賢いからというより、スキルを毎日更新して、計測して、ズレたら直すというループを1年回した結果なんですよね。エージェント導入の成否は運用で決まる、という当たり前の結論が、具体的な数字と失敗談つきで書かれているのが良い記事でした。

まとめ

  • Claude Tag は Slack で @Claude にデータ分析を頼めるエージェント(public beta、Team / Enterprise プラン限定)
  • Anthropic 社内で約1年運用し、精度は約95%。ある月はデータ関連チャネルの質問の75%以上に回答
  • スキルファイルは「配信コンテンツ」。データモデルと同じ頻度で更新し、会話のたびに再読み込みする
  • ボットにメンションできる人全員がボットの権限を持つ。権限は最初に絞り、監査ログを仕込む
  • テレメトリは初日から。👍/👎 とガバナンスレイヤー経由率でドリフトを検知する
  • この運用思想は Claude Code のスキル運用にもそのまま使える。ズレに気づいた瞬間にスキルを直すのがいちばん効く

原文にはセットアップの段階的な手順(権限→配信→テレメトリ→ナレッジ接続→分析スキル)も書かれているので、チームで導入を検討している方はぜひ読んでみてください。

ではまた!