Devin Summary - kocya-dev/note GitHub Wiki

Summary

  • 機能
    • Slackの対話指示 / Devin IDEからの指示 / Devin側のVSCodeからの直接指示
    • (Team以上)API ※GitHub Actionsからdevinにレビュー指示を出すなど
    • Playbook (プロンプト集)
    • Claude Sonnet 3.7統合
    • Devin Search コード検索機能
    • Devin's Wiki リポジトリ解析のためのwiki作成
    • ユーザーの承認を待つモードも搭載、暴走防止
    • オンボーディング機能 Devinの仮想マシンのスナップショット作成
    • Enterprise
      • VPCへのデプロイやSSO等にも対応
      • Multi Devin, DevinがDevinを起動してタスクの分解・並列化が可能
    • Teamsプラン以上では投入データが学習に利用されることを無効化することができる
  • 料金体系
    • EnterpriseやTeamプラン(500$/Month)に加えてCoreプラン(20$~)が完全重量課金制プランとして利用可能 20$~のプランは2.25$/ACUと、通常の2$/ACUに比べて僅かにコスパ悪い
    • 参考: 1ACU = 約15分作業時間 シンプルなフロントエンドのバグ修正で1件5-15分かかるとの報告あり。
  • 競合
    • Cosine社Genie, Amazon Code Droid, OSS Devika / OpenDevinなど
  • アシスタントAIとの違い
    • クラウド上の環境で自律動作するため、利用者のローカル環境を使わずに済む
    • (現時点では)修正以外のタスクを行える範囲が広い。MCPサーバーの普及と対応AIの増加によってこのメリットはなくなる見込み。
  • 初期設定
    • 2025/01/24 注目のAIエンジニア「Devin」を入れてみた!購入から初期設定まで
    • GitHubとの接続でOrganizationのオーナー権のあるユーザーでないと操作できない。
    • GitHub Appsをインストールすることになる (Devin.ai iIntegration)
      • 必要権限は下記の通り
        • Read access to Dependabot alerts, actions, checks, commit statuses, deployments, members, metadata, packages, pages, repository advisories, repository hooks, and repository projects
        • Read and write access to code, discussions, issues, pull requests, and workflows
  • Organization Settings: General
    • Organization Settings
      • Organization Name
        • Change your organization's display name
    • Data Controls
      • Evaluate Devin
        • Allow your data to be used to create evaluations that measure Devin's improvement. If this is enabled, we will only use your data for evaluation purposes, not training.
          • = OFF推奨
    • Make Devin Smarter
      • Allow your data to be used to train and improve Devin. If this is disabled, we will not use any of your data, including inputs and outputs, to train Devin's models.
        • = OFF推奨
  • Devin's Settings: Customization
    • User Settings
      • Devin should proceed without waiting for approval on complex tasks
        • When Devin detects a task that requires codebase information, it will begin by investigating the repo and creating a plan. This setting controls whether Devin should by default proceed with its plan without waiting for your approval. Devin will always allow you to override this per-session.
          • 最初はON推奨
      • Git Commit Authoring
        • Choose how git commits are authored when Devin makes changes. Co-authored commits are recommended for best contribution tracking.
          • = Co-authored (Devin + User)
    • Team Settings
      • Share Devin prompts in PR comments and notifications
        • When enabled, Devin will include the original prompt in PR comments and Slack "PR Merged" notifications
      • Reply in existing Slack thread
        • When enabled, Devin will respond in the same thread where it was mentioned instead of creating a new thread. Note: Sending any message in the existing thread wakes Devin up.
          • OFF推奨
      • Auto-close stale Devin PRs
        • Configure whether Devin will close unmerged PRs after several days of inactivity
          • = After 7 days
      • Only respond to PR comments that mention Devin
        • When enabled, Devin will only process PR comments that explicitly start with 'DevinAI' (case insensitive). When disabled, Devin will process all PR comments (unless marked as aside).
          • ON推奨
      • Auto-add user as reviewer on PRs
        • When enabled, Devin will automatically add the user as a reviewer when creating pull requests.
          • ON推奨
      • Open PRs as
        • Choose whether PRs are opened as Devin or in the name of the user
          • = Devin
      • Enable knowledge suggestions for admins only
        • When enabled, only admins will be able to approve knowledge suggestions.
          • ON推奨 (全員に許可を与えると知識のない人まで関与してしまう)
      • Default Mode
        • Set the default mode for new Devin sessions. Fast mode is optimized for small to medium-sized tickets while deep mode excels at complex instruction following and tasks that involve applying the same instructions to over 8 files.
          • = Fast / Deep (Fast推奨)
  • 数十人規模の利用例
    • good
      • コードレビュー(knowledge蓄積による確認ミス、漏れの防止)に役立つとの意見が多い
      • 簡単な修正やたたき台レベルの実装とPR作成
      • 単純作業の自動化
        • エラー調査、単純作業の大量ファイル適用
          • 消費リソース高め。「検索→読み取り→修正」を繰り返したり、「xxxを実行→エラー解析→ファイル読み取り→修正」を繰り返すため。
        • 文言変更、不要コード削除
      • デザイナ業務(html/cssの変更レベル)
      • Issue作成支援、Slackのスレッドのやり取りを元にissue起票
      • Issueチケットの情報収集や要約
    • bad
      • 遅い
      • 進捗が見えにくい
      • 高度な実装がまかせられない
        • 精度が100%ではない
        • コンテキストをknowledgeに貯める、リポジトリにドキュメントを寄せるなどしないと完結できない
      • 大規模処理が苦手
      • 意図しないリポジトリにpushすることがある (プロダクトを複数触らせていると、ということ?)
  • tips
    • 最初に日本語でお願いと伝える
    • スコープを制限する。おそらくトークン量の都合でリポジトリ全体のようなスコープの処理は向いていない
    • パスを指定する際はフルパスなど詳細な方が良い
    • 公式の情報 1
    • 公式の情報 2
  • その他
    • 結局アシスタントAIと同じノウハウが通用する
      • 作業指示は「簡潔な表現」かつ「詳細な指示」
      • 「スコープを絞る」
      • 「否定形の表現をしない。~しないで、よりも~してください」
      • 既存コードを参考にした改変作業が向いている。新規構築は向かない。