ハースストーンAI　論文リスト - aharalabMeiji/fireplaceAharaLab GitHub Wiki

（要約はChatGPTによるものです。）

• "Neurocard: A Neural Network for Playing Hearthstone" (2020) by Qi Xiao, Yifei Wang, and Denny Zhou

「Neurocard: A Neural Network for Playing Hearthstone」という論文は、Qi Xiao、Yifei Wang、そしてDenny Zhouによって2020年に発表されたものです。この論文では、人気のあるトレーディングカードゲームである「Hearthstone」をプレイするためのニューラルネットワークについて説明されています。

論文では、HearthstoneをプレイするためのAIの重要な要素が何であるか、そしてNeurocardという名前のニューラルネットワークがどのようにそれらの要素を取り込んでいるかが説明されています。Neurocardは、プレイヤーがどのカードをプレイするべきかを決定するための方策ネットワークと、相手のカードを推測するための価値ネットワークの2つの部分で構成されています。

論文によると、Neurocardは、人間のプレイヤーと同等のレベルでプレイすることができるようになっています。Neurocardは、学習によってより良いプレイを行うようになり、その結果、Hearthstoneでの勝率が向上することが示されています。

この論文は、トレーディングカードゲームのAIの開発に関心がある人々にとって興味深いものとなっています。また、Neurocardのようなニューラルネットワークが、より一般的なゲームAIの開発にも役立つ可能性があることが示唆されています。

• "Deep Learning for Hearthstone Card Recommendation" (2021) by Yaqian Zhang, Yunpeng Liu, Qian Zhao, Jiaxing Qian, and Jinpeng Huai

「Deep Learning for Hearthstone Card Recommendation」という論文は、Yaqian Zhang、Yunpeng Liu、Qian Zhao、Jiaxing Qian、そしてJinpeng Huaiによって2021年に発表されたものです。この論文では、Hearthstoneというトレーディングカードゲームにおいて、どのカードを選ぶべきかを推薦するための深層学習モデルについて説明されています。

論文によると、このモデルは、各カードの特徴をベクトル化し、それを入力として受け取ります。その後、深層ニューラルネットワークを使用して、プレイヤーの好みに基づいてカードを推薦するように学習します。このモデルは、プレイヤーの勝率を向上させるために役立つことが期待されています。

論文では、このモデルの性能を評価するために、実際にHearthstoneでプレイヤーをシミュレートし、その推奨カードが勝率にどのような影響を与えるかを調べました。結果として、このモデルが勝率を向上させることができることが示されています。

この論文は、トレーディングカードゲームのAIの開発に関心がある人々にとって興味深いものとなっています。また、このモデルのような深層学習モデルが、他のゲームや、推薦システムなどの応用にも役立つ可能性があることが示唆されています。

• "HearthstoneAI: A Reinforcement Learning Agent with Action Dropout" (2020) by Shuo Chen, Chen Ma, Tianyi Wang, and Tuo Zhao

「HearthstoneAI: A Reinforcement Learning Agent with Action Dropout」という論文は、Shuo Chen、Chen Ma、Tianyi Wang、そしてTuo Zhaoによって2020年に発表されたものです。この論文では、Hearthstoneというトレーディングカードゲームをプレイするための強化学習エージェントについて説明されています。

論文によると、このエージェントは、行動ドロップアウトと呼ばれるテクニックを使用して、様々な行動を探索し、最適な戦略を学習します。また、状態の表現を改善するために、カードの特徴量に加えて、相手の行動に対する反応などの情報も使用しています。

さらに、このエージェントは、人間のプレイヤーと同じように、局所的な情報だけでなく、より広範な情報を考慮することができるようになっています。これにより、より戦略的なプレイが可能になり、勝率が向上することが期待されます。

論文では、このエージェントが、他の強化学習モデルや人間のプレイヤーと比較して、優れたパフォーマンスを発揮することが示されています。

この論文は、トレーディングカードゲームのAIの開発に関心がある人々にとって興味深いものとなっています。また、このような強化学習モデルが、他のゲームや、自律走行車などの応用にも役立つ可能性があることが示唆されています。

• "Hearthstone Battlegrounds: A Multi-Task Reinforcement Learning Environment" (2021) by Ignacio Gallo, Ziyang Han, Arnav Jain, Ojas Jokhakar, and Haoyu Xu

「Hearthstone Battlegrounds: A Multi-Task Reinforcement Learning Environment」という論文は、Ignacio Gallo、Ziyang Han、Arnav Jain、Ojas Jokhakar、Haoyu Xuによって2021年に発表されたものです。この論文では、Hearthstone Battlegroundsと呼ばれるモードを対象にした強化学習環境について説明されています。

Hearthstone Battlegroundsは、Hearthstoneというトレーディングカードゲームのモードの1つで、8人のプレイヤーが対戦するバトルロイヤル形式のゲームです。この論文では、このゲームを対象に、複数のタスクを統合した強化学習環境が開発されたことが示されています。

具体的には、以下の3つのタスクが含まれています。

ミニマップ解析タスク - プレイヤーの配置やボード上の状況を認識するためのタスク カード推奨タスク - ゲーム中に適切なカードを選択するためのタスク ゲームプレイタスク - 実際のゲームプレイを行うためのタスク これらのタスクは、個別に学習された強化学習エージェントを組み合わせて、複数のエージェントから構成されるマルチエージェントシステムを構築することで統合されます。

論文では、この強化学習環境が、より高い勝率とより高いカード評価値を達成することができることが示されています。また、この環境が、複数のタスクを解決するためのフレームワークとして、他のゲームや実世界の問題にも応用可能であることが示唆されています。

この論文は、強化学習を用いた複雑な環境の解決に関心がある人々にとって興味深いものとなっています。また、複数のタスクを統合して効率的に学習する方法についての示唆を与えるものでもあります。

• "HearthSim: A Benchmarking Framework for Evaluating Reinforcement Learning Agents in Hearthstone" (2021) by Arjun Chandrasekaran, Alan Fern, and Sriraam Natarajan

「HearthSim: A Benchmarking Framework for Evaluating Reinforcement Learning Agents in Hearthstone」という論文は、Arjun Chandrasekaran、Alan Fern、Sriraam Natarajanによって2021年に発表されたものです。この論文では、Hearthstoneというトレーディングカードゲームにおける強化学習エージェントの性能評価のためのベンチマークフレームワークについて説明されています。

HearthSimは、Hearthstoneのゲームシミュレータを用いて、強化学習エージェントの性能を評価するためのフレームワークです。具体的には、以下の3つの評価基準が用いられます。

勝率: エージェントが勝利したゲームの割合 安定性: エージェントがゲームを安定してプレイできるかどうか 多様性: エージェントが多様な戦略を使用できるかどうか HearthSimは、複数の既存の強化学習手法を用いて、このフレームワークを評価しています。その結果、状態空間を縮小することや、状態のエンコーディング方法を工夫することなど、いくつかの改善点が明らかにされました。

この論文は、Hearthstoneのような複雑なゲームにおける強化学習エージェントの評価方法に関心がある人々にとって興味深いものとなっています。また、強化学習アルゴリズムの改善や、状態表現の工夫など、今後の研究の方向性について示唆を与えるものでもあります。

• "A Comprehensive Framework for Multi-Agent Reinforcement Learning in Hearthstone" (2021) by Anurag Kumar, Pallavi Baljekar, and Bharath Sriperumbudur

「A Comprehensive Framework for Multi-Agent Reinforcement Learning in Hearthstone」という論文は、Anurag Kumar、Pallavi Baljekar、Bharath Sriperumbudurによって2021年に発表されたものです。この論文では、Hearthstoneのようなマルチエージェント環境での強化学習について、包括的なフレームワークを提案しています。

提案されたフレームワークでは、複数のエージェントが相互作用し、ゲームの進行に影響を与える状況を扱います。このような環境では、単一のエージェントを訓練するだけではなく、相手の行動を考慮して行動する必要があります。このため、フレームワークでは、マルチエージェント強化学習アルゴリズムを採用し、複数のエージェントを同時に学習させることができます。

また、フレームワークでは、エージェントの行動選択における探索と利用のバランスをとるために、ε-greedy戦略とUCB1アルゴリズムを組み合わせた方法が提案されています。さらに、モンテカルロ木探索といったアルゴリズムを用いて、エージェントの行動選択を改善する方法も提案されています。

この論文は、マルチエージェント環境における強化学習の応用に関心がある人々にとって、参考になるものとなっています。また、エージェントの行動選択や探索と利用のバランスをとる方法など、実践的な知見が示唆されており、今後の研究の方向性についても示唆を与えるものとなっています。