吴恩达表示「AI 的下一个发展方向，从大数据转向小数据」，你同意他的观点吗？ - StarSpaceNLP/Rasa-courses GitHub Wiki

作者：段智华 链接：https://www.zhihu.com/question/517440629/answer/2366114293 来源：知乎 著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

“一种架构，统治一切”( 来自Gavin的Transformer硅谷杂谈系列) 第二季：透彻理解Shannon's Entropy Theory 发布Entropy是NLP领域进行信息衡量和模型优化最核心的概念，掌握Entropy底层内核能够极大的提升对自然语言处理本质的理解并带来深度的技术洞察力。本系列视频从示例入手来一步步完整再现Shannon's Entropy的整个实现过程及应用。内容包括：Entropy： amount of informationStorage and transmission of informationShannon’s entropyConcept of "Amount" of InformationQuantifying the Amount of InformationExample of Information QuantityThe Entropy FormulaMathematical Approximation of Required Storage