Estrutura gerada pelo create-react-app

Após executar o comando create-react-app, será criado uma estrutura de arquivos e diretórios da seguinte forma:

node_modules contém todas as bibliotecas externas do JavaScript usados no projeto
public contém arquivos base de HTML, JSON e imagens que representam as raízes do projeto
src armazena o código fonte do projeto
.gitignore serve para especificar os arquivos e diretórios do projeto que deve ser ignorados pela ferramenta de versionamento de código Git, ou seja, são aqueles que não serão enviados para o repositório remoto
package-lock.json é usado pelo NPM para garantir que a mesma versão dos pacotes utilizados sejam exatamente as mesma para qualquer um que baixar o projeto
package.json contém informações do projeto (como nome e versão), dependências de produção e de desenvolvimento, scripts de atalho de comandos, configurações de bibliotecas, etc.
README é um arquivo markdown que contém muitas informações úteis sobre o Create React App, tal como um resumo de comandos e links para configurações avançadas.

O index.js é o primeiro arquivo a ser executado quando ao iniciar a aplicação. Nele é escrito código JSX que basicamente é a união de código JavaScript com XML (HTML) no qual é possível inserir uma estrutura similar ao HTML, porém com algumas peculiaridades como a possibilidade de criar "tags" além das tags HTML (ideia de componentes).
App.js geralmente é o primeiro lugar onde se define o Componente principal, frequentemente chamado de App. Esse componente pode servir como um contêiner para outros componentes e é a raiz da hierarquia de componentes do aplicativo.

Referências