School’s in for summer: Students talk Deep Learning & Reinforcement Learning Summer School 2018

Amii and CIFAR are thrilled to host the Deep Learning & Reinforcement Learning Summer School in Edmonton this July 24 – August 2.

The Summer School brings together graduate students, post-doctoral fellows and industry professionals to explore the latest AI techniques and advancements, build their research networks and open new opportunities for collaboration. Participants learn directly from world-renowned AI researchers including Richard Sutton, Yoshua Bengio and Martha White. Other programming includes an AI Career Fair and social events around town.

To give this year’s attendees an idea of what to expect for this year’s Summer School, we asked three of last year’s attendees to tell us about their experiences and what they found valuable. Check out what they had to say below:

Why did you decide to apply for the 2018 Deep Learning & Reinforcement Learning Summer School?

Katya: The [Summer School] is an incredible opportunity to meet distinguished researchers in the field face-to-face, get the latest cutting-edge research and, no less important, to connect and meet fellow students, find out what they are working on and discuss potential collaborative projects. This past year we had people from the University of Toronto, Université de Montréal, McGill, University of Alberta, CMU, MIT, Stanford, Google, Duke.

Matthew: When the application went up, I was actually informed by several of my lab mates that the Summer School was something that would be extremely valuable in my future research. There was also quite a big push to apply in the RLAI [editor’s note: Reinforcement Learning & Artificial Intelligence] Lab here at University of Alberta. I joined in and was even more excited once I saw the list of speakers.

Raksha: I was aware of various summer schools, but I’d never gotten a chance to attend one. So in late winter of 2018, when I heard about the [Summer School] happening in Toronto, it seemed like the perfect opportunity. The list of speakers for the school were distinguished researchers in the area, plus the RL school component, the positive reviews from peers who had been to the 2017 version, and encouragement to attend by professors in the department, made it very exciting – and I decided to apply to it!

What did you enjoy most about the event?

Katya: People. The brain power and diversity of research backgrounds in the room were fascinating. It was also valuable that the timetable had plenty of time for networking, i.e. over lunch.

Matthew: I was struck by the amazing talent of all the participants and how many were from fields outside machine learning and reinforcement learning. Some of my favorite conversations were with physicists who were looking to apply deep learning or reinforcement learning to model the dynamics of particular physical systems. There was also a lot of opportunity to connect with people from around the world. Learning about the many avenues of research explored is awe-inspiring and a reminder that my own interests are a minuscule part of the picture.

Raksha: As the focus is both on deep learning and reinforcement learning, it was a great opportunity for me, a person who works in reinforcement learning, to get insight into state-of-the-art research in deep learning and hear different perspectives about reinforcement learning. Additionally, it was really nice to meet and interact with the extended peer/research community in a more school-like setting!

Did the Summer School affect your career and/or research trajectory? If so, how?

Katya: Terrific impact. During one of the breaks, we sat down with Rich Sutton and discussed a new project. As a result of that discussion, four months later, I am visiting the RLAI group at the University of Alberta and working with Rich on this project, which becomes an intersection of the NLP and RL. This is a great example where a conversation turned into a mind-blowing experience – and not because of the winter in Alberta (I am from Siberia!) – but by being in the “mecca of RL” and having an opportunity to learn from Rich and the group.

Matthew: I would say it emboldened my research trajectory. My interests are still the same — i.e using reinforcement learning to make predictions of the world through interactions — but I am more excited about this topic and how it relates to the wider AI community. The scope of my research has also widened. While before I was very narrow in what I thought was the way forward, I am now looking towards many communities I had not considered (or was even aware of!).

Raksha: [The] chance to discuss my research with some leading researchers, listen to their experiences and thoughts about what’s to come and where we are headed, meet and interact with peers who are pursuing interesting problems in their research, etc., has been very inspiring!

What was the most valuable thing you learned or experienced at the event?

Katya: Being able to connect with people and learn from them … [S]uch as having an opportunity to ask Graham Neubig hundreds of questions and get most practical answers, learning about RLAI Lab from the people in that group and connecting with people there, being deeply inspired by Martha White and Jamie Kiros.

Matthew: I found the most value in how my view on the field was expanded. The exposure of ideas and topics that I hadn’t yet seen sparked many ideas that I want to explore in my future research. It gave me perspective on the massive amount of work that is still left, but with that the many interesting topics still unexplored.

Raksha: I have always heard about the general [Deep Learning/Reinforcement Learning] community being large and diverse, but this was my first hands-on experience of it. It was invaluable to meet and interact with peers from various countries! The Summer School was filled with energy from day one — and we got a sneak-peak into the breadth of research in the community, in a classroom-like setting, which was really valuable!

Visit dlrlsummerschool.ca for more information.

L’École d’été est de retour : des étudiants se rappellent leur stage à l’École d’été sur l’apprentissage profond et l’apprentissage par renforcement 2018

L’Amii et le CIFAR sont heureux d’accueillir l’École d’été sur l’apprentissage profond et l’apprentissage par renforcement à Edmonton du 24 juillet au 2 août 2019.

L’École d’été permet à des étudiants diplômés, à des boursiers postdoctoraux et à des professionnels de l’industrie d’explorer les plus récentes technologies et avancées de l’IA, de développer leurs réseaux de recherche et de multiplier les occasions de collaboration. Les participants apprennent de chercheurs en IA de renommée mondiale, dont Richard Sutton, Yoshua Bengio et Martha White. Le programme comprend aussi un salon de l’emploi en IA et des activités sociales en ville.

À quoi doivent s’attendre les participants de l’École d’été 2019 ? Pour leur donner un aperçu, nous avons demandé à trois stagiaires de l’année dernière de nous parler de leur expérience et de ce qu’ils en ont retiré. Voici ce qu’ils avaient à dire.

Pourquoi as-tu participé à l’École d’été sur l’apprentissage profond et l’apprentissage par renforcement 2018 ?

Katya : [L’École d’été] est une occasion incroyable de rencontrer en personne d’éminents chercheurs dans le domaine, de connaître les plus récentes recherches de pointe et, tout aussi important, de rencontrer d’autres étudiants, de savoir sur quoi ils travaillent et de discuter de projets de collaboration éventuels. L’année dernière, il y avait des gens de l’Université de Toronto, de l’Université de Montréal, de l’Université McGill, de l’Université de l’Alberta, de l’Université Carnegie Mellon, du MIT, de l’Université de Stanford, de Google et de l’Université Duke.

Matthew : Au début de la période d’inscription, plusieurs de mes partenaires de laboratoire m’ont dit que l’École d’été pouvait s’avérer extrêmement utile pour mes futures recherches. Il y avait aussi beaucoup de pression pour s’inscrire au Laboratoire sur l’apprentissage par renforcement et l’intelligence artificielle (RLAI) de l’Université de l’Alberta. Je me suis inscrit et j’étais encore plus excité lorsque j’ai vu la liste des conférenciers.

Raksha : Je connaissais différentes écoles d’été, mais je n’avais jamais eu la chance d’en fréquenter une. À la fin de l’hiver 2018, quand j’ai entendu dire que l’École d’été aurait lieu à Toronto, j’ai pris cela comme un signe du ciel. Les conférenciers au programme étaient tous des chercheurs renommés dans le domaine. De plus, la composante en apprentissage par renforcement, les commentaires positifs de ceux qui avaient participé à l’édition 2017 et les encouragements des professeurs du département pour qu’on y participe rendaient cela vraiment intéressant. J’ai donc décidé de poser ma candidature !

Qu’as-tu aimé le plus ?

Katya : Les gens. Le calibre intellectuel et la diversité des recherches des participants étaient fascinants. J’ai aussi bien aimé que l’horaire laisse beaucoup de temps au réseautage, notamment durant le dîner.

Matthew : J’ai été frappé par les aptitudes incroyables des participants et par le nombre de personnes issues d’autres domaines que l’apprentissage automatique et l’apprentissage par renforcement. J’ai eu certaines de mes meilleures conversations avec des physiciens qui souhaitaient appliquer l’apprentissage profond ou l’apprentissage par renforcement à la modélisation de systèmes physiques particuliers. L’École nous a aussi fourni de nombreuses occasions d’établir des relations avec des gens du monde entier. En apprendre plus sur les nombreuses avenues de recherche explorées est une grande source d’inspiration et un rappel que nos propres intérêts ne sont qu’une infime partie du tableau.

Raksha : Comme l’École met l’accent à la fois sur l’apprentissage profond et l’apprentissage par renforcement, j’ai trouvé que c’était une excellente occasion pour moi, qui travaille en apprentissage par renforcement, d’avoir un aperçu de l’état actuel de la recherche en apprentissage profond et de découvrir d’autres perspectives de l’apprentissage par renforcement. De plus, c’était vraiment agréable de rencontrer des pairs et des chercheurs, et d’interagir avec cette communauté élargie dans un cadre plus scolaire !

L’École d’été a-t-elle eu des répercussions sur ta carrière ou ta trajectoire de recherche ? Si oui, comment ?

Katya : Des répercussions incroyables ! Pendant une des pauses, nous discutions avec Rich Sutton d’un nouveau projet. Quatre mois après cette discussion, je visitais le  Laboratoire RLAI à l’Université de l’Alberta et travaillais avec Rich sur ce projet, au croisement du traitement automatique des langues et de l’apprentissage par renforcement. C’est un bon exemple d’une conversation qui se transforme en expérience marquante – pas seulement en raison de l’hiver albertain (je viens de Sibérie !) –, mais parce que je me suis retrouvée dans la mecque de l’apprentissage par renforcement et que j’ai eu la chance d’apprendre de Rich et du groupe.

Matthew : Je dirais que cela a consolidé ma trajectoire de recherche. Mes intérêts sont toujours les mêmes – l’utilisation de l’apprentissage par renforcement pour faire des prédictions sur le monde au moyen d’interactions –, mais ce sujet et ses relations avec l’univers de l’IA dans son ensemble m’allument davantage. Le champ de mes recherches s’est également élargi. Alors qu’auparavant, je pensais que je devais suivre une voie étroite pour aller de l’avant, je me tourne maintenant vers de nombreuses communautés que je n’avais pas envisagées (ou que je ne connaissais même pas !).

Raksha : [La] chance de discuter de mes recherches avec les plus grands chercheurs, de les écouter parler de leurs expériences et de leurs idées à propos de ce qui s’en vient et de l’endroit où nous nous dirigeons, de rencontrer des gens et d’interagir avec des pairs qui rencontrent des problèmes intéressants dans le cadre de leurs recherches… Tout cela a été très inspirant !

Quelle est la chose la plus utile que tu as apprise ou expérimentée ?

Katya : Être capable d’entrer en relation avec les gens et d’apprendre d’eux… comme avoir la chance de poser des centaines de questions à Graham Neubig et d’obtenir les réponses les plus pratiques, en apprendre plus sur le laboratoire RLAI des membres mêmes du groupe et interagir avec eux, être profondément inspirée par Martha White et Jamie Kiros.

Matthew : Ce que j’ai trouvé de plus bénéfique, c’est que ma vision du domaine s’est élargie. En étant exposé à des concepts et à des sujets que je ne connaissais pas, j’ai eu accès à de nombreuses idées que je veux explorer dans mes futures recherches. Cela m’a donné un aperçu de l’énorme quantité de travail qu’il reste à faire, mais aussi des nombreux sujets intéressants encore inexplorés.

Raksha : J’ai toujours entendu dire que la communauté [de l’apprentissage profond et de l’apprentissage par renforcement] était vaste et diversifiée, mais c’était la première fois que j’en faisais vraiment l’expérience. Les rencontres et les interactions avec des pairs de divers pays étaient inestimables ! L’École d’été a débordé d’énergie dès le premier jour, et nous avons eu un aperçu de l’étendue des recherches dans la communauté dans un cadre scolaire, ce qui a été extrêmement intéressant !

Pour plus d’info, visitez dlrlsummerschool.ca.