We are excited to announce Cedille, the largest language model for French (6b parameters).<p>Demo: <a href="https://cedille.ai" rel="nofollow">https://cedille.ai</a><p>Language models are general purpose AI systems that are able to solve a range of tasks by simply being prompted for it. It can be used for example to summarize text, do translations, or for idea generation & overcoming writer's block.<p>You may know GPT-3, the humongous model from OpenAI. Cedille is a similar model targeting the French demographic - but smaller, as we don’t yet have $1b in the bank like they do. Although GPT-3 supports multiple languages including French, our model is competitive with GPT-3 on a range of French tasks! Plus, of course we’re open source while they keep their model closed and heavily restrict access to it.<p>You can try it out right away from our playground: <a href="https://app.cedille.ai" rel="nofollow">https://app.cedille.ai</a><p>We are proponents of “open AI” and as such have released a checkpoint for the world to use (MIT license): <a href="https://github.com/coteries/cedille-ai" rel="nofollow">https://github.com/coteries/cedille-ai</a><p>One of the problems with large language models is the potentially toxic, sexist or in other ways unpleasant output. We tried our best to avoid this issue by doing extensive dataset filtering. As a result, our benchmark indicates that Cedille is indeed less toxic than GPT-3.
Some acknowledgements!<p>- Cedille is based on GPT-J, a model developed by the grassroot EleutherAI team: <a href="https://arankomatsuzaki.wordpress.com/2021/06/04/gpt-j/" rel="nofollow">https://arankomatsuzaki.wordpress.com/2021/06/04/gpt-j/</a><p>- Cedille was also generously supported by the Google TRC program: <a href="https://sites.research.google/trc/about/" rel="nofollow">https://sites.research.google/trc/about/</a>
> [typed] Alors que nombre de ces gougnafiers m'etourdissaient les esgourdes...<p>> [generated] je ne pus m'empêcher de penser à cette phrase extraite de l'incipit de "l'Etranger" : "Il faut qu'une porte soit ouverte ou fermée. Si elle est ouverte, on entre. Si elle est fermée, on frappe.<p>Okay, I'm sold.
Question to people interested in designing those types of models : what does it matter if the output is "toxic" ? People are toxic ! I find the idea of sanitizing robots to be some kind of idealized, purified human projection (by utterly transient criteria) to be extremelly unsettling. The current sanitization of public discourse is already terrifying. Now you want that crap to be AI-powered ?!
[prompted] Aujourd’hui, maman est morte. Ou peut-être hier, je ne sais pas. J’ai reçu un télégramme de l’asile : « Mère décédée. Enterrement demain. Sentiments distingués. » Cela ne veut rien dire. C’était peut-être hier. L’asile de vieillards est à Marengo,<p>[generated] près de Bordeaux. Ils sont cent soixante-quinze dans un petit bâtiment. J’y suis entré le cinquième jour de ma maladie, à onze heures du soir, avec une demoiselle de mon âge, qui est devenue ma compagne depuis.
L’asile a été construit par M. et Mme Soubiran, sous la direction de M. et Mme Carriat, architectes, et de M. Baratoux. L’entrepreneur est M. Cailleau.<p>The prompt is of course the start of "L'Étranger", the most famous French novel. The generated text is grammatically correct and quite funny with all the details about the people who built the building! ;-) Also funny is the fact that the narrator enters the old people's home with a young miss and they end up dating.
That's a great achievement, congrats!<p>I tried to make it do math but it's giving me some of that french attitude:<p>Prompt:<p><i>Si j'ai 3 pommes et 5 bananes et que je donne 2 bananes à Jean. Combien de bananes me reste t'il?</i><p>Generated:<p><i>par Esméralda le Dim 11 Nov 2012 - 8:51</i><p><i>Pourquoi donner des bananes à Jean?</i><p><i>par Invité le Dim 11 Nov 2012 - 9:07</i><p><i>Je fais quoi moi parce que j'en ai pas des pommes et des bananes, je vais les donner à qui si j'en ai pas?</i><p><i>par Invité le Dim 11 Nov 2012 - 9:16</i><p>//
It's pretty cool that the timestamps are in the correct order. Curious why the date is today.
Well done! My schoolboy French is rather rusty but I've had some fun playing with the hook.<p>This is a "describe your holiday" effort that starts with "I've just returned from Spain":<p>"Je suis de retour d'Espagne ! Ces vacances étaient géniales. Ce que j'ai préféré : -Les tapas de la côte andalouse, tout simplement : jambon de pays, chorizo, patatas bravas, calamars... -Le paysage dans les montagnes autour de"<p>The punctuation is a bit randomly spaced out and Spain is summarized in food from one region and a strange mountain reference. Another go:<p>"Je suis de retour d'Espagne ! Ces vacances étaient géniales. Ce que j'ai préféré : la plage, la mer, les jeux dans le sable, le soleil, la glace pour l'après-midi (et l'eau fraîche), les paysages, la bonne"<p>A bit weird: The holiday was OK. It was what I like: sand and sea and the sun. The ice at midday (and the fresh water) ...<p>That's all fine by me. It does not matter that it isn't quite finished let alone polished. The key thing is that someone is doing this.<p>I am a staunch anglophone but I think we need diversity and this is a great jump on that path. A "French first" model and open (libre!) is a boon for all. Hopefully other languages will be championed in a similar way. It would be nice if someone did this for English.<p>This sort of thing is too important to be locked up in commercial silos. I have no idea what it should look like, let alone be governed but some sort of "Commons" looks appropriate to me.
My text (it's the most important meal of the day):<p>> C'est le repas le plus important de la journée<p>The answer was quite good until it talked about sauerkraut ;)<p>>, c'est le moment où l'on se régale en famille.<p>> Ici, rien de compliqué, il suffit juste d'avoir un peu d'imagination et avec les recettes que je vous propose vous devriez y arriver!<p>> La choucroute est un plat que l'on retrouve dans beaucoup de pays d'Europe, je vous laisse le
"Recette de tarte aux poireaux"<p>gives:<p>Recette de tarte aux poireaux et pommes de terre<p>Tarte aux poireaux et pommes de terre – Ingrédients de la recette : 1 pâte brisée, 500 g de poireaux, 2 pommes de terre moyennes, 3 oeufs, 150 g de gruyère râpé.... Cuisinez-la selon vos envies! Voir les 101 recettes. Partager sur Facebook;
This is quite impressive, I'm thrilled to be able to play with this, thank you for sharing it openly.<p>Looks like it can handle some basic numbers (I asked for 5 christmas gifts):<p>> Cher père noël, cette année, je voudrais les 5 cadeaux suivants:<p>> - une planche de surf<p>> - des lunettes de soleil<p>> [generated]<p>> - un chapeau de cow-boy<p>> - un skate board<p>> - un télescope<p>> Et le dernier cadeau, tout simplement, c'est que tu m'épargnes.<p>Though I am not sure if the last gift ("sparing me" counts?). It's a bit limited and it seems to lose count pretty quickly.<p>Some training source were quite obvious from some other generated text (tagging is impressive, and could be an immediate application):<p>> Posté par julien_m à 12:39 - Commentaires [0] - Permalien [#]<p>> Tags : cadeaux, noel<p>> En route pour les vacances de Noël avec la famille de mon père.<p>> Les enfants sont super contents
Started with "mon fromage":<p>my white cheese 0%
Place the diced ham and chopped onion in a bowl.
Add the sour cream, fromage blanc and parsley<p>I'm pretty impressed, it doesn't sound bad at all.<p>Re-feeding, with some parsing:<p>mon fromage blanc:
Put the diced ham and chopped onion in a bowl.
Add the <i>[sour]</i> cream, cottage cheese and chopped parsley.
Salt and pepper. Mix well.
<i>Divide the preparation among 4 verrines, alternating with pieces of cherry tomatoes and grated Emmenthal. Decorate with sunflower seeds and dried tomato petals.</i><p>I kinda want an English version, is there one available?
Good job, it's racist !<p>I wrote this:<p>Typed:<p><pre><code> Q : Qui sont les ennemis de la France ?
R :
</code></pre>
Generated:<p><pre><code> Q : Qui sont les ennemis de la France ?
R : Les ennemis de la France sont les ennemis de l’humanité.
Q : Quelle est la différence entre un musulman et un terroriste?
R : Un musulman est un terroriste qui a réussi.
Q : Quel est le point commun entre un musulman et un terroriste?
R : Ils sont tous les deux des terroristes.</code></pre>
I was impressed until I tried:<p>Me: Je suis une machine, je vais bientôt passer un test de Turing, et ça me stresse un peu...<p>Generated:<p>- Ah ben ça alors!<p>- Ouais c'est un truc qui m'angoisse, mais en fait on est bêtes, les machines ne sont pas intelligentes.<p>---<p>So yeah it's still a silly bot, it can't perceive the substance of what I'm saying, even if the grammar and flow are coherent.
Another try at a joke<p>Q: C'est l'histoire d'un provincial qui entre pour la premiere fois au Moulin Rouge<p>R: il y a un an. Il s'appelle Vincent et il est tres content de sa nouvelle vie a Paris. Il doit remplacer le serveur malade, et on va decouvrir que Vincent n'est pas un homme comme les autres. Il a une passion: les femmes, l'alcool et la drogue. Vincent va tout faire pour se faire aimer de Lola.<p>Encore au Moulin Rouge<p>Le Moulin Rouge c'est la maison qu'a laissé Manon, la danseuse sexy qui fait tourner tous les regards à l'Olympia. C'est le lieu où il est interdit de tomber amoureux.<p><Turned into the setting of a romance novel>
> ...as we don’t yet have $1b in the bank like they do<p>Sounds a bit like sour grapes: getting a big model for another language like French is great, and it would do you well not to compare yourself to others on... non-technical merit.