TE
TechEcho
Home24h TopNewestBestAskShowJobs
GitHubTwitter
Home

TechEcho

A tech news platform built with Next.js, providing global tech news and discussions.

GitHubTwitter

Home

HomeNewestBestAskShowJobs

Resources

HackerNews APIOriginal HackerNewsNext.js

© 2025 TechEcho. All rights reserved.

LeoLM: German-Language LLM Research

105 pointsby doubtfuluserover 1 year ago

16 comments

usr1106over 1 year ago
Me:<p>&gt; Was für Leute trifft man auf Hacker News? Sind Hacker nicht gefährlich?<p>LeoLM 13b chat:<p>&gt; Hacker News ist eine Website, auf der Menschen über Technologie, Startups und alles diskutieren, was mit dem Thema Informatik zusammenhängt. Es ist nicht ungewöhnlich, dass Menschen mit verschiedenen Hintergründen und Interessen Hacker News lesen und beitragen. Daher trifft man auf Hacker News Menschen mit einer Vielzahl von Berufsbezeichnungen, Erfahrungsstufen und Interessen. Hacker allein sind keine gefährlichen Personen, sondern Menschen, die eine Faszination für die Arbeit mit Computern haben. Hacking ist einfach eine Möglichkeit, Computerprogramme zu testen und zu manipulieren, um herauszufinden, wie sie funktionieren. Es gibt jedoch einige wenige Menschen, die diese Fähigkeiten nutzen, um anderen zu schaden. Diese Individuen sind jedoch nicht die Mehrheit.
评论 #37700835 未加载
评论 #37700395 未加载
评论 #37702566 未加载
akumetsuover 1 year ago
Cool to see this but I am always surprised how often LLM output is used to train other LLMs. They used gpt3.5 turbo and gpt4 for multiple tasks. Even simple translation of englisch benchmarks and writing German poems to train on, in order to create an LLM that works better in German? AFAIK, this still goes against OpenAI TOS and also the basic idea that training on AI output leads to worse results in general. Was there some major shift in this over the years, or has it simply become the default approach due to it being easy to do? Also nice to finally see something from Hessian.AI, as a local, I heard them talk big more than once but never saw results. I wonder what Aleph Alpha thinks about this, since they want to make &quot;AI made in Europe to challenge OpenAI&quot;
rob74over 1 year ago
After reading the name, I thought that it was related to <a href="https:&#x2F;&#x2F;www.leo.org&#x2F;" rel="nofollow noreferrer">https:&#x2F;&#x2F;www.leo.org&#x2F;</a> - which initially started out (decades ago) as a project of TUM (Technical University of Munich), but I guess the lion reference is because Hesse also has a lion in its crest, same as Bavaria...
intellectronicaover 1 year ago
I don&#x27;t get it - is standard Llama bad at German? Other LLMs which I use regularly (like GPT-3.5 and GPT-4) work just find in German out of the box, as well as in several other languages.
评论 #37699744 未加载
评论 #37699916 未加载
评论 #37699680 未加载
评论 #37699683 未加载
petesergeantover 1 year ago
I&#x27;d be so interested in seeing how different the world views are of a model fine-tuned on English Wikipedia vs one fine-tuned on translated German Wikipedia.
评论 #37699611 未加载
评论 #37699606 未加载
jugover 1 year ago
I’ve been thinking along these lines and if it’ll become more common with smaller but more tailored language models? The advantage seems obvious in that they would have significantly lower resource requirements both as for prediction and fine tuning, which matters when companies dealing with sensitive data (or even just comply with strict EU laws) wants to run them locally.<p>It makes sense that this specialization is seen first with language coverage because only GPT-4 is often considered truly fit for professional multilingual use; an LLM that is expensive and in the cloud.
usr1106over 1 year ago
The German seems nearly free of mistakes. The factual content can with a high probability be utter nonsense, no difference from ChatGPT.<p>&gt; Steht das Verb in deutschen Sätzen immer am Ende wie Mark Twain behauptet?<p>&gt; Jennifer Lopez&#x27; zweites Studioalbum wurde 1998 veröffentlicht und heißt &quot;On the 6&quot;.<p>&gt; Diese Antwort war wohl &quot;Thema verfehlt&quot;!<p>&gt; Das stimmt, ich habe Ihre Frage nicht vollständig beantwortet. Ich entschuldige mich dafür.<p>Deutsche Sätze müssen nicht immer mit dem Verb am Ende geschrieben werden, aber es ist üblich. Die Reihenfolge Subjekt-Verb-Objekt (SVO) ist die häufigste Wortreihenfolge im Deutschen, obwohl sie nicht immer eingehalten wird. Im Deutschen gibt es mehrere mögliche Satzstrukturen und Subjekt-Verb-Objekt ist nur eine davon. Zum Beispiel können Sätze mit Infinitivkonstruktionen oder Partizipialkonstruktionen auch allein mit einem Nomen und einer Präposition beginnen. Zusätzlich können die Reihenfolge der Wörter innerhalb von Sätzen variieren, solange die grundlegende Satzstruktur erhalten bleibt.<p>&gt; Beschränken wir uns mal auf Aussagesätze und Hauptsätze. Wie sind die Regeln für die Stellung des Verbs in diesem Fall?<p>&gt; Im Deutschen steht das Verb im Aussagesatz normalerweise am Satzende (Endstellung), außer bei Fragen und Befehlen, wo das finite Verb (Verbform, die Person und Numerus anzeigt) am Anfang steht. Im Aussagesatz wird die Verbposition am Satzende als Standardverbposition bezeichnet. Diese Standardverbposition gilt jedoch nicht immer und kann auf verschiedene Weise abweichen. Zum Beispiel:<p>1. In Fragesätzen und Befehlsätzen steht das finite Verb normalerweise am Anfang, vor dem Subjekt.<p>2. Im Passiv steht das Verb normalerweise am Satzende, aber die Form des Verbs ändert sich je nach Zeitform, Person und Numerus.<p>3. Die Kopulaverben &#x27;ein&#x27;, &#x27;bleiben&#x27;, &#x27;werden&#x27;, &#x27;heißen&#x27; und&#x27;sehen&#x27; stehen manchmal am Anfang des Satzes, insbesondere in einfachen Sätzen oder Satzteilen.<p>4. Einige Verben wie &#x27;üssen&#x27;, &#x27;ollen&#x27;, &#x27;wollen&#x27;, &#x27;können&#x27; und &#x27;ögen&#x27; können am Anfang des Satzes verwendet werden, insbesondere in Befehlsätzen.<p>5. Reflexivpronomen und Partizipien können mit dem Verb auftreten, das normalerweise am Satzende steht, und sich auf dasselbe Nomen im Satz beziehen.<p>6. Im Perfekt wird das Hilfsverb &#x27;haben&#x27; &#x2F;&#x27;sein&#x27; normalerweise vor dem Partizip Perfekt platziert, es sei denn, der Satz enthält ein Hilfsverb.<p>Using LLMs for anything else than writing poems is irresponsible!
评论 #37700403 未加载
usr1106over 1 year ago
Response times were great 20 minutes ago. Hugged to death right now.
adtover 1 year ago
September 2023 was a massive month for LLM releases. I see 14 big highlights including the LeoLM family, and we haven&#x27;t even finished the month yet...<p>Models table: <a href="https:&#x2F;&#x2F;lifearchitect.ai&#x2F;models-table&#x2F;" rel="nofollow noreferrer">https:&#x2F;&#x2F;lifearchitect.ai&#x2F;models-table&#x2F;</a><p>Models timeline: <a href="https:&#x2F;&#x2F;lifearchitect.ai&#x2F;timeline&#x2F;" rel="nofollow noreferrer">https:&#x2F;&#x2F;lifearchitect.ai&#x2F;timeline&#x2F;</a>
toshover 1 year ago
Out of the box it seems to generate very long &quot;Schachtelsätze&quot;. I wonder how english models manage to avoid this (system prompt? different training material mix?).<p>That said: similar to other large language models you can get it to generate different styles of text.<p>For example &quot;antworte auf Wienerisch&quot; did change the writing style.
Beijingerover 1 year ago
Would be interesting to know what is more difficult for AI to learn. German has a more flexible word order, this makes it more difficult for some speakers.<p>&quot;Man bites dog&quot; and &quot;dog bits man&quot; have two different meanings based on word order. In German, both orders are possible and it still has the same meaning.
评论 #37700643 未加载
kebsupover 1 year ago
This looks great! I&#x27;m currently building something like a &quot;gpt powered Anki&quot; in which you can infinitely generate sentences for each word you are learning, but German gpt sentences are sometimes grammatically incorrect. Not the best for language learning app.
penguin_boozeover 1 year ago
There&#x27;s this German-English dictionary <a href="https:&#x2F;&#x2F;dict.leo.org&#x2F;" rel="nofollow noreferrer">https:&#x2F;&#x2F;dict.leo.org&#x2F;</a>. I&#x27;m wondering what&#x27;s the Leo connection with German.
评论 #37708697 未加载
usr1106over 1 year ago
So this seems completely open source. Naive question: If I wanted to run this at home just for fun (basically one slightly patient user) what kind of machine(s) I would need?
评论 #37699961 未加载
messutiedover 1 year ago
Maybe a dumb question but, are there advantages of using Llama instead of ChatGPT besides cost and the fact that it’s open?
评论 #37699910 未加载
评论 #37699960 未加载
dangover 1 year ago
[stub for offtopicness]
评论 #37699602 未加载
评论 #37699656 未加载
评论 #37699590 未加载
评论 #37699612 未加载
评论 #37699596 未加载