Claro! Primeiro, preciso da descrição ou do tema específico que você gostaria que o artigo abordasse. Poderia compartilhar essa informação para que eu possa ajudá-lo melhor?
Resumo: New Falcon 180B: O Novo Rei dos LLMs Open-Source e Seu Potencial no Serviço Público
O New Falcon 180B é um modelo de linguagem de código aberto que promete revolucionar a forma como processamos e interpretamos informações. Como servidor público há mais de 16 anos, tenho observado as inovações tecnológicas e seu impacto na administração pública. A implementação de modelos de linguagem como o Falcon 180B pode oferecer oportunidades significativas para melhorar a eficiência e a transparência nas instituições governamentais.
Este modelo não apenas possibilita uma interação mais intuitiva com dados, mas também facilita a automação de processos burocráticos. Imagine a aplicação dessa tecnologia em serviços ao cidadão, onde questões frequentes podem ser respondidas rapidamente, liberando os servidores para se concentrarem em tarefas estratégicas. A capacidade do Falcon 180B de aprender com interações pode ser um aliado poderoso na personalização do atendimento e na análise de dados, contribuindo para decisões mais informadas.
Entretanto, é fundamental considerar os desafios que acompanham essa inovação. A necessidade de capacitação dos servidores e a adequação das práticas administrativas são essenciais para a integração efetiva dessa tecnologia no dia a dia do serviço público. Além disso, a ética na utilização de IA e a proteção de dados pessoais devem ser priorizadas para garantir uma implementação responsável e benéfica à sociedade.
Convido todos a refletirem sobre como a adoção de ferramentas como o Falcon 180B pode ser uma conversa produtiva dentro do serviço público. Ao explorarmos essas possibilidades, podemos encontrar maneiras de não apenas modernizar a administração, mas também de oferecer um serviço de qualidade, promovendo uma maior proximidade entre o governo e os cidadãos. Que possamos ser agentes de mudança e inovação para um futuro mais eficaz e humanizado no setor público.
Aprenda tudo sobre automações do n8n, typebot, google workspace, IA, chatGPT entre outras ferramentas indispensáeis no momento atual para aumentar a sua produtividade e eficiência.
Vamos juntos dominar o espaço dos novos profissionais do futuro!!!
#Falcon #180B #OpenSource #LLM #King #Installation #Tutorial
💓Thank you so much for watching guys! I would highly appreciate it if you subscribe (turn on notifcation bell), like, and comment what else you want to see! Love y'all and have an amazing day fellas.☕ To help and Support me, Buy a Coffee or Donate to Support the Channel: https://ko-fi.com/worldofai – Thank you so much guys! Love yall
🧠 Follow me on Twitter: https://twitter.com/intheworldofai
🔥 Become a Patron (Prviate Discord): https://patreon.com/WorldofAi
It's doesn't really work better then chatgpt😅
It's not even letting me download it. It says I'm not on some list?
I've tested locally first CPU versions GGUF from Bloke. It's really big, with it the hardware limits are feeling.
On my GPU it's just crashing, I haven't yet checked what's the problem, so I removed GPU offload and turned only CPU run.
On my humble Intel Xeon 14 cores 28 threads it runs with speed 0.43 tokens per second max. It's not fast, but you can leave it to work and check occasionally.
The model itself (I use chat version) tends toward talking with itself right away from first "hi", it answers and starting to hallucinate predicting with writing in the answer next User question on the topic. If you ban eos token and raise the token sizes and limits – it can write a bedsheets of self-dialogue. This is the first thing right away, I haven't checked it for instruction writing yet. It's semi multilingual, kinda understands but not switch over to other alphabet and language, so in multi-languages it's worse than Llama 2, which can change language in small 13B (q8).
The main hurdle with it is huge requirements for RAM size, I used not really great quality model q4_K_medium which kinda on the limit of standard motherboard RAM, near 128Gb, I used it on Linux (Pika OS recommend, Ubuntu without Ubuntu crap) and there's some swap tech, virtual memory so it's kinda used mostly Ram available + system used reserves from SSD I presume, not sure how it would work in Windows where max ram is max, not tested.
Huge problem was to even download it, files are in parts and to join them into 100Gb I needed separate hdd.
I feel that I can run better quality q5 or even q6 versions, but downloading and joining would take whole day. Of course running q8 ver which is equal to original size for only GPU is impossible on my hardware (Llama 2 70B I was able to run in q8 version on CPU only).
hey bro. i heard you're looking for dat new llm model?? 🤫😏
i got it for the low, grade-A shit right here man, come check out the new blend on hugging face 😈😈😈
PromptFlow: Create LLM Apps In SECONDS with NO Code FOR FREE! (Installation Guide) – https://youtu.be/nveTxm9TS1Q
holy cow, it's amazing! It's being just as good as ChatGPT! much better than Bard, Yes guys, I tried, I must say, they didn't censor it! lol. It's like ChatGPT but without Locks & restrictions.
What's the point of Open-Source when the majority of it's users won't have the capability to run it.
Hardware Requirement – 320GB VRAM for the quantized version – 8 x A1000 40GB GPU's. Should call it Milennium Falcon, because the ability to run this is in a galaxy far far away.
😅 sistem requirements be like 5 A6000
Falcon us NIT OPEN SOURCE. It is OPEN ACCESS
System Requirement to run ???
I don't see it on the Huggingface LLM Leaderboard, except I do see it way wayy down the list…
Is this a new version or something?
How much vram do I need?
[MUST WATCH]:
DB-GPT: The All-In-One Model! Chat Privately With FIles Locally, Plugins, Auto Ai Agents, & More! – https://youtu.be/KYs4nTDzEhk?si=MQfmGe8MytkH52YL
How to Fine-Tune and Train LLMs With Your Own Data EASILY and FAST- GPT-LLM-Trainer – https://youtu.be/pRq2Fx4kYQI?si=DjDiqssL2Rl2WM6T
NEW Platypus 70B: The New Open-Source LLM King – https://youtu.be/oquIJlTf-iU?si=gXN6gzOX0xb0vv5P