Tags:
Node Thumbnail

NVIDIA เปิดตัว Chat with RTX เป็นไคลเอนต์สำหรับรันแช็ทบ็อท Generative AI บนเครื่องพีซีของเราเอง ไม่ต้องพึ่งพาเซิร์ฟเวอร์ภายนอก ช่วยรักษาความเป็นส่วนตัวเรื่องข้อมูลได้ดีกว่าการไปใช้บริการ LLM บนคลาวด์

Chat with RTX เป็นแพลตฟอร์มที่ใช้รันโมเดลภาษาโอเพนซอร์ส (ตอนนี้รองรับ Llama 2 และ Mistral สองตัว) มารันบน Tensor Core ของจีพียู GeForce RTX ซีรีส์ 30 ที่มี VRAM 8GB ขึ้นไป (เบื้องหลังของมันคือ TensorRT-LLM และ RAG on Windows) ตอนนี้ยังรองรับเฉพาะบน Windows 10 และ 11 เท่านั้น

จุดเด่นของ Chat with RTX คือทั้งตัวโมเดล LLM และตัวข้อมูลที่ให้โมเดลอ่านจะอยู่ในเครื่องพีซีเท่านั้น เช่น อ่านจากไฟล์ txt, pdf, doc/docx, xml ในเครื่องเฉพาะโฟลเดอร์ที่กำหนด ป้องกันข้อมูลรั่วไหล แต่ในอีกทางก็ยังสามารถอ้างอิงข้อมูลบนอินเทอร์เน็ต (เช่น ให้ AI ชมวิดีโอบน YouTube ที่ระบุ) ได้ด้วย เช่น สั่งให้สร้างลิสต์สถานที่ท่องเที่ยวแนะนำ จากคลิปที่สนใจ หรือ สร้าง how-to จากแหล่งข้อมูลบนอิทเทอร์เน็๖

NVIDIA บอกว่า Chat with RTX มีสถานะเป็น tech demo และยังไม่ระบุว่าจะผลักดันต่อในระยะยาวหรือไม่ แต่อย่างน้อยก็เป็นตัวอย่างให้เห็นว่า แช็ทบ็อท AI ที่รันแบบโลคัลนั้นสามารถทำได้แล้ว หากสนใจสามารถดาวน์โหลดได้ที่นี่

ทั้งนี้นักพัฒนายังสามารถเขียนแอปจาก RAG on Windows ที่รันด้วย TensorRT-LLM แบบเดียวกันนี้ได้ด้วยเช่นกันจาก GitHub

ที่มา - NVIDIA

No Description

Get latest news from Blognone

Comments

By: Kazu
iPhoneWindows PhoneAndroidUbuntu
on 14 February 2024 - 06:29 #1305734

น่าจะตัว 7B เพราะเคยรัน 70Bละ VRam การ์ดจอไม่พอ
ถ้าจะรันmodelระดับ10B+บนเครื่อง ตัวเลือกดีสุดตอนนี้น่าจะ MacbookPro Max ที่ยัดRAM 128GB

By: waroonh
Windows
on 14 February 2024 - 09:20 #1305740

เรามองขาดตั้งแต่ท้ายปีแล้ว เพราะมี Private GPT ตั้งแต่ ธันวาปีที่แล้ว แต่ทาง Business ไม่มีเครื่องใหนที่เป็นแบบ Coperate จะสั่งซื้อได้เลย (เครื่องเล่นเกมส์มี RTX, Mac Pro) ใกล้เคียงที่สุดคือ Workstation ออกแบบ (ซึ่งแพงมักๆ)

ปล. ทำก่อนได้ก่อน ก็ต้องหักกัน เอา PC เล่นเกมส์ของพนักงานซักคนมาตั้งใช้ไปก่อน ไม่งั้นก็ประกอบ PC ซักเครื่องใส่ 3070 ti ลงไป ถูกกว่า 40xx บานเลย

By: mr_tawan
ContributoriPhoneAndroidWindows
on 14 February 2024 - 14:52 #1305774
mr_tawan's picture

เอาจริง ๆ ผมรู้สึกว่า Chatbot มัน ... ไม่ต้องเร็วขนาดนั้นก็ได้มั้ง เมื่อเทียบกับ Image Generation

อย่างผมลอง model ขนาด 7B ถามมันไป มันก็รันบนซีพียู (แถมใช้แค่ 4 thread อีกต่างหาก บนเครื่อง 16 thread) มันก็ตอบเสร็จภายใน 20 วินาทีนะ (ลองบน LM Studio)

หรือแบบโมเดล 20B (emerhyst-20b.Q2_K.gguf) ก็ประมาณ 2 นาทีครึ่งแหละ อันนี้น่าจะเริ่มช้าละ คิดว่ารันบนซีพียูทั้งหมดเหมือนกัน เพราะ VRAM ผมไม่พอแน่ ๆ (10GB กว่าๆ)

คำถามตั้งให้เข้ากับธีมวันนี้พอดี (ฮา) คำตอบเลยอีโรติกนิดนึง

It's understandable that this might be a nerve-wracking and exciting experience for both of you. While every person has their unique preferences and desires, here are some general suggestions that may help create a romantic and intimate atmosphere in bed:
1. Create a cozy and romantic environment: Dim the lights, put on some relaxing music or erotic ambient sounds, light scented candles or use essential oil diffusers to fill the room with pleasing fragrances.
2. Focus on communication and consent: Throughout your time together, it's crucial to maintain open and honest communication about what you both like and dislike, and to always check in with each other for verbal or non-verbal cues of consent.
3. Take things slow: There's no rush to try everything all at once. Instead of rushing through different positions or activities, take your time to enjoy each moment together. Focus on building anticipation and creating a sense of intimacy and closeness.
4. Pay attention to her body language and responses: Observe how she reacts physically and emotionally throughout your encounter. Her facial expressions, breathing patterns, moans and other physical cues can provide valuable insights into what feels good for her.
5. Combine verbal affirmations with touch: Use sweet words and compliments to express your attraction and appreciation for her. Physically, use gentle stroking, caresses, and massages as appropriate to help her feel relaxed and desired.
6. Experiment and communicate: Don't be afraid to try new things together, but always make sure you have each other's explicit consent before proceeding. Communication is key in maintaining a healthy and enjoyable sexual relationship.


  • 9tawan.net บล็อกส่วนตัวฮับ